금융 LLM의 ‘맞는 숫자, 틀린 답’
최근 30일 조회수 —좋아요 —핵심 요약
LLM이 모호하거나 정보가 부족한 금융 질문에서 정확한 데이터를 인용하고도 잘못된 답을 낼 수 있다는 연구가 나왔다.

대규모 언어 모델(LLM)이 실제 금융 데이터를 인용하면서도 사용자가 묻지 않은 질문에 답할 수 있다는 연구가 나왔다. 2026년 10월 31일 공개된 프리프린트 arXiv:2610.38631v1은 이를 질문의 전제가 무너지는 ‘프레임 붕괴(frame collapse)’로 정의했다.1
연구진은 상품 유형과 세금 규정이 명확히 정의된 인도 뮤추얼펀드를 대상으로 세 가지 문제 상황을 각각 연구했다. 수치의 의미가 모호하면 모델은 사용자의 잘못된 명칭을 그대로 따라 수치를 사용했다. 가능한 해석을 모두 표시했을 때는 전부 나열했지만, 화면 배치가 어떤 답을 먼저 제시할지 좌우했다. 투자자 정보가 빠진 경우 성능이 낮은 에이전트는 임의의 기본값이나 오래된 세금 규정을 적용했으며, 필요한 정보를 명시하도록 요구해도 실제 답변에 반영된다는 보장은 없었다.
이런 답은 원자료의 숫자와 일치하므로 단순 데이터 대조를 통과했다. AI 심사 모델도 각 필드의 의미를 알려줬을 때만 잘못 붙인 명칭을 잡았고, 특정 해석을 말없이 선택한 답은 걸러내지 못했다. 다만 연구는 실패가 생기는 방식을 보였을 뿐 발생 빈도는 측정하지 않았다. 저자들은 이를 줄이기 위한 금융 비서 통제 방안을 제안했다.
NOTE
이 논문은 동료 심사 여부가 확인되지 않은 프리프린트다.
Footnotes
-
arXiv cs.AI, 「Right Numbers, Wrong Questions: Evaluating LLMs on Underspecified Financial Queries」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Right Numbers, Wrong Questions: Evaluating LLMs on Underspecified Financial Queries — arXiv cs.AI · 자료: 2026. 10. 31.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.