소형 오픈 모델의 SEC 공시 분석 격차

최근 30일 조회수 —좋아요 —

핵심 요약

소형 모델도 SEC 공시에서 수치와 근거를 찾았지만 정확도 편차와 자동 검증의 허점이 컸다.

소비자용 GPU 한 대에서 구동되는 소형 오픈 모델도 미국 증권거래위원회(SEC) 공시에서 수치와 근거를 함께 찾을 수 있지만, 모델별 격차와 검증기의 허점이 큰 것으로 나타났다. 11월 20일 공개된 arXiv 프리프린트 2611.24990v1은 7~21B 규모의 지시형 모델 10종을 RTX 4090 한 대에서 평가했다.1

연구진은 미국 기업 45곳의 최근 10-K·10-Q 공시 90건에서 1,000개 질문을 구성한 Filing-Evidence 벤치마크를 제시했다. 정답은 제출 기업의 인라인 XBRL 태그에서 가져왔으며, 모델은 숫자뿐 아니라 해당 페이지와 숫자가 포함된 원문 인용도 내야 했다. 기본 설정에서 기계가 확인할 수 있는 근거까지 맞힌 비율은 17.1~82.7%였고, 전체 최고치는 Qwen3.5-9B의 84.5%였다.

자동 검사기는 많은 오답을 걸러냈지만, 답할 수 있는 질문에 틀린 값을 내고도 모든 검사를 통과한 사례가 모델별로 1,000개 중 16~167개였다. 기본 설정의 이런 오답 가운데 57%는 단위·자릿수 오류였고, 30%는 같은 행의 다른 기간이나 열을 골랐다. 자체 추론 모드를 제공한 5개 모델 중 4개에서는 이런 오류가 유의하게 줄었다. 검사 실패 뒤 재시도하면 정확도가 최대 3.9%포인트 올랐지만 오류 자체는 줄지 않았다.

논문은 arXiv 프리프린트다. 질문·출력·코드·평가 절차는 공개됐다. 논문 링크

Footnotes

  1. arXiv cs.SE, 「Show Your Work: Can Small Open Models Read SEC Filings with Evidence a Machine Can Check?」, 2026-11-20. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Show Your Work: Can Small Open Models Read SEC Filings with Evidence a Machine Can Check? — arXiv cs.SE · 자료: 2026. 11. 20.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.