FINCOSMOS 금융 에이전트 평가체계 제안

최근 30일 조회수 —좋아요 —

핵심 요약

실전형 금융 에이전트 평가 150회에서 승인된 실행은 없었지만 피드백 적용 시 학습 효과가 나타났다.

FINCOSMOS 금융 에이전트 평가체계 제안 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

FINCOSMOS 연구진이 금융 언어 에이전트의 ‘그럴듯하지만 틀린 결과’를 실전 조건에서 가려내는 개방형 평가 체계를 제안했다. 2026년 11월 6일 arXiv:2611.07464v1이 공개됐다.1

기존 벤치마크가 과제·데이터·시간선을 미리 고정해 숨은 요구사항이나 미래 데이터 사용 같은 실패를 놓친다는 문제의식에서 출발했다. FINCOSMOS에서는 모의 사용자가 조합 문법으로 만든 투자 전략을 숨긴 채 질문받은 내용만 알려준다. 에이전트는 웹에서 직접 데이터를 구하고, 데이터 기준 시점에 맞춰 백테스트를 만든 뒤 검증 가능한 결과를 제출해야 한다. 평가는 정답지 대신 프로그램이 시점별 데이터의 적절성과 모든 지표를 다시 계산하고, 제출 전략과 숨은 명세를 대조한다. 사용자 승인과 15개 거부 검사 통과가 모두 필요하다.

코딩 에이전트 4종과 도구 없는 모델을 대상으로 한 150회 평가에서는 승인된 실행이 한 건도 없었다. 모의 사용자가 동의한 결과도 모두 프로그램 검사에서 탈락했고, 에이전트가 먼저 확인한 미제공 세부사항은 54~64%에 그쳤다. 인간 전문가는 실패의 88.33%를 에이전트 책임으로 판단했다. 다만 FINCOSMOS 피드백과 지속 메모리를 적용한 에이전트는 10개 과제를 모두 학습했다. 이 결과는 해당 평가 환경에서 나온 것으로, 다른 금융 업무 전반의 성능을 뜻하지는 않는다.

Footnotes

  1. arXiv cs.AI, 「FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance — arXiv cs.AI · 자료: 2026. 11. 6.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.