전문 업무 평가 벤치마크 MKA 공개

최근 30일 조회수 —좋아요 —

핵심 요약

MKA 평가에서 Claude Fable 5.2가 선두였지만 고난도 과제 성공률은 57%를 밑돌았다.

전문 업무 평가 벤치마크 MKA 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

arXiv에 11월 20일 공개된 새 벤치마크 MKA(Multimodal Knowledge Agent)는 시각 자료를 읽고 여러 파일의 정보를 결합해 전문 업무 결과물을 만드는 멀티모달 에이전트의 능력을 평가한다. CAD 도면·전자 회로도·방사선 사진·복합 차트·지리공간 지도 등을 바탕으로 .xlsx, .pptx, .pdf, .docx, .html, .png 형식의 독립된 결과물을 완성하는 10개 경제 부문 200개 과제로 구성됐다.1

저자들은 기존 평가가 파일과 양식을 넘나드는 추론을 충분히 다루지 못했다고 지적한다. MKA는 전문가가 가중치를 부여한 기준과 샌드박스 자동 채점 에이전트를 사용한다. 저자들의 전문가 평가 연구에서 자동 채점은 기준별 판단의 96.2%가 사람 전문가와 일치했고, 코언의 카파는 0.91이었다.

평가한 모델 가운데 Claude Fable 5.2가 Climb-WSR 56.6%, 전체 WSR 73.3%로 가장 높았고, Gemini 4 Carbon은 각각 54.3%, 71.9%를 기록했다. Carbon은 Fable보다 토큰을 5.7배 적게 썼다. 다만 최고 모델도 이전 세대가 포화시키지 못한 기준을 재는 Climb-WSR에서 57%를 넘지 못했다.

논문은 arXiv:2611.25228v1에서 볼 수 있다.

Footnotes

  1. arXiv cs.AI, 「MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks」, 2026-11-20. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks — arXiv cs.AI · 자료: 2026. 11. 20.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.