장기 컴퓨터 작업 판정 벤치마크 공개

최근 30일 조회수 —좋아요 —

핵심 요약

AgentHorizon에서 최고 판정기도 균형 정확도 80.9%에 그쳐 장기 작업 자동 평가의 한계를 보였다.

장기 컴퓨터 작업 판정 벤치마크 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

컴퓨터 사용 에이전트가 여러 응용 프로그램에 걸쳐 수행한 장기 작업을 자동 판정기가 얼마나 정확히 평가하는지 검증하는 벤치마크 AgentHorizon이 공개됐다. 2026년 10월 9일 arXiv:2610.11050v1이 발표됐다.1

연구진은 3개 운영체제에서 사람이 기록한 166시간 분량의 작업 궤적을 바탕으로 지시문과 궤적 쌍 1,373개를 구성했다. 비슷하지만 서로 맞지 않는 지시문을 바꿔 붙여, 겉보기에는 완료된 궤적이 실제 지시 조건을 어기거나 원치 않는 부작용을 냈을 때 판정기가 이를 가려내는지 시험했다. 데이터는 기본 AH, 단순화한 AH-S, 개발용 AH-D로 나뉜다.

연구진은 판정기 11종에 최대 300개의 화면 이미지와 행동으로 이뤄진 전체 궤적을 직접 제공하거나, 5개 에이전트 실행 환경에서 코딩 에이전트로 작동하게 했다. 저자들이 보고한 최고 성적은 GPT-5.5가 AH 부분집합에서 기록한 균형 정확도 80.9%다. 도구 사용은 일부 모델의 성능을 높였지만 오픈웨이트 모델에서는 오히려 낮췄으며, 정상 궤적을 승인하고 실패 궤적을 거부하는 능력도 판정기마다 크게 달랐다. 이는 긴 작업 기록 속에 숨은 완료 증거를 찾아 검증하는 일이 여전히 어렵다는 뜻이다.

NOTE

arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.

Footnotes

  1. arXiv cs.AI, “AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks — arXiv cs.AI · 자료: 2026. 10. 9.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.