실시간 LLM 에이전트 평가 RealtimeBench 공개
최근 30일 조회수 —좋아요 —핵심 요약
추론 지연을 반영하는 RealtimeBench와 교사 지침으로 빠른 에이전트를 개선하는 TORSI가 제안됐다.
대규모언어모델(LLM) 에이전트의 정답뿐 아니라 추론 지연까지 재는 벤치마크 RealtimeBench가 10월 16일 공개됐다. 6개 게임 유형의 180개 과제로 구성되며, 에이전트가 추론하고 도구를 호출하는 동안에도 게임이 계속 진행된다. 정답을 내더라도 행동이 늦으면 불리해지는 실시간 환경을 평가하려는 설계다.1
연구진의 짝지은 평가에서 GPT-6.1-sol은 게임을 멈춘 조건에서는 더 빠른 Jev보다 높은 성과를 냈지만, 게임이 계속되는 조건에서는 뒤처졌다. 이를 보완하기 위해 연구진은 느린 교사가 시도 사이에 정지된 게임에서 실패와 수정안을 검토해 재사용 가능한 지침을 작성하고, 빠른 학생이 실제 플레이 중 교사 호출 없이 행동하는 TORSI(Two-Timescale Offline Recursive Self-Improvement)를 제안했다. 검증 점수로 채택할 업데이트를 고른다.
두 차례 개선 뒤 Jev의 평균 테스트 점수는 0~100 진행도 척도에서 13.51에서 24.19로 올랐고, 6개 게임 유형 모두 개선됐다. 같은 지침은 별도 재조정 없이 다른 모델 3개의 평균 점수도 높였다. 다만 이는 arXiv:2610.20665v1로 공개된 프리프린트 결과다.
Footnotes
-
arXiv cs.AI, 「The World Won’t Wait: Evaluating and Teaching Agents Under a Live Clock」, 2026-10-16. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock — arXiv cs.AI · 자료: 2026. 10. 16.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.