스파이어벤치, LLM 장기 전략 한계 측정
최근 30일 조회수 —좋아요 —핵심 요약
선두 LLM은 평균 인간 수준에 도달했지만 장기 위험 판단과 전문가 수준 전략에서는 큰 격차를 보였다.

에이전트형 대규모 언어 모델(LLM)의 장기 전략 능력을 상용 덱빌딩 게임으로 측정하는 벤치마크 스파이어벤치(SpireBench)가 공개됐다. 연구진은 20개 LLM이 최고 난도에서 《슬레이 더 스파이어》(Slay the Spire) 전체 게임을 플레이하도록 했다. 선두 모델은 휴리스틱 기준선을 넘고 평균적인 인간 플레이어와 비슷한 수준에 도달했지만, 전문가와는 큰 격차를 보였다.1
격차는 게임이 길어질수록 벌어졌다. 가장 강한 모델들은 첫 번째 막을 전문가만큼 자주 통과했으나 이후 뒤처졌다. 강한 모델과 약한 모델을 가른 핵심은 개별 전투 수행 능력이었다. 반면 모든 모델은 한 차례의 긴 플레이에서 위험을 잘못 판단해, 더 강해지려고 체력을 쓰기보다 체력을 보존하는 쪽으로 치우쳤다.
게임 용어를 전부 일관되게 바꾼 실험에서는 성능 일부가 게임에 관한 사전 지식에 기대고 있음이 드러났다. 모델이 플레이 사이에 직접 작성한 기억도 다음 시도의 성능을 높이지 못했으며, 그 내용은 자주 틀리고 지나치게 신중했다. 연구진은 스파이어벤치가 장기 과제에서 에이전트가 어디서, 왜 실패하는지 분석할 수 있는 아직 포화되지 않은 평가 도구라고 설명한다.
이 논문은 2026년 10월 12일 공개된 arXiv 프리프린트(arXiv:2610.12596v1)다.
Footnotes
-
arXiv cs.AI, 「SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire — arXiv cs.AI · 자료: 2026. 10. 12.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.