StoreBench서 최고 LLM 통과율 49%
최근 30일 조회수 —좋아요 —핵심 요약
라이브 커머스 운영 평가에서 최고 LLM도 규칙 기반 정책과 인간 전문가에 못 미쳤다.

StoreBench는 중형 온라인 의류점을 운영하며 자율 에이전트의 장기 계획과 경제적 판단을 평가하는 라이브 커머스 환경이다. 고객 주문과 공급업체의 가격 변경·납품 실패, 예고가 불완전한 시장 충격이 계속 발생한다. 에이전트는 사람 운영자와 같은 29개 도구를 쓰며, 행동 횟수에 따라 모의 시간이 흐르기 때문에 모델 지연시간은 모의 시간에 영향을 주지 않는다.[^1]
연구진은 최전선 대규모 언어 모델(LLM) 7개를 30~45일짜리 11개 시나리오와 1년 시뮬레이션에서 비교했다. 세 가지 월드 시드를 적용한 결과, 최고 성적을 낸 DeepSeek-V4-Pro도 과제·시드 조합의 49%만 통과해 스크립트 기반 스마트 트리아지 정책의 97%에 못 미쳤다. 같은 도구와 예산을 쓴 인간 전문가의 평균 종합점수는 0.708로, 모델 최고치 0.700보다 높았다. 다만 Claude Code 실행 환경의 1년 평가에서는 대부분 모델의 성능이 크게 향상됐다고 저자들은 보고했다.[^1]
별도의 GRPO 사후학습에서는 서로 겹치지 않는 과제 5개만으로 Qwen3.5-27B를 훈련해, 미사용 평가 과제의 평균 종합점수를 0.136에서 0.373으로 높였다. 재현 가능한 에피소드와 보상 편법 방지 장치를 마련했지만, 오염 방지를 이유로 전체 환경과 평가 세트는 공개하지 않았다. arXiv:2610.10942v1은 2026년 10월 10일 발표된 프리프린트다.
[^1]: arXiv cs.AI, 「StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents」
읽기 목록은 이 브라우저에 저장됩니다.
출처
- StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents — arXiv cs.AI · 자료: 2026. 10. 10.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.