LLM 에이전트 4종, 자판기 운영 기준선 미달
최근 30일 조회수 —좋아요 —핵심 요약
AutoVend 실험에서 LLM 에이전트 5종 중 4종이 180일 자판기 운영에서 규칙 기반 기준선보다 낮은 성과를 냈다.

연구진이 장기 무인 자판기 운영 능력을 평가하는 벤치마크 AutoVend를 공개했다. 대규모 언어 모델(LLM) 에이전트 5종을 시험한 결과, 4종이 규칙 기반 재고관리 기준선보다 낮은 성과를 냈다. AutoVend는 2026년 10월 29일 공개된 arXiv 프리프린트다.1
AutoVend에서 에이전트 한 대는 웹 운영 화면을 이용해 5개 유형의 장소에 설치된 자판기 20대를 180일 동안 관리한다. 데이터에 근거한 시뮬레이터에는 공동 창고, 조달 소요 시간, 유료 재고 보충, 상품 유통기한, 반복 운영비가 반영됐다. 온라인에서 내린 결정이 물리적 운영을 거쳐 지속적인 경제적 수익으로 이어지는지를 평가하려는 설계다.
저자들의 분석에서는 단일 지표가 좋아져도 재고비와 실행비가 이익을 깎아 경제적 성장을 보장하지 않았다. 추론 비용 1달러당 수익으로 평가하면 총수익만 비교했을 때와 모델 순위도 달라졌다. 에이전트들은 실행 가능한 행동을 고르고, 재고 투입을 관리하며, 피드백을 정책 수정에 반영하는 데에도 어려움을 보였다. 다만 이는 실제 영업 현장이 아닌 180일 시뮬레이션 결과다.
Footnotes
-
arXiv cs.AI, 「AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations」, arXiv:2610.36980v1, 2026-10-29. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations — arXiv cs.AI · 자료: 2026. 10. 29.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.