MemU-Bench, GUI 에이전트 기억력 평가
최근 30일 조회수 —좋아요 —핵심 요약
장기 사용자 이력을 평가하는 MemU-Bench에서 AppMem이 GPT-5.5의 SPL을 15.7%에서 66.9%로 높였다.

모바일 그래픽 사용자 인터페이스(GUI) 에이전트가 길고 복잡한 사용자 이력에서 빠진 맥락을 찾아낼 수 있는지 평가하는 MemU-Bench가 11월 3일 공개됐다. 이 벤치마크는 29개의 장기 사용자 행동 궤적을 바탕으로 만든 모호한 과제 118개로 구성되며, 결과는 직렬화한 애플리케이션 데이터베이스와 대조해 검증한다.1
기존 GUI 벤치마크가 정확하고 독립적인 지시를 주로 다룬 것과 달리, MemU-Bench는 사용자가 이전 작업의 세부 내용을 생략하는 상황을 겨냥한다. 성공률뿐 아니라 상호작용 효율(IE)과 경로 길이 가중 성공률(SPL)을 함께 측정해, 에이전트가 이력을 기억한 것인지 여러 앱을 무작정 뒤져 답을 찾은 것인지 구분한다.
저자들의 평가에서 사용자 이력이 없을 때 Gemini-3.1-Pro의 최고 SPL은 16.4%였고, 종단 간 GUI 에이전트는 5%에 못 미쳤다. 연구진은 별도 학습 없이 앱별 구조화 기억을 만들고, 앱 전환 중 끊긴 의도를 추적하는 AppMem도 제안했다. AppMem을 적용한 GPT-5.5의 SPL은 15.7%에서 66.9%로 51.2%포인트 올랐으며, 단순 요약 기준선보다 9.3% 높았다.
이 결과는 저자가 보고한 수치다.
Footnotes
-
arXiv cs.AI, “MemU-Bench: Benchmarking GUI Agents on Long-Horizon User Interactions” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- MemU-Bench: Benchmarking GUI Agents on Long-Horizon User Interactions — arXiv cs.AI · 자료: 2026. 11. 3.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.