LLM 에이전트의 메모리·스킬 충돌 측정
최근 30일 조회수 —좋아요 —핵심 요약
벤치마크 실험에서 LLM의 정보원 선택은 충돌 유형과 모델, 주입 순서에 따라 달라졌다.

arXiv cs.SE에 10월 27일 공개된 프리프린트가 대규모언어모델(LLM) 에이전트의 메모리와 절차형 스킬이 서로 모순될 때 무엇을 따르는지 측정하는 벤치마크를 제안했다. 두 정보원이 같은 문맥 영역에 들어가지만 우선순위가 정해지지 않은 ‘인식론적 동등성’ 문제를 다룬 연구다.1
연구진은 충돌을 사실·형식·절차·권한 등 네 유형으로 나누고, 메모리 주입·스킬 주입·모호한 사용자 작업으로 구성된 52개 시나리오를 만들었다. 공개 가중치 모델 3종으로 1,383회 실행한 결과, 어느 정보원도 일관되게 우세하지 않았다. 충돌 유형과 모델, 주입 순서가 함께 결과를 좌우했다. 스킬 블록을 작업 지시 가까이 옮기자 사실·절차 관련 6개 조건 모두에서 스킬 채택률이 올랐지만, 형식 충돌에서는 반대 양상이 나타났다.
‘스킬이 절대 우선’이라는 지시도 완전한 해결책은 아니었다. 성능이 더 강한 두 모델에서도 3~10%가 따르지 않았고, 가장 작은 모델은 사실·절차 충돌에서 오히려 잘못된 방향으로 움직였다. 도구를 호출한 실행의 98.8%는 설명을 전혀 덧붙이지 않았으며, 전체 실행의 89%가 충돌 사실을 알리지 않았다. 다만 실험 범위는 모델 3종과 설계된 시나리오 52개로 제한된다. 코드와 원시 출력은 공개됐다.
논문은 arXiv에 공개된 프리프린트다. arXiv:2610.33128, 발표일 2026년 10월 27일.
Footnotes
-
arXiv cs.SE, “Navigating Epistemic Parity in LLM Agents: A Benchmark for Cross-Source Conflict Resolution Between Memory and Procedural Skills” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Navigating Epistemic Parity in LLM Agents: A Benchmark for Cross-Source Conflict Resolution Between Memory and Procedural Skills — arXiv cs.SE · 자료: 2026. 10. 27.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.