검색 근거가 길수록 낡은 사실 선택

최근 30일 조회수 —좋아요 —

핵심 요약

최신 정보가 검색돼도 낡은 경쟁 진술이 섞이면 에이전트 정확도가 크게 떨어진다는 연구가 나왔다.

검색 근거가 길수록 낡은 사실 선택 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

에이전트가 최신 사실을 검색해 놓고도 기억 속 낡은 정보를 답으로 고를 수 있다는 연구 결과가 나왔다. 10월 28일 공개된 arXiv 프리프린트(arXiv:2610.36308v1)는 검색 실패와 검색한 정보의 활용 실패를 구분해 살폈다.

연구진은 MemoryAgentBench의 단일 단계 FactConsolidation 과제에서 Qwen2.5-7B-Instruct를 시험했다. 6K 길이 기록에 BM25 검색을 적용했을 때, 근거 분량을 64토큰에서 512토큰으로 늘리자 정확도가 45%에서 32%로 떨어졌다. 사후 감사에서는 모든 검색 결과에 최신 진술이 들어 있었지만, 오류 대부분은 같은 질문에 과거 진술도 함께 포함된 경우 발생했다.

프롬프트와 근거 수를 동일하게 고정한 실험에서도 무관한 진술 하나를 낡은 경쟁 진술로 바꾸자 정확도가 Qwen2.5에서 100%에서 44.6%로, Qwen3-14B에서 100%에서 87.8%로 낮아졌다. 해로운 답변 변화 50건은 모두 낡은 사실을 선택한 사례였다. 32K 기록에서도 64토큰 검색이 69%로, 512토큰의 58%보다 높았다. 다만 결과는 특정 과제와 모델을 대상으로 한 프리프린트다.

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. When Retrieval Is Not Enough: Obsolete Facts in Agent Memory — arXiv cs.AI · 자료: 2026. 10. 28.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.