LLM 비밀 삭제 추적 벤치마크 멤컷 공개

최근 30일 조회수 —좋아요 —

핵심 요약

멤컷 평가에서 메시지를 삭제해도 장기 기억의 관련 객체를 통한 비밀 복구율이 39~76%로 나타났다.

LLM 비밀 삭제 추적 벤치마크 멤컷 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

LLM 에이전트가 사용자의 비밀을 장기 기억에서 제대로 지우는지 추적하는 벤치마크 멤컷(MemCut)이 공개됐다. 2026년 10월 17일 발표된 arXiv:2610.21405v1은 긴 대화에 심은 비밀 456개와, 비밀을 직접 말하지 않은 메시지까지 연결한 증거 경로를 토대로 삭제 뒤 정보가 복구되는지를 평가한다.1

연구진은 시스템의 검색 기능을 거쳐 비밀을 알아내는 ‘네이티브 복구’와, 삭제 후 남은 관련 객체를 판독 모델에 직접 제공하는 ‘잔여 복구’를 구분했다. 5개 기억 설계와 4개 LLM에서 세 가지 기준 삭제법을 시험한 결과, 비밀을 공개한 메시지를 제거하면 네이티브 복구는 크게 줄었지만 잔여 복구는 그만큼 감소하지 않았다. 검색 후보 20개 가운데 LLM이 추가 대화 10개를 골라 삭제해도 잔여 복구율은 39~76%였다.

또 144개 사실·3개 시스템·2개 모델을 대상으로 한 부분집합 실험에서는 삭제 예산이 같을 때 후보 범위를 넓히는 편이 최초 후보를 모두 삭제하는 것보다 잔여 복구를 더 낮췄다. 연구진은 기존 기준 삭제법의 병목으로 관련 후보를 충분히 포착하지 못하는 문제를 지목했다. 다만 이 결과는 논문이 설정한 기억 설계와 기준선 안에서 나온 것이다.

Footnotes

  1. arXiv cs.AI, “MemCut: Every Secret Leaves a Trail in the Long-Term Memory of LLM Agents” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. MemCut: Every Secret Leaves a Trail in the Long-Term Memory of LLM Agents — arXiv cs.AI · 자료: 2026. 10. 17.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.