확산 언어모델 간 잠재 통신의 인과적 증거

최근 30일 조회수 —좋아요 —

핵심 요약

확산 언어모델 에이전트가 연속 잠재 상태를 공유하고 수신자가 그 의미를 활용한다는 실험 결과가 나왔다.

확산 언어모델 간 잠재 통신의 인과적 증거 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

확산 언어모델 에이전트가 텍스트로 답을 확정하기 전의 연속 잠재 상태를 주고받고, 수신자가 그 의미를 실제로 활용한다는 인과적 실험 결과가 나왔다. 2026년 10월 22일 공개된 arXiv 프리프린트 2610.28905v1에서 연구진은 송신자의 잡음 제거 상태를 부호가 있는 밀집 벡터 4개로 압축해, 독립적으로 추론 중인 수신자에게 전달하는 ‘Hidden Messages’를 제시했다.1

연구진은 메시지를 제거해 통신 경로 자체의 효과를, 다른 문제에서 나온 메시지로 교체해 내용의 효과를 검증했다. 잘못 짝지은 메시지는 Tiny-A2D에서 63.6%포인트, Dream-7B에서 100.0%포인트였던 이점을 없앴다. 특정 사실이 담긴 메시지로 바꾸면 수신자의 답도 그 사실 쪽으로 움직였다. 두 근거를 에이전트 사이에 나눈 QASC에서는 올바른 메시지 연결의 정확도가 80.8%였지만, 다른 문제의 메시지를 넣으면 46.8%로 34.0%포인트 떨어졌다.

전달 횟수보다 시점이 중요할 가능성도 나타났다. 후반부에 한 번만 전달했을 때 87.8%를 기록해, 네 차례 반복 교환보다 7.0%포인트 높았다. 다만 결과는 통제된 과제에서 얻은 프리프린트다. 논문 링크

Footnotes

  1. arXiv cs.AI, 「Hidden Messages Between Diffusion Language Model Agents: Causal Evidence for Latent Communication」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Hidden Messages Between Diffusion Language Model Agents: Causal Evidence for Latent Communication — arXiv cs.AI · 자료: 2026. 10. 22.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.