SAE 기반 토큰별 주제 판별 기술 공개
최근 30일 조회수 —좋아요 —핵심 요약
TopicScope는 LLM의 생성 토큰마다 주제를 판별하며 답변 중간의 주제 변화도 추적한다.

희소 오토인코더(SAE) 특징으로 대규모 언어 모델(LLM)이 답변을 생성하는 동안 토큰마다 주제를 판별하는 TopicScope가 공개됐다. 2026년 11월 11일 arXiv:2611.12935v1이 발표됐다.1
기존 활성값 기반 모니터는 주로 유해 콘텐츠를 2~3개 범주로 분류했다. 연구진은 이를 확장해 7개 주제를 담은 합성 다중 주제 대화로 세 가지 인과적 분류기를 훈련했다. 답변 중간에 주제가 바뀌어도 토큰 단위로 새 표지를 붙이는 방식이다. Gemma-3 1B와 4B에서 입력을 한꺼번에 처리하는 프리필(prefill) 단계의 은닉 상태로 학습한 모니터가 순차 생성 단계인 디코딩에도 일반화됐다.
주제와 무관한 여담을 넣거나 일부 주제를 빼고 문단 순서를 바꾼 실험에서는 macro-F1 하락 폭이 최대 5점이었다. SAE 없이 기준 성능에 도달한 분류기는 크기가 몇 배 더 컸다는 제거 실험 결과도 보고됐다. 다만 실험은 합성 대화와 두 Gemma-3 규모에 한정돼 실제 대화·다른 모델에서의 성능은 초록만으로 확인할 수 없다. 코드·데이터셋·체크포인트도 함께 공개됐다.
Footnotes
-
arXiv cs.AI, 「Train on prefill, monitor at decode: Using sparse autoencoders for topic monitoring」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Train on prefill, monitor at decode: Using sparse autoencoders for topic monitoring — arXiv cs.AI · 자료: 2026. 11. 11.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.