멀티모달 학습, 텍스트 추론 표현도 바꿔
최근 30일 조회수 —좋아요 —핵심 요약
멀티모달 학습이 텍스트 전용 공간 추론의 내부 표현에 영향을 준다는 EVT 연구가 공개됐다.

멀티모달 학습이 이미지 입력 처리뿐 아니라 텍스트만으로 푸는 추론의 내부 표현도 바꿀 수 있다는 연구가 나왔다. 11월 13일 공개된 arXiv 프리프린트 arXiv:2611.14942는 6개 모델 계열의 10가지 멀티모달 구성과 이에 대응하는 텍스트 전용 모델을 비교해 ‘시각 형태의 사고’(Emergent Vision-Shaped Thinking·EVT)를 제시했다.
연구진은 숨은 상태에서 시각·언어 학습과 관련된 축을 찾아 추론 중 그 성분을 제거했다. 저자들이 보고한 결과에 따르면 Chameleon-7B의 BIG-Bench Hard 길 찾기 정확도는 27.6%포인트 하락했지만, 불리언 표현식 과제는 오히려 5.6%포인트 올랐다. 두 과제의 변화 폭 차이는 33.2%포인트였다. 영향은 특정 방향과 계층에 집중됐으며, 심적 회전·종이접기·관점 전환 같은 장면 모사 과제에서도 나타났다. 저자들은 과제 난도나 추론 깊이만으로는 이를 설명하기 어렵다고 분석했다.
다만 EVT가 내부에 실제 이미지 같은 형식이 생겼다는 뜻은 아니다. 효과는 시험한 7~8B 모델에서 주로 공간 과제에 집중됐고, 비공간 시각 속성 결합으로의 확장은 32B 구성에서만 관찰됐다. 이 논문은 동료 심사 여부가 확인되지 않은 프리프린트다.
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Emergent Vision-Shaped Thinking in Text-Only Reasoning through Multimodal Training — arXiv cs.AI · 자료: 2026. 11. 13.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.