NormGym, AI의 숨은 사회 규범 추론 평가
최근 30일 조회수 —좋아요 —핵심 요약
최강 LLM도 낯선 공동체의 비공개 규범을 추론하며 과제를 달성한 비율이 55.3%에 그쳤다.
NormGym 연구진은 낯선 공동체에서 상호작용을 통해 숨은 사회 규범을 추론하는 능력을 평가하는 벤치마크를 공개했다. 이 논문은 2026년 11월 9일 arXiv에 게재됐다(arXiv:2611.08613v1).1
기존 평가는 인공지능 에이전트가 이미 알고 있을 법한 규범을 인식하거나 적용하는지 주로 측정했다. NormGym에서는 새로 합류한 에이전트가 다중 에이전트 공동체에서 자신의 과제를 수행하면서 임의로 정해진 비공개 규범을 찾아내야 한다. 가능한 행동과 허용된 행동을 구별하고, 다른 구성원의 행동과 제재를 관찰한 뒤 처음 보는 상황에도 규범을 적용하는지가 핵심이다.
저자들이 평가한 대규모 언어 모델(LLM) 가운데 가장 강한 모델도 과제 달성과 규범 준수를 함께 충족한 비율이 55.3%에 그쳤다. 모델은 자신의 행동이 제재받은 뒤 행동을 고치기도 했지만, 다른 에이전트가 받은 제재로 근본 규칙을 추론하는 데 어려움을 보였다. 저자들은 미세조정만으로는 이 능력을 충분히 개선하기 어려울 수 있다고 보고했다. 다만 초록에는 세부 환경과 모델별 결과가 제시되지 않았다.
Footnotes
-
arXiv cs.AI, 「NormGym: Evaluating Normative Competence through Social Interaction」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- NormGym: Evaluating Normative Competence through Social Interaction — arXiv cs.AI · 자료: 2026. 11. 9.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.