아레나 모델 순위, 결합 공격에 45계단 상승

최근 30일 조회수 —좋아요 —

핵심 요약

전략적 투표·프롬프트·후보 등록을 결합하면 아레나형 모델 순위를 최대 45계단 조작할 수 있다는 연구가 나왔다.

아레나 모델 순위, 결합 공격에 45계단 상승 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

익명 모델의 답변을 쌍으로 비교해 순위를 매기는 ‘아레나’ 방식이 전략적 투표·프롬프트·후보 등록으로 조작될 수 있다는 연구가 나왔다. 2026년 11월 13일 공개된 arXiv 프리프린트 2611.14769v1에서 연구진은 개별 공격이 시험한 모델의 순위를 최대 15~20계단, 세 공격을 결합하면 최대 45계단 끌어올렸다고 보고했다.1

아레나형 순위표는 사용자 프롬프트에 답한 익명 모델 두 개를 비교한 표를 모은 뒤, 브래들리-테리(Bradley-Terry) 모형으로 최종 순위를 계산한다. 연구진은 특정 모델에 유리하게 투표하거나 프롬프트를 고르는 방법뿐 아니라, 무관한 모델을 후보군에 끼워 넣는 것만으로도 순위가 달라질 수 있다고 밝혔다. 특히 무관한 모델 간 투표 역시 공격 대상 모델의 순위를 높일 수 있었다. 공개 순위표 데이터에서 검증한 결과, 거의 모든 시험 모델이 조작의 혜택을 받았다.

연구진은 각 공격을 막을 방안도 설명했다고 밝혔지만, 제공된 초록에는 구체적인 방어법과 실험 조건이 담기지 않았다. 이 결과는 공개 프롬프트·투표·모델 등록을 허용하면서 브래들리-테리 모형을 쓰는 선호 기반 평가 전반을 겨냥한다. arXiv에 공개된 프리프린트 결과라는 점도 감안해야 한다.

Footnotes

  1. arXiv cs.AI, Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation — arXiv cs.AI · 자료: 2026. 11. 13.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.