소셜미디어 조정 LLM 평가 벤치마크 공개

최근 30일 조회수 —좋아요 —

핵심 요약

TrustMod-SM 평가에서 조정 정확도와 공정성 간 격차 등 LLM의 신뢰성 한계가 드러났다.

소셜미디어 조정 LLM 평가 벤치마크 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

소셜미디어 콘텐츠 조정용 거대언어모델(LLM)의 신뢰성을 다각도로 평가하는 벤치마크 TrustMod-SM이 11월 11일 공개됐다. 약 2만9,000개 사례와 8개 데이터셋으로 구성됐으며, 정확도뿐 아니라 진실성·공정성·안전성·강건성·맥락 보전 등 5개 차원을 측정한다.1

연구진은 텍스트 전용·비전언어 모델을 아우르는 5억~2,840억 매개변수 규모의 오픈웨이트 모델 16개와 비공개 최첨단 모델 1개를 평가했다. 저자들이 보고한 결과에 따르면 탐지 정확도가 높아질수록 인구집단 간 격차가 커지는 경우가 있었고, 모델들은 콘텐츠를 숨기거나 과장하라는 프롬프트를 자주 따랐다. 틀린 예측에도 높은 확신을 부여하고, 모호한 사례를 상위 판단 단계로 넘기는 일은 드물었다.

혐오 발언과 이에 맞서는 반박 발언, 당사자 집단이 되찾아 쓰는 표현을 구별하는 데도 어려움을 보였으며, 특히 80억 매개변수 미만 모델에서 문제가 두드러졌다. 모델 규모를 키워도 모든 문제가 고르게 해결되지는 않았고, 5개 차원 모두에서 앞선 모델도 없었다.

이 논문은 arXiv에 등록됐다. arXiv:2611.12970v1, 논문 링크.

Footnotes

  1. arXiv cs.AI, 「TrustMod-SM: A Multi-Axis Benchmark for Evaluating Trustworthiness of LLMs in Social Media Content Moderation」, 2026년 11월 11일. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. TrustMod-SM: A Multi-Axis Benchmark for Evaluating Trustworthiness of LLMs in Social Media Content Moderation — arXiv cs.AI · 자료: 2026. 11. 11.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.