AI 논문 수치 오류, 조작보다 오귀속

최근 30일 조회수 —좋아요 —

핵심 요약

AI 연구 에이전트의 수치 오류는 값 조작보다 다른 실험·지표 결과를 잘못 인용하는 형태가 많았다.

AI 논문 수치 오류, 조작보다 오귀속 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

AI 연구 에이전트가 작성한 논문의 수치 오류는 값을 꾸며내기보다, 실제 파일에 있는 다른 실험·지표·실행 결과를 잘못 가져오는 형태로 집중됐다는 분석이 나왔다. 2026년 10월 31일 공개된 arXiv 프리프린트(arXiv:2610.38691v1)는 공개 벤치마크의 판정 540건을 재분석하고, 18개 제출물에서 수치 주장 256개를 수작업으로 분류했다. 저자들에 따르면 근거가 부족한 주장 가운데 약 5분의 4는 에이전트 자체 파일에서 추적할 수 있었지만, 논문이 가리키는 실험·지표·실행과 맞지 않았다.1

연구진은 주장 주변 문맥이 해당 결과를 식별하는지 확인하고, 비슷한 숫자를 미끼로 넣어 판별하는 결정론적 ‘주장-근거 검사기’를 제안했다. 분류 전에 규칙을 고정한 이 검사기는 블라인드 평가에서 검증한 85건 중 78건을 정확히 인증해 90%가 넘는 정밀도를 기록했으며, 평가자 간 일치도인 코언의 카파는 0.89였다. 다만 일부 주장만 인증할 수 있어, 검증 실패를 곧 거짓으로 볼 수는 없다.

같은 근거를 받은 대규모 언어모델 검증기는 추적 가능한 주장을 더 많이 찾았지만 오귀속 수치를 약 3배 더 자주 받아들였다. 99개 제출물에 검사기를 적용하자 에이전트별 추적 가능성 차이도 컸다. 다른 업체의 두 번째 판정 모델은 공식 순위를 유지하면서도 통과 논문 수를 2배로 늘려, 단일 모델 판정만으로 연구 무결성을 판단하기 어렵다는 점도 드러냈다. 이 논문은 arXiv 프리프린트이며, 원문에서 확인할 수 있다.

Footnotes

  1. arXiv cs.AI, 「Beyond fabrication: Misattributed numbers in papers written by AI research agents」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Beyond fabrication: Misattributed numbers in papers written by AI research agents — arXiv cs.AI · 자료: 2026. 10. 31.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.