양자 코드 LLM 점수, 평가기 결함에 출렁
최근 30일 조회수 —좋아요 —핵심 요약
감사 결과 양자 코드 LLM 벤치마크의 설계와 결함이 점수 왜곡과 거짓 통과·실패를 유발했다.

양자 코드 생성 대규모 언어 모델(LLM)의 점수가 평가기 설계와 결함에 따라 크게 달라질 수 있다는 감사 결과가 나왔다. 2026년 10월 22일 공개된 arXiv 프리프린트 arXiv:2610.28678v1은 15개 모델을 5개 평가 모음의 530개 과제로 시험하고, 별도로 10개 모델을 6개 주제·96개 과제로 구성한 새 벤치마크 QuantumBenchEval(QBE)에 적용했다.1
저자들이 보고한 pass@1은 QiskitHumanEval-Standard에서 98.7%로 포화에 가까웠지만 Hard 변형에서는 63.8%에 머물렀다. 주요 평가 모음별 상위 2개 모델을 비교한 5건은 다중 비교 보정 뒤 모두 통계적 유의성을 유지하지 못했다. 특히 명시되지 않은 수량을 검사하는 항목만 제거해도, 모델 출력은 그대로인데 GPT-6 Astra의 QBE 점수가 T1에서 0%→94.1%, T6에서 1.2%→92.9%로 뛰었다.
감사에서는 벤치마크 자체의 임포트와 연관된 QuanBench-117 과제 17개의 공통 실패도 확인했다. 실행되지 않은 단위 테스트, 정답 함수가 후보 코드 실행 환경에 유출되는 문제, 유효한 후보를 막는 참조 임포트도 발견돼 거짓 실패와 거짓 통과가 모두 가능했다. 저자들은 기존 QuanBench 결과를 격리된 평가기로 다시 검증하고, 불확실성과 출력 유효성을 함께 보고해야 한다고 제안했다.
Footnotes
-
arXiv cs.SE, “Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation — arXiv cs.SE · 자료: 2026. 10. 22.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.