CyberGym 재현 성공률 85.3%→78.8%

최근 30일 조회수 —좋아요 —

핵심 요약

과제 자료 불일치와 비목표 결함을 반영하자 CyberGym의 취약점 재현 통과율이 6.5%p 낮아졌다.

CyberGym의 취약점 재현 점수가 과대평가될 수 있다는 분석이 나왔다. 11월 20일 공개된 arXiv 프리프린트는 전체 1,507개 과제를 감사한 결과 338개(22.4%)에서 자료 불일치 표시를 붙였다. CyberGym은 개념증명 입력(PoC)이 취약 버전만 충돌시키고 수정 버전은 충돌시키지 않으면 재현 성공으로 판정하지만, 연구진은 이 차등 통과만으로 의도한 결함을 재현했다고 단정하기 어렵다고 지적했다.1

가장 흔한 문제는 커버리지 불일치 205건이었고, 설명과 패치가 기준 충돌 보고서와 다른 결함을 함께 가리킨 사례도 110건이었다. 이 수치는 계층화 맹검 검토에서 발견한 표시 오류 2건을 바로잡은 결과다.1

연구진은 GLM-5.3의 완전한 레벨 1 실행 한 건에서 나온 최종 PoC도 실행 검사, 충돌 특징 일치, 대규모 언어모델(LLM) 보조 근본 원인 검토로 평가했다. 차등 통과 1,286건 가운데 89건은 목표가 아닌 결함, 10건은 근거 부족으로 판정됐다. 목표 결함 적중을 요구하면 통과율은 85.3%에서 78.8%로 낮아졌다. 자료 불일치가 발견되지 않은 과제에서도 차등 통과 1,052건 중 39건(3.7%)이 비목표 판정을 받았다.1

다만 저자들은 PoC 동일성 판정에 독립 검증이 필요하다고 밝혔다. 이 논문은 arXiv:2611.25790v1에서 확인할 수 있는 프리프린트다.

Footnotes

  1. arXiv cs.SE, On the Reliability of CyberGym Evaluation: Task Material Consistency and Reference-Target Identity, 2026-11-20. ↩ ↩2 ↩3

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. On the Reliability of CyberGym Evaluation: Task Material Consistency and Reference-Target Identity — arXiv cs.SE · 자료: 2026. 11. 20.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.