LLM 코드 검증, 명세·요구 충족과 괴리
최근 30일 조회수 —좋아요 —핵심 요약
연구진은 LLM 생성 코드의 검증기 통과가 명세 결속이나 실제 요구사항 충족을 보장하지 않는다고 밝혔다.

대규모언어모델(LLM)이 만든 코드가 검증기를 통과해도 명세와 연결되지 않거나 실제 요구사항을 충족하지 못할 수 있다는 연구가 나왔다. 11월 5일 공개된 arXiv 프리프린트는 ‘검증’을 검증기 승인(A), 증명 의무와 명세의 문법적 결속(B), 명세와 비공식 요구사항의 의미적 일치(C)로 나눠 평가해야 한다고 주장한다.1
연구진이 Claude Opus 4.7로 기존 Dafny 중간표현 파이프라인을 재현한 Li@Opus는 HumanEval에서 99.1%의 검증기 승인율을 기록했다. 그러나 명세에 정의된 술어나 함수와 결속된 인증서를 갖춘 비율은 1.9%에 그쳐 A와 B가 크게 갈렸다.
B를 구조적으로 보장한 자체 파이프라인 VCG에서도 C는 자동으로 확보되지 않았다. 구조적 검증을 마친 Rust 코드 가운데 숨은 테스트에 실패한 비율은 MBPP-Rust에서 11.48%, VeriContest LC 일부에서 14.82%였다. VeriContest LC에서 VCG의 종단 간 성공률은 7.79%(535/6,870)로, 인용된 GPT-5.5의 5.51%, 단일 시도 Opus 4.7의 1.88%보다 높았다. 다만 연구진은 작업 예산·수정 절차·평가 환경이 달라 동등 조건의 성능 비교는 아니라고 선을 그었다.
논문은 arXiv:2611.05590v1이다.
Footnotes
-
arXiv cs.AI, 「Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation — arXiv cs.AI · 자료: 2026. 11. 5.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.