리팩터링에 쉽게 깨지는 LLM Lean 증명
최근 30일 조회수 —좋아요 —핵심 요약
RefactorProof 평가에서 LLM 생성 Lean 증명은 참조 증명보다 안정적이었지만 구조 변경 후 자주 깨졌다.

프로그램 동작과 명세를 그대로 둔 채 구현만 리팩터링해도, 대규모 언어 모델(LLM)이 만든 Lean 증명은 자주 깨지는 것으로 나타났다. 10월 29일 공개된 프리프린트는 검증 가능한 코드 생성의 안정성을 시험하는 RefactorProof를 제시했다. 연구진은 고정된 환경에서 컴파일되는 VERINA 185개 과제로부터 Lean 인증 변형 458개를 만들고, 명세와 평가 대상 증명은 바이트 단위로 유지했다.1
구조적 리팩터링 뒤 증명이 수정 없이 살아남는 비율을 과제별로 정규화한 구조적 PSR은 VERINA 제공 참조 증명에서 4.3%, 전문 증명 모델에서 13.326.8%였다. 참조 증명이 있는 과제는 기본 분할의 46개였으며, 핵심 비교는 이 가운데 짧고 재귀가 없는 2125개 과제를 맞춰 진행했다. 이 비교에서 수정 없는 전체 생존율은 참조 증명보다 DeepSeek-Prover-V2-7B가 15.6%포인트, Goedel-Prover-V2-32B가 18.8%포인트, Goedel-Prover-V2-8B가 20.3%포인트 높았다. 세 결과의 95% 신뢰구간은 모두 0을 제외했다.1
다만 증명이 깨졌다고 유지보수 비용까지 크다는 뜻은 아니다. 미리 정한 식별자 하나 수정으로 고칠 수 있는 구조적 실패 가운데 참조 증명은 54건 중 51건, 전문 모델 증명은 85건 중 58건이 복구됐다. 따라서 RefactorProof는 리팩터링 뒤 증명을 그대로 재사용할 수 있는지를 측정하며, 수리 비용을 평가하지는 않는다. 이 연구는 arXiv에 공개된 프리프린트다.
NOTE
논문: arXiv:2610.36328v1, 발표일: 2026년 10월 29일.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- How Stable Are LLM-Generated Proofs Under Program Refactoring? A Stress Test for Verifiable Code Generation — arXiv cs.AI · 자료: 2026. 10. 29.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.