정확성 피드백이 형식 검증 반례 탐색 저해
최근 30일 조회수 —좋아요 —핵심 요약
Verus/Rust 과제에서 반복 교정 피드백보다 독립 탐색이 검증된 반례를 두 배 이상 많이 발견했다.

arXiv에 10월 16일 공개된 프리프린트는 형식 검증에서 정확성 피드백을 반복해서 주면, 명세가 의도하지 않은 동작을 허용한다는 증거가 오히려 사라질 수 있다고 보고했다. 연구진은 Verus/Rust 과제 12개와 모델 계열 4종을 같은 호출 예산으로 평가했다.1
피드백 없이 독립적으로 탐색했을 때 검증된 반례 프로그램의 발견률은 59.0%로, IntentShield의 교정 피드백 반복 방식 27.1%보다 두 배 이상 높았다. 형식을 맞춘 반복 대조군에서도 격차의 더 큰 원인은 독립 재시작이 아니라 피드백 내용으로 나타났다. 이 우위는 모든 모델 계열에서 유지됐고 파서 복구 뒤에도 남았다. 응답을 재사용하지 않고 탐색과 수정을 분리한 실행도 전체 발견률이 비슷했으며, 검증된 반례 대부분은 별도 테스트 사례를 통과하지 못했다.
반례를 먼저 보존한 뒤 계약을 고친 Phase-Revised 명세의 구현 성공률은 81.3%로, IS-Revised의 62.5%보다 높았다. 다만 같은 효과는 연구진이 확보한 Dafny·Lean 평가에서는 재현되지 않아, 결론의 범위는 해당 Verus/Rust 작업 흐름으로 제한된다.
NOTE
arXiv:2610.20676v1은 동료 심사 여부가 확인되지 않은 프리프린트다.
Footnotes
-
arXiv cs.AI, When Correctness Feedback Erases Evidence: Phase-Separated Completeness Auditing in Verus (2026-10-16) ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- When Correctness Feedback Erases Evidence: Phase-Separated Completeness Auditing in Verus — arXiv cs.AI · 자료: 2026. 10. 16.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.