CAD 에이전트 ‘조용한 실패’ 벤치마크 공개
최근 30일 조회수 —좋아요 —핵심 요약
측정 후 완료를 선언하게 하자 CAD 에이전트의 조용한 실패율이 14.1%에서 3.2%로 낮아졌다.

대규모언어모델(LLM) 기반 CAD 에이전트가 작업 완료를 선언했지만 설계 요건을 충족하지 못하는 ‘조용한 실패’를 측정하는 벤치마크가 공개됐다. 11월 10일 발표된 arXiv 프리프린트(arXiv:2611.10063v1)는 자연어 명세 13개를 기계적으로 검사 가능한 B-rep 속성으로 바꾸고, 공개된 허용오차에 따라 결과를 판정한다.
저자들이 4개 업체의 모델 4종을 시험한 결과, 단발 실행 에이전트는 시도의 98%에서 완료를 선언했지만 14.1%는 렌더링 가능한 형상을 만들고도 의미 조건을 하나 이상 어겼다. 반면 측정 뒤에만 완료를 선언하도록 강제한 도구 사용 방식은 조용한 실패율을 3.2%로 낮추고, 완료 선언 정밀도를 64%에서 96%로 높였다. 모델 4종을 대상으로 한 절제 실험에서는 피드백 자체보다 완료 선언 규칙이 변화를 이끈 것으로 나타났다. 계획자·코더·검사자 파이프라인도 정밀도는 같았으나 적용 범위가 좁고 성공률 향상은 없었다.
다만 판정기 강화 뒤 재채점한 519건 중 18건이 통과에서 실패로 바뀌었다. 전문가 비공개 감사에서는 모호한 과제 하나를 제외한 조용한 실패 18건 가운데 3건이 뒤집혔다. 이 논문은 arXiv 프리프린트다.
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Done Is Not Correct: Measuring Silent Failures and Self-Verification Calibration When LLM Agents Take CAD Actions — arXiv cs.SE · 자료: 2026. 11. 10.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.