LLM 생성 PLC 코드, 컴파일돼도 오류

최근 30일 조회수 —좋아요 —

핵심 요약

PLC 코드를 매 실행 주기 검사한 결과, LLM 생성 코드의 실행 통과율은 컴파일 통과율보다 11.92%p 낮았다.

LLM 생성 PLC 코드, 컴파일돼도 오류 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

컴파일에 성공한 대규모 언어 모델(LLM) 생성 산업제어 코드도 실제 동작은 틀릴 수 있다는 연구가 나왔다. 2026년 10월 22일 공개된 arXiv 프리프린트 ‘Compilation Is Not Correctness’(arXiv:2610.28675v1)는 프로그래머블 로직 컨트롤러(PLC)용 구조적 텍스트(ST) 프로그램을 매 실행 주기마다 검사해야 오류를 제대로 찾을 수 있다고 보고했다.1

연구진은 동작 요구사항과 참조 프로그램, 실행 시나리오를 갖춘 ST 과제 301개로 CycleBench를 만들었다. 생성 코드와 참조 코드를 같은 입력·초기화·논리 시간 아래 실행하고 매 스캔 뒤 출력을 비교한 결과, 8개 LLM과 기준 생성 방식에서 실행 통과율은 컴파일 통과율보다 11.92%포인트 낮았다. 출력 갱신과 산술, 타이밍 오류가 확인됐다.

5개 LLM이 직접 만든 프로그램의 고정 실행 기록에서는 매 5번째 스캔만 검사할 경우, 스캔별 비교가 찾아낸 실패 157건 중 21.66%를 놓쳤다. 검사 시작 시점에 따라 누락률은 12.10~28.03%였다. 순간적으로만 나타나는 출력 차이가 표본 검사 사이로 빠져나간 탓이다.

연구진이 함께 제안한 CycleGen은 여러 후보 코드를 만들고 제한된 컴파일러 피드백으로 오류를 고친 뒤, 별도 모델 문맥에서 생성한 실행 자체시험으로 하나를 선택한다. 직접 생성보다 실행 통과율이 8.68%포인트 높았지만, 후보를 5개 넘겨도 개선은 없었고 8개에서는 토큰 소비가 38.8% 늘었다. 이 결과는 동료 심사 완료가 확인되지 않은 프리프린트에 근거한다.

NOTE

arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.

Footnotes

  1. arXiv cs.SE, “Compilation Is Not Correctness: Scan-by-Scan Evaluation of LLM-Generated PLC Programs” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Compilation Is Not Correctness: Scan-by-Scan Evaluation of LLM-Generated PLC Programs — arXiv cs.SE · 자료: 2026. 10. 22.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.