실무 물리공학 벤치마크 PLE 공개
최근 30일 조회수 —좋아요 —핵심 요약
85개 장기 설계 과제에서 최고 AI 구성도 평균 50.6%를 기록해 실무 자율성의 한계를 보였다.

물리 엔지니어의 실제 납품 업무를 평가하는 벤치마크 PLE(Physical-Engineering’s Last Exam)가 10월 23일 공개됐다. PLE는 전기·토목·구조·기계공학 분야의 장기 과제 85개로 구성된다. 교과서 문답이나 단일 도구 사용이 아니라 물리 모델과 법규 검토, 자재·시공비 최적화, 공인 검토자가 승인할 만한 2D·3D 설계 자료 제작을 요구한다.1
과제는 실무 엔지니어가 처음부터 작성하거나, 엔지니어의 문제 정의를 바탕으로 생성·풀이 에이전트가 프로젝트 환경과 실행형 채점기, 기준 결과물을 만든 뒤 전문가가 검증하고 난도를 높이는 방식으로 마련됐다. 연구진은 공개 에이전트 실행 환경 7종에서 여러 최전선 언어모델을 평가했다. 저자가 보고한 최고 구성의 평균 점수는 50.6%였으며, 과제당 평균 2,700만 토큰과 63분을 썼다. 높은 지식 벤치마크 점수가 자율적인 실무 설계 역량으로 곧바로 이어지지 않는다는 것이 연구진의 결론이다.
이 결과는 동료 심사 완료 여부가 확인되지 않은 프리프린트의 저자 보고치다. 논문은 arXiv:2610.30537v1에서 확인할 수 있다.
Footnotes
-
arXiv cs.AI, 「PLE: Physical-Engineering’s Last Exam」, 2026-10-23. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- PLE: Physical-Engineering's Last Exam — arXiv cs.AI · 자료: 2026. 10. 23.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.