AI 인프라 코딩 벤치마크 InfraDev 공개

최근 30일 조회수 —좋아요 —

핵심 요약

실제 AI 인프라 변경 과제에서 최전선 코딩 에이전트 6종의 최고 해결률은 38.9%에 그쳤다.

AI 인프라 코딩 벤치마크 InfraDev 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

InfraDev 연구진이 실제 AI 인프라 변경 작업으로 코딩 에이전트를 평가하는 벤치마크를 공개했다. 2026년 10월 29일 발표된 InfraDev는 Megatron-LM·vLLM·verl의 실제 풀 리퀘스트에서 뽑은 36개 과제로 구성되며, 훈련·추론·강화학습에 걸쳐 여러 파일과 GPU를 다루는 변경을 재현하도록 요구한다.1

기존 공식 테스트가 놓치는 요구사항은 비공개 검사 항목으로 확인한다. 동시에 검사 항목이 호출하는 인터페이스를 프롬프트에 명시하되 해법은 감췄다. 의존성과 결과물을 과제끼리 공유하는 실행 환경도 설계해 Megatron-LM과 vLLM에서 저장공간을 5257%, 빌드 시간을 1314% 줄였다고 저자들은 보고했다.

최전선 모델 6종을 평가한 결과 최고 해결률도 38.9%에 그쳤다. 공식 테스트를 모두 통과한 제출물 가운데 32%는 비공개 검사에서 탈락했으며, 원래 풀 리퀘스트 설명만 프롬프트로 주면 어떤 모델도 과제를 해결하지 못했다. 구조와 상태 처리 오류가 주된 실패 원인이었고, 에이전트가 만든 테스트는 메모리·시간·통신량을 좀처럼 점검하지 않았다. 이 분석을 에이전트 스킬로 만들자 한 최전선 모델의 Megatron-LM 과제 해결률은 10.5% 높아졌다.

이 논문은 arXiv 프리프린트 2610.36589v1이다.

Footnotes

  1. arXiv cs.AI, 「InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell?」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell? — arXiv cs.AI · 자료: 2026. 10. 29.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.