CrossSWE, 코딩 에이전트 저장소 공동 수정 평가

최근 30일 조회수 —좋아요 —

핵심 요약

CrossSWE 평가에서 최고 모델도 성공률 58.48%에 그쳐 저장소 간 변경 일관성의 한계를 드러냈다.

코딩 에이전트가 서로 의존하는 여러 코드 저장소를 함께 수정하는 능력을 평가하는 벤치마크 CrossSWE가 11월 3일 공개됐다. arXiv 컴퓨터과학 소프트웨어공학 분야에 올라온 프리프린트로, 실제 개발 사례 171건과 저장소 165개를 아우르며 20개 기술 영역, 13개 프로그래밍 언어를 포함한다.1

기존 벤치마크가 한 저장소 안에서 작업 시간과 코드 변경량을 늘리는 데 집중했다면, CrossSWE는 저장소 사이의 의존 관계 추론과 변경 전파, 인터페이스 일관성을 평가한다. 연구진은 일부 저장소만 고쳐서는 의도한 동작을 구현할 수 없는지 시험해 여러 저장소의 공동 수정이 실제로 필요한 과제인지 검증했다.

저자들이 대규모 언어 모델(LLM) 5종을 평가한 결과, 가장 높은 성적을 낸 GPT-6.1 Sol도 첫 시도 성공률(Pass@1)이 58.48%에 그쳤다. 가장 흔한 실패 원인은 저장소 간 불일치로 전체 실패의 44.2%였다. 이는 개별 저장소의 코드를 고치는 능력과 별개로, 연결된 프로젝트 전반에서 변경 사항을 일관되게 유지하는 일이 여전히 어렵다는 저자들의 분석을 뒷받침한다.

논문은 arXiv:2611.01484v1로 공개됐다.

Footnotes

  1. arXiv cs.SE, 「CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents」, 2026-11-03. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents — arXiv cs.SE · 자료: 2026. 11. 3.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.