SWEOps-Bench, 클라우드 장애 복구 능력 평가
최근 30일 조회수 —좋아요 —핵심 요약
55개 재현 과제로 자율 에이전트를 평가한 결과 탐지율은 높았지만 전체 복구율은 14.5~52.7%에 그쳤다.

SWEOps-Bench가 소프트웨어 결함으로 발생한 클라우드 장애를 탐지부터 복구까지 해결하는 자율 에이전트의 능력을 평가한다. 2026년 11월 5일 공개된 이 벤치마크는 쿠버네티스 오퍼레이터 16개 프로젝트에서 확인된 과거 결함을 바탕으로 재현 가능한 장애 과제 55개를 구성했다.1
각 과제는 원본 저장소와 정상 상태의 클러스터에서 시작한다. 통제된 작업 부하가 과거 장애를 일으키면 에이전트가 터미널에서 실행 정보를 조사하고 소스 코드나 설정 수정안을 제출한다. 평가 장치는 제한 시간 안에 수정본을 빌드·배포한 뒤 단계별 정확도, 검증된 복구 여부, 지연시간 벌점, 토큰 사용량을 측정한다.
6개 에이전트·모델 구성에서 장애 상태 탐지율은 72.790.9%였지만 전체 복구율은 14.552.7%에 머물렀다. 장애를 알아채는 능력과 끝까지 해결하는 능력 사이의 격차가 드러난 셈이다. 저자들은 잘못된 근본 원인 분석을 보고하고도 복구에 성공한 사례가 있었으며, 겉으로 증상이 사라져도 수정 사항별 기능 검증에는 실패할 수 있었다고 밝혔다.
이 논문은 arXiv 식별자 2611.06099v1로 공개됐다.
Footnotes
-
arXiv cs.SE, 「SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents — arXiv cs.SE · 자료: 2026. 11. 5.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.