SWEOps-Bench, 클라우드 장애 복구 능력 평가

최근 30일 조회수 —좋아요 —

핵심 요약

55개 재현 과제로 자율 에이전트를 평가한 결과 탐지율은 높았지만 전체 복구율은 14.5~52.7%에 그쳤다.

SWEOps-Bench, 클라우드 장애 복구 능력 평가 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

SWEOps-Bench가 소프트웨어 결함으로 발생한 클라우드 장애를 탐지부터 복구까지 해결하는 자율 에이전트의 능력을 평가한다. 2026년 11월 5일 공개된 이 벤치마크는 쿠버네티스 오퍼레이터 16개 프로젝트에서 확인된 과거 결함을 바탕으로 재현 가능한 장애 과제 55개를 구성했다.1

각 과제는 원본 저장소와 정상 상태의 클러스터에서 시작한다. 통제된 작업 부하가 과거 장애를 일으키면 에이전트가 터미널에서 실행 정보를 조사하고 소스 코드나 설정 수정안을 제출한다. 평가 장치는 제한 시간 안에 수정본을 빌드·배포한 뒤 단계별 정확도, 검증된 복구 여부, 지연시간 벌점, 토큰 사용량을 측정한다.

6개 에이전트·모델 구성에서 장애 상태 탐지율은 72.790.9%였지만 전체 복구율은 14.552.7%에 머물렀다. 장애를 알아채는 능력과 끝까지 해결하는 능력 사이의 격차가 드러난 셈이다. 저자들은 잘못된 근본 원인 분석을 보고하고도 복구에 성공한 사례가 있었으며, 겉으로 증상이 사라져도 수정 사항별 기능 검증에는 실패할 수 있었다고 밝혔다.

이 논문은 arXiv 식별자 2611.06099v1로 공개됐다.

Footnotes

  1. arXiv cs.SE, 「SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents — arXiv cs.SE · 자료: 2026. 11. 5.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.