멀티에이전트 협업 결함 탐지력 평가
최근 30일 조회수 —좋아요 —핵심 요약
멀티에이전트 워크플로 변이 실험에서 성공 중심 테스트는 권한 위반의 약 절반만 탐지했다.

멀티에이전트 대규모언어모델(LLM)의 협업 구조에 변이를 주입해 테스트 결함 탐지력을 재는 연구가 11월 10일 arXiv에 공개됐다. 연구진은 위임 삭제, 도구 연결 오류, 제한 규칙 제거처럼 최종 과업 성공률만으로는 놓치기 쉬운 조정 결함을 평가 대상으로 삼았다.1
연구진은 위임·허용 도구·제한·에이전트/지시문 등 4개 계열의 변이 연산자 14종을 만들었다. 테스트가 변이를 잡았는지는 관측된 협업 구조(K-Struct), 과업 판정이나 단계 순서(K-Outcome), 금지된 도구 호출(K-Safety)로 나눠 판정했다. 원본과 변이 워크플로를 OpenAI Agents SDK에서 각각 3회 실행한 뒤 다수결을 적용했다.
평가는 SDK 기반 워크플로 10개, 도달 가능한 에이전트 49개, 도구 47개, 의무 조건 403개를 대상으로 변이 1,084개와 에이전트 실행 2만9,601회를 다뤘다. 전체 의무를 검사하는 참조 테스트 T-Struct는 모든 기준에서 1.000을 기록했지만, 기본 테스트 중 최고인 T-Dev*도 K-Struct 0.717, K-Safety 0.559에 그쳤다. 특히 제한 규칙 제거의 탐지율은 0.19~0.28로 가장 낮았다. 이 환경에서 과업 성공 중심 테스트는 권한 위반의 약 절반만 잡았다.
이 논문은 arXiv에 버전 1로 게재됐다. arXiv:2611.09895v1 (논문 링크).
Footnotes
-
arXiv cs.SE, 「Mutation Testing for Multi-Agent Workflows」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Mutation Testing for Multi-Agent Workflows — arXiv cs.SE · 자료: 2026. 11. 10.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.