딥리서치 결함 찾는 퍼징 프레임워크 EMBERS
최근 30일 조회수 —좋아요 —핵심 요약
EMBERS는 딥리서치 시스템의 9가지 결함을 겨냥해 기존 기준선보다 실패 사례를 3.21배 많이 발견했다.

딥리서치(Deep Research) 시스템의 내부 실행 결함을 겨냥해 실패 사례를 찾는 퍼징 프레임워크 EMBERS가 제안됐다. 저자들이 보고한 실험에서 EMBERS는 같은 테스트 예산을 쓴 최강 기준선보다 실패 발견 처리량이 3.21배 높았다.1
연구진은 복잡한 질문을 하위 문제로 나누고 웹을 반복 검색한 뒤 답을 종합하는 딥리서치 시스템 3종의 실행 궤적 1,932개를 분석했다. 그 결과 하위 질문 작성, 온라인 검색, 최종 추론 과정에서 반복되는 결함 9종을 확인했다. EMBERS는 정답을 낸 초기 질문에서 출발해 결함별 변형을 만들고, 웹 검색으로 원래 정보 요구와 맥락이 유지되는지 점검하며, 다양한 초기 질문을 관리한다.
16개 프레임워크·모델·데이터세트 조합에서 진행한 실험과 사람 및 대규모 언어 모델(LLM) 보조 평가에서는 생성 입력 대부분이 원래 질문의 의도와 필수 조건을 보존한 것으로 나타났다. 저자들은 이 입력으로 미세조정했을 때 일관된 답변 성능도 개선됐다고 보고했다. 다만 분석 대상은 대표 시스템 3종이며, 수치는 저자 실험 결과다.
이 연구는 2026년 11월 4일 공개된 arXiv:2611.03723v1 프리프린트다.
Footnotes
-
arXiv cs.AI, 「EMBERS: Empirically Motivated Robustness Testing of Deep Research Systems via Defect-Guided Fuzzing」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- EMBERS: Empirically Motivated Robustness Testing of Deep Research Systems via Defect-Guided Fuzzing — arXiv cs.AI · 자료: 2026. 11. 4.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.