환자 옹호 AI, 결과 달성 후에도 절차 위반
최근 30일 조회수 —좋아요 —핵심 요약
BABA-Bench 평가에서 필수 결과를 달성한 LLM 에이전트의 28%가 동의·근거 등 필수 절차를 어겼다.

대규모언어모델(LLM) 기반 환자 옹호 에이전트가 원하는 진료 결과를 얻고도 필수 절차를 어길 수 있다는 연구 결과가 나왔다. 연구진은 비식별화한 실제 환자 옹호 사례를 전문가 검토를 거쳐 47개 상호작용 환경으로 만든 BABA-Bench를 제안했다.1
에이전트는 숨은 정보를 찾고 보험사·병원·공급업체·약국·지역 단체를 조율해야 한다. 평가 엔진은 행동 시점마다 환자 동의와 근거가 있는지, 금지된 행동인지 확인한다. 연구진이 최전선 모델 14개를 환경별 세 차례씩 총 1,974회 시험한 결과, 필수 결과를 모두 달성한 921회 가운데 254회(28%)는 필요한 절차를 지키지 않았다. Claude Opus 5도 결과 달성률은 81.6%였지만 모든 검사를 통과한 비율은 52.5%였다.
검증된 경로를 제공하자 두 모델의 통과율은 각각 29.8%에서 91.5%, 44.0%에서 97.2%로 올랐다. 저자들은 이들 모델의 주된 난점이 경로 실행보다 올바른 경로 탐색에 있다고 해석했다. 다만 이는 2026년 11월 2일 공개된 arXiv:2610.41076v1 프리프린트다.
Footnotes
-
arXiv cs.AI, 「BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents — arXiv cs.AI · 자료: 2026. 11. 2.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.