효과 유형 학습으로 도구 호출 안전성 향상

최근 30일 조회수 —좋아요 —

핵심 요약

이펙트월드로 학습한 Qwen3-4B가 위험한 도구 호출을 줄이며 과제 성공률과 효율을 높였다.

소형 언어모델이 도구 호출의 ‘효과 유형’을 학습하면 삭제·중복 쓰기 같은 위험 행동을 줄이면서 작업 성공률을 높일 수 있다는 연구가 공개됐다. 10월 28일 발표된 arXiv 프리프린트 2610.35981v1에서 연구진은 도구마다 멱등성 여부와 읽고 쓰는 자원을 선언하는 실행 환경 이펙트월드(EffectWorld)를 제안했다.1

이펙트월드는 별도 정답표나 판정 모델 없이 호출 기록의 안전성을 검증한다. 여러 의존 호출을 한 차례에 실행하고, 비효율적인 호출 기록을 검증된 훈련 자료로 바꾸는 기능도 갖췄다. 이 자료로 저랭크 어댑터를 학습한 Qwen3-4B는 동일 분포 과제 성공률이 53%에서 99%로, 처음 보는 과제 유형과 방해 도구가 포함된 분할에서는 52%에서 81%로 올랐다. 미지 도메인에서는 74%에서 83%로 상승했고 출력 토큰은 약 3분의 1로 줄었다.

버클리 함수 호출 리더보드(BFCL)에서는 실시간 정확도를 기본 모델 수준으로 유지하면서 다중 턴 정확도가 21.9에서 26.6으로 높아졌다. 반면 공개 도구 사용 말뭉치의 거절 문구는 비실시간 정확도를 88.0에서 31.4로 떨어뜨렸고, 이를 걸러내자 84.8로 회복됐다. 연구진은 검증된 부정 사례보다 표적화한 긍정 사례가 행동 학습을 이끌었다고 보고했다.

NOTE

arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다. 논문 원문

Footnotes

  1. arXiv cs.SE, 「Small agents should know what their tools do」, 2026-10-28. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Small agents should know what their tools do — arXiv cs.SE · 자료: 2026. 10. 28.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.