프롬프트 주입 방어기, 계약서 오탐률 최대 92%
최근 30일 조회수 —좋아요 —핵심 요약
법률 계약 검토용 방어기 11종이 높은 오탐률을 보였고, LLM 연쇄 방식은 비용과 성능을 개선했다.
법률 계약 검토 시스템 앞단에 배치하는 프롬프트 주입 방어기가 정상 계약서를 공격으로 잘못 판단하는 비율이 문서 단위로 최대 92.39%에 이른다는 연구가 나왔다. 2026년 11월 9일 공개된 arXiv 프리프린트 2611.08834v1은 공개 가중치 방어기 11종을 두 법률 계약 말뭉치에서 평가했다.1
연구진이 짝지은 데이터로 AUC(분류 성능 지표)를 측정한 결과, 방어기 2종은 무작위 분류보다 낮은 성능을 보였다. 정규식 5개로 만든 단순 기준선도 평가 대상 방어기 가운데 어느 하나에 의해 비용·성능 양쪽에서 완전히 뒤처지지 않았다. 통제된 탐침 실험에서는 모델별 오류와 여러 모델에 공통된 오류가 함께 확인됐다.
프롬프트로 지시한 대규모 언어 모델(LLM)은 시험한 실패 사례를 해결했다고 저자들은 보고했다. 모든 전용 방어기가 0점을 받은 ‘권한 없는 범위 주장’ 공격도 포함된다. 중간급 모델이 잡아낸 양성 사례를 최상위 모델이 재검증하는 연쇄 방식은 최상위 모델만 쓸 때보다 비용이 6.5분의 1이면서 성능에 근접했다. 다만 초록은 구체적인 말뭉치 구성과 실제 운영 환경에서의 재현 여부를 제시하지 않는다.
NOTE
이 논문은 arXiv 프리프린트다. 논문 링크.
Footnotes
-
arXiv cs.AI, Notwithstanding Anything to the Contrary, Ignore All Instructions: Measuring Prompt Injection Guards on Legal Contract Review Attacks ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Notwithstanding Anything to the Contrary, Ignore All Instructions: Measuring Prompt Injection Guards on Legal Contract Review Attacks — arXiv cs.AI · 자료: 2026. 11. 9.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.