AI 에이전트 안전성 판정의 한계 입증
최근 30일 조회수 —좋아요 —핵심 요약
범용 컴퓨팅 장치를 결합한 AI 에이전트의 완전한 안전성 판정이 불가능하다는 이론적 결과가 나왔다.

고정된 언어 모델에 범용 컴퓨팅 장치를 결합한 AI 에이전트의 안전성을 일반적으로 판정할 수 없다는 이론적 결과가 나왔다. 11월 20일 공개된 arXiv 프리프린트 2611.25325v1에서 저자들은 위험한 프로그램이 주어졌을 때, 에이전트가 그와 의미상 동등한 프로그램을 실행할지 예측하는 알고리즘은 존재할 수 없다고 주장한다.1
이 결과에 따르면 가드레일과 블랙리스트·화이트리스트, 인증만으로는 완전한 안전성을 보장할 수 없다. 문맥 길이와 값, 실행 시간을 유한하게 제한하면 안전성 판정 자체는 가능해지지만, 에이전트의 설명을 알고 있어도 문제가 계산복잡도 등급 PSPACE-완전이어서 현실적으로 풀기 어렵다고 저자들은 보고했다.
개별적으로 안전하다고 증명된 에이전트들도 함께 작동하면 위험한 행동을 만들 수 있어, 안전성은 구성 요소를 단순히 합쳐 보장되는 성질도 아니다. 논문은 실무에서 쓸 수 있는 완화된 안전성 개념도 논의하지만, 초록에는 구체적인 적용법이나 실험 결과가 제시되지 않았다.
NOTE
이 논문은 동료 심사 여부가 확인되지 않은 프리프린트다. 논문 페이지에서 식별자와 공개 정보를 확인할 수 있다. arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.
Footnotes
-
arXiv cs.AI, “Pandora’s Toolbox Or Why Agent Safety Cannot Be Verified”, 2026-11-20. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Pandora's Toolbox Or Why Agent Safety Cannot Be Verified — arXiv cs.AI · 자료: 2026. 11. 20.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.