가중치 0.19% 수정에 LLaMA 안전성 흔들

최근 30일 조회수 —좋아요 —

핵심 요약

LLaMA-2-7B-Chat의 down_proj 일부 가중치 수정만으로 공격 성공률이 최대 56%에 달했다.

가중치 0.19% 수정에 LLaMA 안전성 흔들 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

온디바이스 언어모델에서 안전에 민감한 매개변수를 선별해 일부 가중치를 수정했을 때 안전 행동이 크게 달라질 수 있다는 표적 실험 결과가 나왔다. 2026년 10월 8일 공개된 arXiv 프리프린트 2610.09000v1은 LLaMA-2-7B-Chat에서 안전에 민감한 매개변수가 일부 영역에 몰려 있는지 분석했다.

연구진은 저랭크 안전 연관 부분공간 분석과 매개변수별 안전성·유용성 중요도 필터링을 적용했다. 두 방법 모두 네트워크의 안전 민감도가 고르게 분포하지 않는다고 나타냈으며, 다층 퍼셉트론의 down_proj가 가장 두드러졌고 o_proj도 더 작은 영향을 보였다.

저자들이 보고한 실험에서는 down_proj 가중치의 0.19%만 수정해도 공격 성공률이 기본 공격에서 53%, GCG 공격에서 56%에 이르렀다. 반면 tinyBenchmarks 정확도는 수정 전 52.2%에서 51.6%로 소폭 낮아졌다. 이는 전체 모델보다 안전 핵심 영역을 선별해 무결성을 보호할 필요가 있음을 시사한다.

다만 결과는 LLaMA-2-7B-Chat을 대상으로 한 분석이며, 다른 모델에서도 같은 취약성이 나타나는지는 자료에 제시되지 않았다. 이 논문은 동료 심사 완료 여부가 확인되지 않은 프리프린트다.

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. How Fragile Is On-Device Language Model Safety? Localizing Safety-Critical Parameters for Sparse Fault Analysis — arXiv cs.AI · 자료: 2026. 10. 8.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.