상호 증류 연합 언러닝 기법 HERD 제안

최근 30일 조회수 —좋아요 —

핵심 요약

HERD는 지식 계보를 추적해 삭제 영향의 확산을 제한하면서 모델 수정 비용을 줄였다.

엣지 서버와 주변 기기가 서로 지식을 가르치는 상호 증류 환경에서, 삭제 대상 데이터의 영향이 어떤 모델로 퍼졌는지 추적해 연합 언러닝 범위를 정하는 기법이 제안됐다. 2026년 10월 15일 공개된 arXiv 프리프린트 ‘Tracing Knowledge Lineage for Federated Unlearning under Mutual Distillation’(arXiv:2610.19072v1)는 HERD(Holder-level Erasure via Replication-weighted Delta-closure)를 소개한다.1

상호 증류에서는 한 모델에서 데이터를 삭제해도 그 영향이 여러 학생 모델에 복제되고, 학생의 업로드를 통해 수정된 교사 모델로 되돌아갈 수 있다. HERD는 서버가 수행하는 지식 전송으로 계보 그래프를 만들고, 전송 유형에 따라 간선에 가중치를 준다. 이어 각 보유자에서 잔여 영향이 복제될 횟수를 계산해, 누적 잔여량을 제한하면서 수정 비용이 가장 낮은 보유자 집합을 고른다. 수정하지 않았거나 오프라인인 보유자에는 전송 차단 장치와 재접속 규칙을 적용한다.

저자들은 계보 그래프의 복제 수가 1보다 작을 때만 부분 수정으로 충분하며, 평균화만으로는 이 조건에 도달하지 못한다고 증명했다. 링크 장애가 생겨도 선택한 수정 집합은 유효하다고 보고했다. TOFU 실험에서 HERD의 누적 잔여량은 가장 강한 비교 기법보다 1852% 적었고, 수정 비용은 그 기법의 612%였다. 다만 이는 동료 심사 완료 여부가 확인되지 않은 프리프린트 결과다.

NOTE

arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.

Footnotes

  1. arXiv cs.DC, “Tracing Knowledge Lineage for Federated Unlearning under Mutual Distillation” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Tracing Knowledge Lineage for Federated Unlearning under Mutual Distillation — arXiv cs.DC · 자료: 2026. 10. 15.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.