델타 토크나이저, 장기 대화 CPU 병목 완화

최근 30일 조회수 —좋아요 —

핵심 요약

이전 토큰열을 재사용해 동일한 출력을 유지하면서 장기 대화 토큰화와 첫 토큰 도달 시간을 줄였다.

델타 토크나이저(Delta Tokenizer)가 장기 대화에서 매 요청마다 전체 문장을 다시 토큰화하는 CPU 병목을 줄이는 방법을 제시했다. 2026년 10월 15일 공개된 arXiv 프리프린트 2610.19801v1에서 연구진은 이전 턴의 토큰열을 보존하고, 새로 붙은 텍스트와 그 영향을 받을 수 있는 짧은 꼬리 부분만 다시 처리해 기준 토크나이저와 같은 결과를 만든다고 설명했다.1

LLM 추론 엔진은 공유 접두사의 KV 캐시를 재사용하지만, 기존 토큰화 단계는 대화가 조금만 늘어도 처음부터 다시 처리한다. 델타 토크나이저는 토크나이저의 분할 규칙이 바꿀 수 없는 지점에서 기존 토큰열과 새 결과를 결합한다. 재사용할 상태가 없는 긴 입력은 서로 독립적으로 처리할 수 있는 구간으로 나눠 여러 CPU 코어에서 병렬 인코딩한다.

저자 보고에 따르면 증분 경로는 허깅페이스 기준 토크나이저보다 세션 턴 토큰화를 약 40배 단축했다. 16코어에서 400만 자 입력은 직렬 처리보다 8.2배, LoPT보다 1.6~2.1배 빨랐다. SGLang 채팅에서는 10만 토큰 입력의 중앙값 첫 토큰 도달 시간(TTFT)이 59% 줄었고, 부하 상황의 에이전트 세션 P99 TTFT는 9.5배, 긴 요청이 전처리를 점유할 때는 23배 낮아졌다. 빠른 인코더로 처리한 418억 개 문서를 포함해 확인한 출력은 모두 기준 결과와 일치했다고 저자들은 밝혔다.

NOTE

이 연구는 arXiv 프리프린트다.

Footnotes

  1. arXiv cs.DC, Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs, 2026-10-15. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs — arXiv cs.DC · 자료: 2026. 10. 15.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.