런웨이, 57B 영상 모델로 실시간 대화 구현

최근 30일 조회수 —좋아요 —

핵심 요약

런웨이는 57B 영상 확산 모델을 최적화해 고해상도 대화형 캐릭터 영상을 24.5fps로 구현했다.

런웨이, 57B 영상 모델로 실시간 대화 구현 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

Runway 연구진이 약 570억 매개변수 영상 확산 트랜스포머로 대화형 캐릭터 영상을 704×1088 해상도, 초당 24프레임으로 생성하는 Runway Characters 운영 시스템을 공개했다. 2026년 11월 5일 발표된 arXiv:2611.05642v1에 따르면, 모델은 H100 GPU 4개에서 네 번의 잡음 제거 연산을 수행하며 음성 에이전트와 연동된다.1

실시간 재생에는 4프레임 묶음마다 166.7ms 이하가 필요하다. 연구진은 매번 반복되던 전체 KV 캐시 연산을 쓰기 시점으로 옮기고, 링 캐시와 RoPE·FP8 양자화를 적용했다. 또 텐서 병렬 통신을 FP8 행렬곱에 결합하고 영상 디코더에 별도 GPU를 배정했다. 결합 커널을 제외한 최적화만으로 확산 단계가 240.9ms에서 159.3ms로 줄어 24.5fps를 유지했으며, 결합 커널 적용 시 147.4ms까지 단축됐다고 저자들은 보고했다. 입 모양 동기화 점수의 저하는 감지되지 않았다.

7주간 운영에서는 1초 이상 이어진 세션의 99.5%가 평균 23.5fps를 넘었고, 전체 대화 차례 중앙값 2.1초 가운데 영상 파이프라인은 0.49초를 차지했다. 다만 비교한 오픈소스 시스템은 해상도가 3분의 1∼절반 수준이었고, 한 시스템의 지연은 추정치여서 직접 비교에는 제약이 있다.

Footnotes

  1. arXiv cs.DC, “Runway Characters: Serving a 57B Video Diffusion Transformer for Real-Time Conversation” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Runway Characters: Serving a 57B Video Diffusion Transformer for Real-Time Conversation — arXiv cs.DC · 자료: 2026. 11. 5.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.