ChatAnyone: Alibaba가 출시한 오디오 입력으로 풍부한 표정과 상반신 동작을 가진 인물 영상을 생성하는 도구 145

小编 · 2025-03-28

ChatAnyone은 Alibaba의 Tongyi Lab에서 개발한 실시간 스타일화된 인물 영상 생성 프레임워크입니다. "말하는 머리"에서 상반신 인터랙티브 애니메이션으로 발전하여 고충실도 결과물을 생성하며, 다양한 표정과 스타일 제어를 지원합니다. 실시간 영상 채팅, 가상 스트리머, AI 어시스턴트 등의 시나리오에 적합합니다.

ChatAnyone: Alibaba가 출시한 오디오 입력으로 풍부한 표정과 상반신 동작을 가진 인물 영상을 생성하는 도구

ChatAnyone이란 무엇인가?

ChatAnyone은 알리바바 그룹 통의연구소(通义实验室)에서 개발한 실시간 스타일화된 초상 비디오 생성 프레임워크로, "말하는 머리"에서 상반신 인터랙션에 이르는 고정밀 애니메이션 생성을 구현하며, 다양한 표정과 스타일 제어를 지원합니다. 실시간 영상 채팅, 가상 스트리머, ai 어시스턴트 등 시나리오에 적용됩니다.

ChatAnyone：阿里发布的通过音频输入生成具有丰富表情和上半身动作的肖像视频.webp

ChatAnyone 기술 방법

효율적 계층적 모션 디퓨전 모델 (Hierarchical Motion Diffusion Model)

입력: 오디오 신호.
출력: 얼굴 및 신체의 제어 신호로, 명시적 및 암시적 모션 신호를 고려함.
기능: 다양한 표정을 생성하고 머리와 신체 동작의 동기화를 구현함.
세밀한 표정 제어: 다양한 강도의 표정 변화를 지원하며, 참조 비디오에서 스타일화된 표정을 전이함.

하이브리드 제어 융합 생성 모델 (Hybrid Control Fusion Generative Model)

표정 생성: 명시적 랜드마크와 암시적 오프셋을 결합하여 사실적인 표정을 생성함.
손 동작 제어: 명시적 손 제어 신호를 주입하여 보다 정확하고 사실적인 손 동작을 생성함.
표정 최적화 모듈: 얼굴의 사실감을 강화하여 생성된 초상 비디오가 높은 표현력과 사실감을 갖도록 보장함.

확장 가능한 실시간 생성 프레임워크

유연성: 머리 기반 애니메이션부터 제스처를 포함한 상반신 생성까지 지원함.
실시간성: 4090 GPU에서 최대 512×768 해상도, 30fps 속도로 상반신 초상 비디오를 실시간 생성함.

ChatAnyone 실험 결과

오디오 기반 상반신 애니메이션: 높은 표현력을 가진 상반신 디지털 휴먼 비디오를 생성하며, 손이 있는 시나리오와 손이 없는 시나리오를 모두 지원함.
오디오 기반 머리 애니메이션: 고정밀 립싱크를 구현하고 자연스러운 머리 자세와 풍부한 표정을 생성함.
오디오 기반 스타일화 애니메이션: 스타일화된 캐릭터의 애니메이션 생성을 지원하며, 표현력이 풍부한 노래 비디오 생성에도 적합함.
더블 호스트 AI 팟캐스트 데모: AI 기반 대화를 지원하는 더블 호스트 팟캐스트를 생성할 수 있음.
실시간 인터랙션 데모: 4090 GPU에서 30fps의 실시간 생성을 구현하여 실제 인터랙티브 영상 채팅 애플리케이션을 지원함.

ChatAnyone：阿里发布的通过音频输入生成具有丰富表情和上半身动作的肖像视频.webp