ChatAnyone: Alibabas Portrait-Video-Generator aus Audio mit ausdrucksstarken Mimiken und Oberkörperbewegungen 143

小编 · 2025-03-28

ChatAnyone ist ein Echtzeit-Framework zur Erzeugung stilisierter Portrait-Videos, entwickelt von Alibabas Tongyi Lab. Es geht über „sprechende Köpfe" hinaus und erzeugt hochauflösende interaktive Oberkörper-Animationen mit vielfältigen Gesichtsausdrücken und Stilsteuerung. Ideal für Echtzeit-Videochats, virtuelle Streamer, KI-Assistenten und mehr.

ChatAnyone: Alibabas Portrait-Video-Generator aus Audio mit ausdrucksstarken Mimiken und Oberkörperbewegungen

Was ist ChatAnyone?

ChatAnyone ist ein Echtzeit-Framework zur Erzeugung stilisierter Porträt-Videos, das vom Tongyi-Labor der Alibaba Group entwickelt wurde. Es ermöglicht die hochauflösende Animationsgenerierung vom „sprechenden Kopf" bis zur Oberkörper-Interaktion und unterstützt vielfältige Gesichtsausdrücke sowie Stilsteuerung. Es eignet sich für Szenarien wie Echtzeit-Videochats, virtuelle Streamer und KI-Assistenten.

ChatAnyone：阿里发布的通过音频输入生成具有丰富表情和上半身动作的肖像视频.webp

ChatAnyone Technische Methode

Effizientes hierarchisches Bewegungs-Diffusionsmodell (Hierarchical Motion Diffusion Model)

Eingabe: Audiosignal.
Ausgabe: Steuerungssignale für Gesicht und Körper, unter Berücksichtigung expliziter und impliziter Bewegungssignale.
Funktion: Erzeugung vielfältiger Gesichtsausdrücke und Synchronisation von Kopf- und Körperbewegungen.
Feinkörnige Ausdruckssteuerung: Unterstützt Ausdrucksänderungen unterschiedlicher Intensität sowie die Übertragung stilisierter Ausdrücke aus Referenzvideos.

Hybrides Steuerungs-Fusions-Generierungsmodell (Hybrid Control Fusion Generative Model)

Gesichtsausdrucksgenerierung: Kombination expliziter Landmarken und impliziter Offset-Werte zur Erzeugung realistischer Gesichtsausdrücke.
Handbewegungssteuerung: Einspeisung expliziter Handsteuerungssignale zur Erzeugung genauerer und realistischerer Handbewegungen.
Gesichtsoptimierungsmodul: Verbessert die Realitätsnähe des Gesichts und stellt sicher, dass die erzeugten Porträtvideos eine hohe Ausdruckskraft und Authentizität aufweisen.

Skalierbares Echtzeit-Generierungsframework

Flexibilität: Unterstützt Animationen von kopfgesteuerten Animationen bis hin zu Oberkörper-Generierungen mit Gesten.
Echtzeitfähigkeit: Echtzeit-Generierung von Oberkörper-Porträtvideos auf einer 4090 GPU mit maximal 512×768 Auflösung und 30 fps.

ChatAnyone Versuchsergebnisse

Audiosteuerte Oberkörper-Animation: Erzeugung von hochgradig ausdrucksstarken Oberkörper-Digitalhuman-Videos, mit und ohne Hände.
Audiosteuerte Kopfanimation: Erreicht hochpräzise Lippensynchronisation, erzeugt natürliche Kopfhaltungen und reichhaltige Gesichtsausdrücke.
Audiosteuerte stilisierte Animation: Unterstützt die Erzeugung stilisierter Charakteranimationen und eignet sich auch für die Erzeugung ausdrucksstarker Gesangsvideos.
Demo eines KI-Podcasts mit zwei Moderatoren: Kann Podcasts mit zwei Moderatoren erzeugen und unterstützt KI-gesteuerte Dialoge.
Echtzeit-Interaktionsdemo: Erreicht Echtzeit-Generierung mit 30 fps auf einer 4090 GPU und unterstützt praktische interaktive Videochat-Anwendungen.

ChatAnyone：阿里发布的通过音频输入生成具有丰富表情和上半身动作的肖像视频.webp

ChatAnyone Vorteile

Hohe Wiedergabetreue und Natürlichkeit: Die erzeugten Porträtvideos verfügen über reichhaltige Ausdrücke und natürliche Oberkörperbewegungen.
Echtzeitfähigkeit: Unterstützt Echtzeit-Interaktion und eignet sich für Anwendungsszenarien wie Videochats.
Stilisierte Steuerung: Ausdrucksstile können nach Bedarf angepasst werden, um personalisierte Animationsgenerierung zu ermöglichen.

Anwendungsszenarien von ChatAnyone

Virtuelle Streamer und Videokonferenzen

Virtuelle Streamer für Nachrichtensendungen und Live-Shopping.
Bereitstellung virtueller Avatare in Videokonferenzen zur Steigerung der Interaktivität.

Inhaltserstellung und Unterhaltung