HunyuanVideo-Avatar: Audio-gesteuertes Digital-Human-Modell von Tencent Hunyuan 64

Was ist HunyuanVideo-Avatar?

HunyuanVideo - Avatar ist ein von Tencent Hunyuan auf Basis des Tencent Hunyuan-Video-Großmodells (HunyuanVideo) quelloffen bereitgestelltes sprachgesteuertes Digital-Human-Modell. Durch Audio-Steuerung kann die HunyuanVideo-Avatar-Technologie dynamische Charaktervideos erzeugen, die Sprechen, Körper- und Kopfbewegungen sowie Mimik der Figuren darstellen und Interaktionsszenen mit mehreren Charakteren unterstützen. Ziel ist es, drei Herausforderungen im Bereich der audiogesteuerten Charakteranimation zu lösen: die Erzeugung hochdynamischer Videos bei gleichzeitiger Wahrung der Charakterkonsistenz, die präzise emotionale Abstimmung zwischen Charakter und Audio sowie die Unterstützung audiogesteuerter Animationen mit mehreren Charakteren.

Funktionsmerkmale von HunyuanVideo - Avatar

• Unterstützung mehrerer Einstellungsgrößen: Unterstützt Kopf-Schulter-, Halb- und Ganzkörper-Einstellungen, sodass Nutzer je nach Bedarf den passenden Aufnahmewinkel wählen können.

• Mehrere Stile und Spezies-Szenen: Unterstützt verschiedene Stile (z. B. Cyberpunk, 2D-Anime, chinesische Tuschmalerei usw.), mehrere Spezies (einschließlich Roboter, Tiere usw.) sowie Szenen mit zwei Personen.

• Videoerzeugung mit hoher Konsistenz und hoher Dynamik: Kann basierend auf dem eingegebenen Charakterbild und dem Audio dessen Inhalt automatisch verstehen, etwa die Umgebung der Figur und die im Audio enthaltene Emotion, sodass die Figur im Bild natürlich spricht oder singt. Das Ergebnis sind Videos mit natürlichen Ausdrücken, Lippensynchronisation und Ganzkörperbewegungen, wobei die Konsistenz der Hauptfigur sowie die Gesamtdynamik des Videos gewahrt bleiben.

• Breite Anwendungsszenarien: Geeignet für Kurzvideoerstellung, E-Commerce, Werbung und viele weitere Anwendungsszenarien. Es können Sprech-, Dialog- und Auftrittssequenzen von Figuren in unterschiedlichen Umgebungen erzeugt sowie Produktvorstellungsvideos oder interaktive Werbespots mit mehreren Personen schnell produziert werden, was die Produktionskosten effektiv senkt.

• Präzise Steuerung mehrerer Charaktere: In Interaktionsszenen mit mehreren Personen können mehrere Charaktere präzise gesteuert werden, sodass Lippenbewegungen, Mimik und Gestik mit dem Audio synchronisiert sind und die Interaktion natürlich wirkt.

Technische Innovationen von HunyuanVideo - Avatar

• Modul zur Einspeisung von Charakterbildern: Basierend auf der multimodalen Diffusion-Transformer-Architektur (MM - DiT) gewährleistet es Charakterkonsistenz und Videodynamik und löst das Problem, bei der Videoerzeugung sowohl eine hohe Konsistenz des Erscheinungsbilds als auch flüssige, natürliche Bewegungen der Figur beizubehalten.

• Audio-Emotions-Modul (AEM): Extrahiert emotionale Informationen aus Audio und Referenzbild, erzeugt feine Mimik und Bewegungen und ermöglicht es dem Digital Human, entsprechend der Audio-Emotion passende Gesichtsausdrücke darzustellen.

• Gesichtswahrnehmungs-Audio-Adapter (FAA): Isoliert mithilfe von Gesichtsmaskierungstechnik das Audio einzelner Charaktere und ermöglicht so eine präzise Steuerung in Mehrpersonenszenen. Lippenbewegungen und Mimik verschiedener Figuren können unabhängig gesteuert werden, ohne dass sich die Aktionen der Figuren gegenseitig beeinflussen.

Anwendung von HunyuanVideo - Avatar

Sie können es auf der offiziellen Tencent-Hunyuan-Website (https://hunyuan.tencent.com/) unter „Modell-Platz - Hunyuan Videoerzeugung - Digital Human - Sprachgesteuert - HunyuanVideo - Avatar" ausprobieren. Derzeit wird das Hochladen von Audiodateien mit einer Länge von bis zu 14 Sekunden für die Videoerzeugung unterstützt.

Anwendungsszenarien von HunyuanVideo - Avatar

• Kurzvideoerstellung: Ermöglicht die schnelle Erzeugung von Dialog-, Auftritts- und anderen Videoclips in verschiedenen Szenarien.

• E-Commerce-Werbung: Wird zur Erstellung von Produktvorstellungsvideos, interaktiven Werbespots mit mehreren Personen usw. verwendet.

• Virtuelle Assistenten oder Spiele: Erstellung animierter Avatare zur Verbesserung des Interaktionserlebnisses.

Projektlinks

Projekt-Hauptseite: https://hunyuanvideo-avatar.github.io

GitHub-Adresse: https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar