FantasyTalking: Alibaba-Tool zur Erzeugung realistischer sprechender Porträts aus einem einzigen Standbild 52

Was ist FantasyTalking?

FantasyTalking ist ein von Alibaba entwickeltes Tool zur Erzeugung virtueller Charakteranimationen, das aus einem einzelnen statischen Porträt ein realistisches, dynamisch sprechendes Porträt generiert. Es verwendet eine zweistufige Audio-Visuell-Alignment-Strategie, um eine präzise Lippensynchronisation mit der Sprache sicherzustellen, und erzeugt gleichzeitig durch ein gesichtsfokussiertes Cross-Attention-Modul und ein Modul zur Modulation der Bewegungsintensität natürliche und vielfältige Animationen. In Spielen, Film und Fernsehen sowie in der virtuellen Realität eingesetzt, können schnell hochwertige virtuelle Charakteranimationen erstellt werden.

Technische Funktionsweise von FantasyTalking

• Zweistufige Audio-Visuell-Alignment-Strategie: In der ersten Stufe wird ein segmentbasiertes Trainingsschema verwendet, um die audiodynamik im gesamten Szenenkontext auszurichten, einschließlich Referenzporträt, Kontextobjekten und Hintergrund, und so eine kohärente globale Bewegung aufzubauen; die zweite Stufe verfeinert die Lippenbewegungen auf Frame-Ebene mithilfe einer Lippenverfolgungsmaske und gewährleistet so eine exakte Synchronisation mit dem Audiosignal.

• Gesichtsfokussiertes Cross-Attention-Modul: Es ersetzt das übliche Referenznetzwerk und erhält effektiv die Konsistenz des Gesichts im Video.

• Modul zur Modulation der Bewegungsintensität: Es steuert explizit die Intensität von Mimik und Körperbewegung, sodass die Porträtbewegung nicht nur auf Lippenbewegungen beschränkt ist, sondern auch natürlichere und vielfältigere Animationen ermöglicht.

Hauptfunktionen von FantasyTalking

• Lippensynchronisation: Kann die Lippenbewegungen virtueller Charaktere genau erkennen und mit der Eingabesprache synchronisieren, sodass die Lippenbewegungen beim Sprechen vollständig mit dem Sprachinhalt übereinstimmen.

• Erzeugung von Gesichtsbewegungen: Generiert auf Basis von Sprachinhalt und emotionalen Informationen vielfältige Gesichtsausdrücke wie Blinzeln, Stirnrunzeln und Lächeln.

• Erzeugung von Ganzkörperbewegungen: Erzeugt je nach Szene und Handlung Ganzkörperbewegungen wie Gehen, Rennen und Springen.

Kernvorteile von FantasyTalking

• Hohe Realitätstreue: Durch den Einsatz fortschrittlicher Algorithmen der künstlichen Intelligenz und Deep-Learning-Techniken sind die erzeugten virtuellen Charakteranimationen in Aussehen, Bewegung und Ausdruck nicht von echten Menschen zu unterscheiden.

• Flexibel und benutzerfreundlich: Bietet eine übersichtliche und intuitive Benutzeroberfläche sowie umfangreiche API-Schnittstellen, unterstützt verschiedene Eingabe- und Ausgabeformate und ermöglicht so einen schnellen Einstieg sowie eine einfache Integration in eigene Projekte.

• Effizient und stabil: Dank optimierter Algorithmen und einer leistungsfähigen Rechenarchitektur können in kurzer Zeit hochwertige virtuelle Charakteranimationen erzeugt werden, wobei gleichzeitig die Stabilität und Zuverlässigkeit des Systems gewährleistet bleiben.

Anwendungsszenarien von FantasyTalking

• Spieleentwicklung: Kann zur Erzeugung von Dialoganimationen, Kampfanimationen und mehr für Spielcharaktere verwendet werden und verbessert so die visuellen Effekte und die Interaktivität des Spiels.

• Film- und Fernsehproduktion: Unterstützt Produktionsteams dabei, schnell hochwertige Animations- und Spezialeffekt-Animationen virtueller Charaktere zu erstellen, und senkt so Produktionskosten und Zeitaufwand.

• Virtuelle Realität und Augmented Reality: Erzeugt Interaktions- und Navigationsanimationen virtueller Charaktere für VR- und AR-Anwendungen und steigert so das Eintauchen und das Nutzererlebnis.

Projekt-Website:https://fantasy-amap.github.io/fantasy-talking/

Github-Repository:https://github.com/Fantasy-AMAP/fantasy-talking

arXiv-Paper:https://arxiv.org/pdf/2504.04842