StableAvatar: Tool zur direkten Erzeugung von Sing- oder Sprechvideos aus Audio 142

Was ist StableAvatar?

StableAvatar ist ein Tool, das von Forschern der Fudan-Universität, Microsoft Research Asia und der Xi'an Jiaotong-Universität entwickelt wurde und mit dem aus Audio direkt singende oder sprechende Videos erzeugt werden können – und zwar ohne Begrenzung der Videolänge und mit hoher Bildqualität.

StableAvatar Kerntechnologien

• Zeitschritt-bewusster Audio-Adapter: Diese Technologie dient vor allem dazu, Audioinformationen während der Umwandlung vor Fehlern zu schützen. Sie führt die ursprünglichen Audioinformationen und die initialen Bildinformationen einer „Cross-Attention"-Verarbeitung zu (vereinfacht gesagt, damit beide besser miteinander verknüpft werden) und nimmt anschließend mithilfe von „Zeitschritt-Embeddings" Feinanpassungen vor (ähnlich wie eine Feinabstimmung der Informationen zu unterschiedlichen Zeitpunkten). So entstehen präzisere Audioinformationen, und es wird vermieden, dass Bild und Audio bei der späteren Videogenerierung nicht zusammenpassen oder das Bild verzerrt wird.

• Audio-natives Führungssystem: In der letzten Phase der Videogenerierung (der Inferenzphase) werden die vom Modell selbst vorhergesagten Audio- und Bildinformationen genutzt. Diese dynamischen Informationen dienen als „Leitsignal" und sorgen dafür, dass das erzeugte Video und das Audio stärker synchronisiert sind – Lippenbewegungen und Stimme passen zusammen.

• Dynamisch gewichtete Sliding-Window-Denoising-Strategie: Bei der Erzeugung langer Videos kann es zu Ruckeln oder Inkonsistenzen kommen. Diese Technologie verschmilzt im Zeitverlauf Latent-Informationen des Bildes (man kann sie als verborgene Merkmale des Bildes verstehen) und sorgt so dafür, dass die Übergänge zwischen den Einzelbildern langer Videos fließender sind – ohne plötzliche Sprünge oder Verzerrungen.

So funktioniert StableAvatar

• Audioverarbeitung: Zunächst werden aus dem eingegebenen Audio mit dem Wav2Vec-Modell Audio-Merkmale (sogenannte Audio-Embeddings) extrahiert. Anschließend werden diese Merkmale mit dem oben erwähnten „Audio-Adapter" optimiert, damit die Audioinformationen präziser werden.

• Verarbeitung des Referenzbildes (z. B. eines Ausgangsfotos der Person): Das Referenzbild wird über zwei Pfade in das Videogenerierungsmodell eingespeist:

• Erster Pfad: Das Referenzbild wird entlang der Zeitachse mit nullgefüllten Frames (entspricht leeren Frames) zusammengefügt und anschließend durch einen festen 3D-VAE-Encoder in einen Latent-Code (ähnlich verborgener Bildinformationen) umgewandelt. Dieser Latent-Code wird auf der Kanalachse mit den komprimierten Videoframes sowie einer binären Maske (zur Kennzeichnung der besonders zu bearbeitenden Bereiche) konkateniert und bildet so die Grundlage für die spätere Bildgenerierung.

• Zweiter Pfad: Über einen CLIP-Encoder (ein Modell, das Schlüsselmerkmale aus Bildern extrahieren kann) wird das Referenzbild in Image-Embeddings (Bildmerkmale) umgewandelt. Diese Merkmale werden dann in jedes „Bild-Audio-Cross-Attention-Modul" des Denoising-Moduls (DiT) eingespeist, um sicherzustellen, dass das Aussehen der Person im erzeugten Video mit dem Referenzbild übereinstimmt.

• Videogenerierung: In der Inferenzphase werden die ursprünglich einzuspeisenden echten Videoframes durch zufälliges Rauschen ersetzt (ein übliches Vorgehen bei dieser Art von Modellen). Die übrigen Eingaben (wie die optimierten Audiodaten und die aufbereiteten Referenzbildinformationen) bleiben unverändert. Das Modell berechnet daraus kontinuierliche Videoframes, die das vollständige Video ergeben.

Vorteile von StableAvatar

• Erzeugung extrem langer Videos: Frühere Tools konnten meist nur kurze Videos von weniger als 15 Sekunden erzeugen. StableAvatar hingegen kann Videos beliebiger Länge generieren und behält dabei eine hohe Bildqualität (Hi-Fi).

• Konstantes Erscheinungsbild der Figur: Auch bei sehr langen Videos bleiben Gesicht und Körperbewegungen der dargestellten Person konsistent – keine Gesichtsverzerrungen, keine ungewöhnlichen Körperproportionen und keine Inkonsistenzen im Erscheinungsbild über die Zeit.

• Keine Nachbearbeitung nötig: Die erzeugten Videos sind direkt verwendbar und müssen nicht mehr mit weiteren Tools nachbearbeitet werden (z. B. mit gängigen Face-Swap-Tools wie FaceFusion oder Restaurationsmodellen wie GFP-GAN und CodeFormer), was viel Aufwand spart.

Anwendungsszenarien von StableAvatar

1. Film- und Videoproduktion

• Anspruchsvolle Actionszenen: Schauspieler müssen gefährliche Stunts (wie Stürze aus großer Höhe oder Explosionen) nicht selbst ausführen – die Videogenerierung senkt Kosten und Risiken.

• Charakteranimation: Figuren in Filmen oder Videos erhalten realistische Bewegungen und Mimik und wirken dadurch lebendiger.

• Restaurierung alter Filme: Personen in altem Filmmaterial können klarer restauriert werden, sodass klassische Charaktere wieder neu zum Leben erweckt werden.

2. Spieleentwicklung

• Charakteranimation: Bewegungen und Mimik von Spielfiguren werden realistischer, was das Spielerlebnis immersiver macht.

• Cutscenes: Die Übergangsvideos in Spielgeschichten werden beeindruckender und binden die Spieler stärker an das Spiel.

• Interaktion mit virtuellen Charakteren: NPCs (Nicht-Spieler-Charaktere) wirken in ihren Bewegungen und ihrer Mimik natürlicher, wodurch die Spielwelt authentischer wird.

3. Virtual Reality (VR) und Augmented Reality (AR)

• Erstellung virtueller Charaktere: In VR/AR-Anwendungen werden realistische Figuren erzeugt, sodass Nutzer das Gefühl haben, mit echten Personen zu interagieren.

• VR-Socializing: Nutzer können mit den erzeugten virtuellen Figuren chatten und interagieren, was den Spaß an sozialen Erlebnissen erhöht.

• VR-Tourismus: Mit VR-Geräten können Nutzer Sehenswürdigkeiten rund um den Globus hautnah erleben, als wären sie wirklich gereist.

4. Social Media und Livestreaming

• Virtuelle Streamer: Die erzeugten virtuellen Streamer behalten ein konsistentes Erscheinungsbild, und die Animationen im Livestream wirken realer.

• Kreative Inhalte: Kurzvideo-Creator und digitale Künstler können damit vielfältige, unterhaltsame dynamische Figuren entwerfen und besonders kreative Inhalte produzieren.

5. Bildung und Kundenservice

• Virtuelle Assistenten: In Bildungs- oder Kundenservice-Szenarien werden virtuelle Lehrkräfte oder Servicemitarbeiter mit konstantem Erscheinungsbild generiert, die anschaulichere und individuellere Dienste bieten (z. B. eine virtuelle Lehrkraft, die den Schülern gegenüber immer gleich aussieht).

6. Werbung und digitales Marketing

• Kinoreife Werbung: Es können komplexe Figurenbewegungen und Kameraeffekte erzeugt werden – ideal für Werbung, Kurzfilme oder animierte Trailer in Kinoqualität.