Alibaba EMO: Sprech- und Gesangsvideos aus einem Bild und einer Audiodatei 290

Das Intelligent Computing Research Institute der Alibaba Group stellt stolz EMO vor: Emote Portrait Alive, eine bahnbrechende KI, die mit nur einem Bild und Audio ausdrucksstarke Porträt-Videos erzeugt! Die Länge des erzeugten Videos entspricht dabei der Länge des Audios. Sprech- und Gesangsvideos wirken äußerst lebensecht und unterstützen beliebige Stimmen, beliebige Sprechgeschwindigkeiten und beliebige Bilder...

Anders als herkömmliche Methoden verwendet EMO einen direkten Audio-zu-Video-Ansatz und umgeht die Notwendigkeit von intermediären 3D-Modellen oder Gesichtslandmarken. Dies gewährleistet nahtlose Bildübergänge im gesamten Video und eine konsistente Identitätserhaltung, was zu hochgradig ausdrucksstarken und realistischen Animationen führt – mit fließenderen Übergängen und natürlicheren Ausdrücken.

EMO ist sogar hervorragend darin, Gesangsvideos in verschiedenen Stilen zu erstellen! Stellen Sie sich vor, Sie könnten mit nur einem Bild Ihres Lieblingskünstlers ein Musikvideo produzieren!

EMO Forschungsbericht:https://arxiv.org/pdf/2402.17485.pdf

EMO Open-Source-Adresse:https://humanaigc.github.io/emote-portrait-alive/

EMO Hauptfunktionen:

1. Audiodgesteuerte Porträt-Videoerzeugung: Mit nur einem Referenzbild und Audioeingabe (z. B. Sprechen oder Singen) ist EMO in der Lage, virtuelle Porträtvideos mit ausdrucksstarken Veränderungen und Kopfbewegungen zu generieren. Das bedeutet, dass Benutzer durch die Bereitstellung eines statischen Bildes und einer entsprechenden Audiodatei dynamische Videos erstellen können, in denen die Person spricht oder singt. Unabhängig von den Mimik- oder Kopfbewegungen im Video stammen die grundlegenden Merkmale stets von diesem Referenzbild.

2. Ausdrucksstarke dynamische Darstellung und Unterstützung von Kopfposen: EMO legt besonderen Wert darauf, in Videos natürliche und ausdrucksstarke Gesichtsbewegungen zu erzeugen. Es erfasst subtile Gesichtsausdrücke und Kopfbewegungen und schafft so lebensechte Sprech- und Gesangsvideos, die natürlich und lebendig wirkende Gesichtsanimationen hervorbringen, was die Dynamik und Realitätsnähe des Videos erhöht.

3. Unterstützung mehrerer Sprachen und Porträtstile: Diese Technologie ist nicht auf bestimmte Sprachen oder Musikstile beschränkt. Sie kann Audioeingaben in verschiedenen Sprachen verarbeiten und unterstützt eine Vielzahl von Porträtstilen, darunter historische Persönlichkeiten, Gemälde, 3D-Modelle und KI-generierte Inhalte.

4. Schnelle Rhythmussynchronisation: EMO kann schnelle Audioinhalte wie schnelle Liedtexte oder Sprechpassagen verarbeiten und stellt sicher, dass die Bewegungen der virtuellen Porträts mit dem Audiotempo synchron bleiben.

5. Darstellerübergreifende Ausdrucksübertragung: EMO ermöglicht die Übertragung von Darstellungen zwischen verschiedenen Schauspielern, sodass der virtuelle Avatar eines Schauspielers die spezifische Performance eines anderen Schauspielers oder einer anderen Stimme imitieren kann, was die Vielfalt der Charakterdarstellung und die Einsatzbereiche erweitert.

EMO Anwendungsbereiche:

• Erstellung sofortiger Synchronisation

• Erstellung realistischer und ausdrucksstarker Charaktere für Filme und Videospiele

• Entwicklung ansprechender, interaktiver Bildungsmaterialien

• Verleiht virtuellen Assistenten ein menschlicheres Aussehen und Gefühl

• Macht Videokonferenzen ansprechender und persönlicher

• Erstellung fesselnderer und einprägsamerer Marketing- und Werbevideos

Die experimentellen Ergebnisse zeigen, dass EMO nicht nur überzeugende Sprechvideos, sondern auch Gesangsvideos in verschiedenen Stilen erstellen kann und in Bezug auf Ausdruckskraft und Realismus deutlich modernste Methoden übertrifft. Es setzt einen neuen Standard für die Videogenerierung und ist für die Zukunft von großer Bedeutung.