AniPortrait: Erzeugung realistischer dynamischer Videos aus Audio und statischen Gesichtsbildern 127

AniPortrait ist ein Audio-getriebenes Porträtanimations-Synthese-Framework, das von Tencent-Forschern entwickelt wurde. Es kann basierend auf Audiodaten und einem statischen Gesichtsbild realistische dynamische Videos erzeugen.

Zu den Anwendungsszenarien von AniPortrait gehören das Synchronisieren von Vertonungen für Videos oder das Erstellen realistischer Gesichtsanimationen, die Produktion kreativer Memes oder einzigartiger dynamischer Avatare sowie die Bereitstellung von Werkzeugen zur Gesichtsreproduktion und Animationserstellung für Künstler und Kreative.

Funktionsmerkmale von AniPortrait:

Die Hauptmerkmale der Bild-zu-Video-Funktion von AniPortrait umfassen die folgenden Punkte:

• Audio-getriebene Porträtanimations-Synthese: AniPortrait ist ein Werkzeug, das basierend auf Audiodaten und einem statischen Gesichtsbild realistische dynamische Videos erzeugen kann. Dies wird durch die Extraktion von 3D-Gesichtsausdrücken aus dem Audio erreicht.

• Benutzerfreundlichkeit: Die Verwendung von AniPortrait ist sehr einfach. Es müssen nur ein Audio- und ein Gesichtsbild bereitgestellt werden, um eine Gesichtsanimation zu erzeugen, die den spezifischen Anforderungen entspricht. Darüber hinaus können die Modell- und Gewichtungseinstellungen nach Wunsch angepasst werden, um individuelle Animationseffekte zu erzielen.

• 3D-Datenkonvertierung: AniPortrait extrahiert dreidimensionale Zwischendaten aus dem Audio und wandelt diese Daten in eine Reihe von zweidimensionalen Gesichtslandmarken um, die die Grundlage für die nachfolgende Erzeugung der Gesichtsanimation bilden.

• Hochwertige Animationserzeugung: Dieses Werkzeug erzeugt auf Basis von Audiodaten und einem Referenz-Gesichtsfoto hochwertige Animationen, einschließlich zweier Hauptschritte: zunächst die Extraktion dreidimensionaler Zwischendaten aus dem Audio und anschließend die Weiterverarbeitung.

Anwendungsszenarien von AniPortrait:

Die Anwendungsszenarien der Bild-zu-Video-Funktion von AniPortrait umfassen hauptsächlich die folgenden Bereiche:

• Virtuelle Realität (VR): AniPortrait kann VR-Charakteren realistische Gesichtsanimationen verleihen und so das Eintauchen der Nutzer verstärken. Das bedeutet, dass Nutzer in Virtual-Reality-Umgebungen durch natürlichere und realistischere Gesichtsausdrücke mit virtuellen Charakteren interagieren können, was die Authentizität und Interaktivität des Erlebnisses erhöht.

• Videospiele: In Videospielen kann der Einsatz von AniPortrait die Gesichtsausdrücke von Spielfiguren vielfältiger und realistischer machen, wodurch die Attraktivität des Spiels und das Eintauchen der Spieler gesteigert werden. Durch die Generierung realistischer dynamischer Videos können die Ausdrücke und Reaktionen der Spielfiguren natürlicher wirken, was den Unterhaltungswert und die Interaktivität des Spiels erhöht.

• Audio-getriebene Animationssynthese: AniPortrait unterstützt die audio-getriebene Animationssynthese. Das bedeutet, dass es automatisch entsprechende Gesichtsanimationen basierend auf dem Audioinhalt erzeugen kann. Dies eignet sich für Szenarien, in denen passend zu bestimmten Audioinhalten Ausdrücke oder Bewegungen generiert werden müssen. Diese Anwendung kann breit in der Videoproduktion, bei Film-Spezialeffekten und ähnlichen Bereichen eingesetzt werden, sodass die Ausdrücke und Bewegungen der Charaktere besser zum Audiokontext passen und die Ausdruckskraft des Werks gesteigert wird.

• Hochwertige Animationserzeugung: AniPortrait kann hochwertige Animationen erzeugen, was es sehr geeignet für Anlässe macht, die hohe Auflösung und Detailgenauigkeit erfordern, wie z. B. Filmproduktionen, Werbevideos usw. Durch die Erzeugung hochwertiger Animationen wird sichergestellt, dass die Ausdrücke und Bewegungen der Charaktere sowohl realistisch als auch fein abgestimmt sind und professionellen Produktionsanforderungen genügen.

Im Vergleich zu anderen KI-Werkzeugen, wie dem von Alibaba vorgestellten EMO, kann AniPortrait ebenfalls durch die Eingabe eines Referenzbildes und einer Sprachaufnahme lebendige Videos mit vielfältigen Gesichtsausdrücken und abwechslungsreichen Kopfbewegungen erzeugen. Bemerkenswert ist jedoch, dass AniPortrait früher als EMO als Open Source veröffentlicht wurde, was die technologische Innovation und die offene Haltung von Tencent in diesem Bereich zeigt.

Insgesamt basiert die Bild-zu-Video-Technologie von AniPortrait hauptsächlich auf der Eingabe von Audiodaten und statischen Gesichtsbildern, die mittels fortschrittlicher KI-Algorithmen verarbeitet werden, um realistische dynamische Videos zu erzeugen, die zum Audioinhalt passen. Diese Technologie eignet sich nicht nur für soziale Medien, künstlerische Kreationen und nicht zuletzt für die starken Fähigkeiten der KI in den Bereichen Bildverarbeitung und Animationserzeugung.