Follow-Your-Emoji: ein Porträt-Animationsprojekt 224

Follow-Your-Emoji, gemeinsam entwickelt von der HKUST, Tencent Hunyuan und der Tsinghua-Universität, basiert auf einem Diffusionsmodell und überträgt Ziel-Mimiken oder -Bewegungen auf ein Referenzporträt, wobei die Identitätsmerkmale, die Bewegungskohärenz und die Realitätsnähe des Porträts erhalten bleiben. Durch die Extraktion der Gesichtsmerkmale von Video-Personen, insbesondere der Gesichtsdetails und der Pupillendynamik, werden neue Gesichtsanimationen erzeugt.

Du musst lediglich ein Foto bereitstellen, und Follow-Your-Emoji kann es in eine lebendige Gesichtsanimation verwandeln, die subtile Ausdrucksveränderungen einfangen kann.

Mit Follow-Your-Emoji kann ein einzelnes Treibervideo oder eine Bewegungssequenz verwendet werden, um mehrere verschiedene Referenzavatare animiert zu erzeugen. Jeder Referenzavatar zeigt entsprechend derselben Bewegungssequenz die gleichen Bewegungen und Ausdrucksveränderungen. Es kann auch ein einzelner Referenzavatar mit mehreren verschiedenen Treiber-Videos zur Generierung mehrerer Animationen verwendet werden. Jede Bewegungssequenz lässt denselben Referenzavatar unterschiedliche Bewegungen und Ausdrucksveränderungen zeigen.

Funktionsmerkmale von Follow-Your-Emoji:

• Identitätserhaltung: Während der Animationserstellung wird sichergestellt, dass die Identitätsmerkmale des Referenzavatars nicht verloren gehen und dein Erscheinungsbild stets konsistent bleibt.

• Reichhaltige Ausdrücke: Erzeugt verschiedene übertriebene und subtile Mimiken, wie z. B. starke Pupillenbewegungen, sei es feine Augenbewegungen oder übertriebene Ausdrucksveränderungen.

• Vielfältige Stile: Unterstützt Animationen für Avatare in verschiedenen Stilen, egal ob Cartoon-, realistische Personen-, Skulptur- oder Tieranimationen.

• Stabile und langlebige Animation: Durch den Einsatz einer progressiven Generierungsstrategie werden Stabilität und Konsistenz über lange Animationssequenzen hinweg gewährleistet.

Die Hauptschwierigkeit dieser Technologie besteht darin, die Identitätsmerkmale des Referenzavatars während der Animation nicht zu verlieren, gleichzeitig den Zielausdruck zu übertragen und zeitliche Kohärenz sowie Realitätsnähe sicherzustellen.

Um dieses Problem zu lösen, verwendet Follow-Your-Emoji zwei Schlüsseltechniken: Erstens wird ein neues explizites Bewegungssignal verwendet – ausdruckswahrnehmende Schlüsselpunkte, die den Animationsprozess steuern. Diese Schlüsselpunkte gewährleisten eine genaue Ausrichtung zwischen dem Referenzavatar und der Zielbewegung während des Inferenzprozesses und verbessern die Fähigkeit, übertriebene Ausdrücke (z. B. starke Pupillenbewegungen) darzustellen, während ein Verlust von Identitätsinformationen vermieden wird. Zweitens wird eine verlustfunktion für feinkörnige Gesichtsbereiche vorgeschlagen, die durch die Verwendung von Ausdrucks- und Gesichts-Masken die Fähigkeit des Modells verbessert, subtile Ausdrucksveränderungen und die Rekonstruktion des Erscheinungsbilds des Referenzavatars zu erfassen.

Follow-Your-Emoji eignet sich ideal für Fachleute und Enthusiasten, die Porträtanimationen erstellen möchten, darunter Animationsdesigner, Videoersteller, Spieleentwickler und mehr.

Paper-Adresse: https://arxiv.org/html/2406.01900v1

Projektadresse von Follow-Your-Emoji: https://follow-your-emoji.github.io/