FantasyPortrait: emotionale Gesichtsanimation mehrerer Charaktere aus einem einzigen Standbild 79

FantasyPortrait ist ein gemeinsam vom Amap-Team von Alibaba und der Beijing University of Posts and Telecommunications entwickeltes Framework, das aus einem einzigen statischen Bild emotionalisierte Gesichtsanimationen mit mehreren Charakteren erzeugen kann. Es extrahiert komplexe Ausdrücke durch implizite Merkmale, ersetzt herkömmliche geometrische Prioren, verbessert die Übertragbarkeit zwischen Identitäten und nutzt einen Masken-Kreuzaufmerksamkeitsmechanismus, um Merkmalstörungen zwischen mehreren Charakteren zu vermeiden. Darüber hinaus unterstützt es die Anpassung an verschiedene Charakterstile, die Null-Schuss-Generierung von Tieranimationen sowie die Audiogesteuerung mit geringen Ressourcen und ist damit für Bereiche wie digitale Avatare, virtuelle Idole und Spiele-NPCs geeignet. Der Code wurde auf GitHub als Open Source veröffentlicht.

Kernfunktionen

✅ Implizites Ausdrucksverstärkungslernen: Durch implizite Merkmale werden komplexe Ausdrücke wie Lippenbewegungen und emotionale Ausdrucksformen extrahiert, wodurch herkömmliche explizite geometrische Prioren ersetzt und die Übertragbarkeit zwischen Identitäten verbessert werden.

✅ Masken-Kreuzaufmerksamkeitsmechanismus: Für die Mehrcharaktergenerierung werden unabhängige Ausdruckssteuerungsbereiche geschaffen, um Merkmalstörungen zu vermeiden und koordinierte Animationen im Sinne eines „ein Charakter, ein Kanal"-Prinzips zu realisieren.

✅ Multimodale Erweiterbarkeit: Unterstützt Text- und Audiogesteuerung, z. B. die Erzeugung von Lippenanimationsvideos durch Audiocodierung mit Whisper, und benötigt nur wenig Feinabstimmungsdaten, um mehrsprachig angepasst zu werden.

✅ Datensatz und Bewertungsbenchmark: Aufbau des Multi-Expr-Datensatzes (30.000+ hochwertige Mehrcharakter-Videos) sowie des ExprBench-Benchmarks zur Förderung der Branchenstandardisierung.

Methodische Aspekte:

✅ Zweistufige Trainingsstrategie: Zunächst werden Ausdrucksmerkmale durch ein UNet kodiert, anschließend werden Animationssequenzen durch einen Diffusion Transformer dekodiert.

✅ Mehrcharakter-Steuerungsmodul: Isoliert die Steuersignale verschiedener Charaktere durch Merkmalsmasken und gewährleistet zeitliche Konsistenz.

Datensatz und Bewertungsbenchmark:

✅ Multi-Expr-Datensatz: Enthält über 500.000 Frames an Ausdrucksdaten aus mehreren Blickwinkeln und ist der erste Mehrcharakter-Animationsdatensatz.

✅ ExprBench-Bewertungsbenchmark: Dient zum Training und zur Bewertung von Mehrcharakter-Porträt-Animationen.

Experimentelle Ergebnisse zeigen:

✅ Cross-Driver-Reenactment-Aufgabe: Im Vergleich zu Methoden wie StyleHEAT und PIRender verbessert sich der FID-Wert um 41,7 %.

✅ Mehrcharakter-Animationsgenerierung: Die Nutzerpräferenzrate liegt bei bis zu 83,5 %, und es können präzise feine Ausdrücke wie feine Augenbewegungen und asymmetrische Mundwinkelbewegungen erzeugt werden.

Anwendungsszenarien umfassen:

✅ Mehrcharakter-Animation: Unterstützt die Steuerung mehrerer Charaktere durch mehrere Einzelvideos oder ein einzelnes Mehrpersonenvideo und erzeugt detaillierte Ausdrücke sowie realistische Porträt-Animationen.

✅ Vielfältige Charakterstile: Kann dynamische, ausdrucksstarke und natürlich wirkende Animationen in unterschiedlichen Stilen erzeugen.

✅ Tieranimation: Obwohl nicht explizit auf Tierdatensätzen trainiert, weist das Modell eine starke Generalisierungsfähigkeit bei Tieranimationsaufgaben auf.

✅ Audiogesteuerte Porträt-Animation: Durch Audiocodierung und ein Transformer-basiertes Netzwerk werden Audio-Merkmale auf eine latente Steuierungsrepräsentation abgebildet, um audiogesteuerte Porträt-Animationen zu realisieren. Mit nur wenigen Trainingssamples ist eine gute Audio-Video-Synchronisation möglich.

Antworten auf Schlüsselfragen:

• Welche technischen Durchbrüche gibt es?

  Antwort: Erstens eine verstärkte implizite Steuerung des Ausdrucks, bei der durch implizite Gesichtsrepräsentationen feinkörnige Ausdrucksmerkmale erlernt werden, wodurch die Modellierung von Mundbewegungen und emotionalem Ausdruck verbessert wird. Zweitens eine Mehrcharakter-Masken-Kreuzaufmerksamkeit, ein neuartiger maskenbasierter Kreuzaufmerksamkeitsmechanismus, der eine unabhängige Steuerung und koordinierte Generierung mehrerer Charaktere ermöglicht und das Problem der Merkmalstörungen zwischen den Charakteren löst.

• Welche Funktionsmerkmale gibt es?

  Antwort: Dazu gehören die synchrone Mehrcharakter-Steuerung, die es ermöglicht, mehrere Charaktere durch ein einzelnes oder mehrere Einzelvideos sowie ein Mehrpersonenvideo synchron zu steuern; die Anpassung an mehrere Charakterstile, die dynamische, flüssige, lebendige und natürlich wirkende Videos in unterschiedlichen künstlerischen Stilen erzeugt; die Null-Schuss-Tieranimation, die auch ohne spezielles Training hervorragende Generierungsfähigkeit bietet; sowie die ressourcenarme Audiogesteuerung, die als audiogesteuertes Framework erweitert werden kann und Audio mit Whisper kodiert, um Audio-Merkmale über ein leichtgewichtiges Transformer-Netzwerk in den latenten Steuerungsraum zu übertragen.

• Welchen Anwendungswert hat es?

  Antwort: In der Film- und Fernsehproduktion können einzelne Animatoren problemlos Ensembleszenen erstellen; im Gaming-Bereich können NPCs individuelle Mikroexpressionen zeigen; in virtuellen Live-Streams können Interaktionen zwischen mehreren Charakteren lebendiger und natürlicher wirken.

Open-Source-Informationen:

GitHub-Repository: https://github.com/Fantasy-AMAP/fantasy-portrait

Projekt-Webseite: https://fantasy-amap.github.io/fantasy-portrait/