PortraitGen: multimodales Werkzeug zur Bearbeitung von Portraitvideos 224

PortraitGen ist ein innovatives KI-Tool zur Bearbeitung von Video-Porträts, das von der University of Science and Technology of China entwickelt wurde. Es kann 2D-Porträtvideos auf 4D-Effekte hochskalieren. Es unterstützt multimodale Bearbeitung und ermöglicht es, innerhalb von nur 30 Minuten die Kleidung, den Gesichtsausdruck und die Lichtverhältnisse von Personen im Video zu verändern. PortraitGen verfügt außerdem über ein gesichtsbewusstes Bearbeitungsmodul, das die Flüssigkeit der Ausdrucksbearbeitung verbessert. Benutzer können durch die Eingabe von Videos und Referenzbildern mühelos Effekte zur Textänderung von Personen erzielen.

Hauptmerkmale von PortraitGen:

• Schnelle Bearbeitung: PortraitGen kann die Videobearbeitung in nur 30 Minuten abschließen, und das bearbeitete 3D-Porträt unterstützt eine flüssige Wiedergabe mit 100 Bildern pro Sekunde.

• Multimodale Eingabe: Benutzer können über Text-, Bild- oder 3D-Modell-Eingaben bearbeiten und verschiedene Bearbeitungsmethoden nutzen, einschließlich textgesteuerter und bildgesteuerter stilisierter Bearbeitung.

• Gesichtsbewusstes Bearbeitungsmodul: Dieses Modul soll die Ausdrucksqualität verbessern und personalisierte Gesichtszüge bewahren, sodass der Bearbeitungseffekt natürlicher und feiner wird.

• Lichtanpassung: Benutzer können die Beleuchtung der Videobilder entsprechend der bereitgestellten Lichtbeschreibung anpassen, um das gesamte Video harmonischer und ästhetischer zu gestalten.

• Technische Vorteile: PortraitGen verwendet Neural Gaussian Texturing, das sich von der herkömmlichen Sphärisch-Harmonischen-Methode unterscheidet und für jeden Gausspunkt lernbare Merkmale speichern kann, um reichhaltigere Bearbeitungseffekte zu erzielen.

• Hohe Bildrate: Das bearbeitete Video unterstützt eine flüssige Wiedergabe mit 100 Bildern pro Sekunde.
  

• Kleidungswechsel-Effekt: Wird durch Stiltransfer und virtuelles Anprobieren realisiert.
  

Technische Details von PortraitGen:

• SMPL-X-Koeffizienten: Wird für das Tracking monokularer Videos verwendet.

• Neural Gaussian Texturing: Konstruktion eines 3D-Gauß-Merkmalsfelds.

• Gesichtsbewusste Bearbeitung: Verbesserung der Ausdrucksqualität unter Beibehaltung der personalisierten Gesichtsstruktur.

• Stiltransfer: Wird für die bildgesteuerte Bearbeitung verwendet.

• InstructPix2Pix: Wird für die textgesteuerte Bearbeitung verwendet.

Anwendungsszenarien von PortraitGen:

• Film- und Fernsehproduktion: Schnelle Erstellung hochwertiger Porträtvideos.

• Werbebranche: Flexible Änderung des Videostils.

• Soziale Medien: Erstellung personalisierter Videoinhalte.

• Bildung und Schulung: Erstellung von Lehrvideos.

• Virtuelles Anprobieren: Anwendung in der Modebranche.

PortraitGen ist ein fortschrittliches KI-Videobearbeitungstool für Porträts, das vom Forschungsteam der University of Science and Technology of China entwickelt und am 23. September 2024 über Arxiv veröffentlicht wurde. PortraitGen verändert das Erscheinungsbild von Personen im Video durch Textbefehle oder Referenzbilder und bietet multimodale Bearbeitungsfunktionen, einschließlich – aber nicht beschränkt auf – Kleidungswechsel, Anpassung der Lichteffekte und Änderung von Personenmerkmalen.

Zugriffsmöglichkeiten auf PortraitGen:

Projektadresse: https://ustc3dv.github.io/PortraitGen

Github-Adresse: https://github.com/USTC3DV/PortraitGen-code

Paper-Adresse: https://arxiv.org/abs/2409.13591