Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten DiffPortrait360: Konsistente 360°-Kopfansichten aus einem einzelnen Porträtbild erzeugen
小编 ·
DiffPortrait360: Konsistente 360°-Kopfansichten aus einem einzelnen Porträtbild erzeugen
Was ist DiffPortrait360?
In der Spiele-, Film- und Animationsproduktion sind CG-Charaktere der Kern der Inhaltserstellung und erfordern ein Gleichgewicht zwischen Realismus und Stilisierung. Herkömmliche Multi-View-Stereosysteme und 3D-Scanner werden häufig zur Erstellung realistischer menschlicher Charaktere verwendet, aber stilisierte Charaktere müssen weiterhin von Grund auf modelliert werden. Mit DiffPortrait360 wurde ein neuer Ansatz zur effizienten Generierung stilisierter Charaktere vorgestellt.
DiffPortrait360 ist eine Technologie zur Erzeugung von 3D-Kopfansichten, die aus einem einzelnen Personenporträtfoto ein 360-Grad-Rundum-Kopfbild generieren kann. Diese Technologie kombiniert ein vortrainiertes latentes Diffusionsmodell mit mehreren Hilfsmodulen, um eine hochwertige, stilisierte 3D-Kopfansichtssynthese zu erreichen. DiffPortrait360 unterstützt verschiedene komplexe Eingaben wie unterschiedliche Frisuren, Posen und Gesichtsausdrücke, und die generierten Modelle können vielfältig in immersiver Telepräsenz, personalisierter Inhaltserstellung sowie in der Spiele- und Animationsproduktion eingesetzt werden.
Methodik und Prinzip
Architektur: DiffPortrait360 verwendet ein vortrainiertes latentes Diffusionsmodell (LDM) als Rendering-Backbone und führt drei zusätzliche trainierbare Module ein, die jeweils die Steuerung des Dual-Appearance-Moduls R, der Kamerasteuerung C und der U-Nets mit View-Konsistenz übernehmen. Dabei extrahiert R Erscheinungsinformationen aus Front- und Rückansichten, während C Kamerahaltungen ableitet und ein handelsübliches 3D-GAN zum Rendering verwendet.
Wesentliche Innovation: Die Methode basiert auf dem DiffPortrait3D-Framework und ergänzt ein individuelles ControlNet zur Erzeugung von Hinterkopfdetails sowie ein Dual-Appearance-Modul zur Gewährleistung der globalen Vorder-Rück-Konsistenz. Durch das Training auf kontinuierlichen Bildsequenzen und die Integration von Rückansichts-Referenzbildern wird eine robuste lokale kontinuierliche Ansichtssynthese erreicht.
Trainingsstrategie: Es wird eine Strategie mit kontinuierlicher Abtastung verwendet, um die Kontinuität der Kameratrajektorie besser zu erhalten, und die Aufmerksamkeit auf die Kontinuität zwischen den Frames verstärkt, damit die Erscheinungsinformationen bei Änderungen des Drehwinkels unverändert bleiben.
Vorteile und Merkmale
Breites Anwendungsspektrum: Kann 360-Grad-Kopfansichten in menschlicher, stilisierter sowie vermenschlichter Form erzeugen, einschließlich Accessoires wie Brillen und Hüte.
Hohe Qualität: Erzeugt hochwertige Neural Radiance Fields (NeRFs) für Echtzeit-Rendering aus freien Blickwinkeln und übertrifft bei der Objektsynthese und der 360-Grad-Kopferzeugung die bisherigen State-of-the-Art-Methoden.
Hohe Robustheit: Verarbeitet verschiedenste komplexe Eingaben, darunter komplexe Frisuren, unterschiedliche Kopfhaltungen, vielfältige Gesichtsausdrücke sowie detaillierte Elemente wie etwa die Zunge.
Anwendungsperspektiven
Immersive Telepräsenz-Anwendungen: Durch die Erzeugung hochwertiger 360-Grad-Kopfansichten wird dem Nutzer ein realistisches Erlebnis geboten.
Personalisierte Inhaltserstellung: Aus einem vom Nutzer bereitgestellten einzelnen Porträtbild kann schnell ein 3D-Kopfmodell mit unterschiedlichen Blickwinkeln generiert werden.
Spiele- und Animationsproduktion: Stilisierte Charakterkopfmodelle können effizient erzeugt werden, was Effizienz und Qualität der Spiele- und Animationsproduktion steigert.
Github-Adresse:https://github.com/FreedomGu/DiffPortrait360
