DiffPortrait360 : générer des vues de tête à 360° cohérentes à partir d'une seule image de portrait 127

Qu'est-ce que DiffPortraitai360 ?

Dans les domaines des jeux vidéo, du cinéma et de la production d'animations, les personnages en CG constituent le cœur de la création de contenu, nécessitant un équilibre entre réalisme et stylisation. Les systèmes stéréo multi-vues traditionnels et les scanners 3D sont couramment utilisés pour créer des personnages humains réalistes, mais les personnages stylisés doivent encore être modélisés de toutes pièces. L'apparition de DiffPortrait360 offre une nouvelle approche pour générer efficacement des personnages stylisés.

DiffPortrait360 est une technologie de génération de vues de tête 3D capable de produire des images de tête à 360 degrés à partir d'une seule photographie de portrait. Cette technologie combine un modèle de diffusion latente pré-entraîné et plusieurs modules auxiliaires pour réaliser une synthèse de vues de tête 3D stylisées de haute qualité. DiffPortrait360 prend en charge diverses entrées complexes, telles que différentes coiffures, poses et expressions faciales, et les modèles générés peuvent être largement utilisés dans l'interaction immersive à distance, la création de contenu personnalisé, ainsi que dans la production de jeux vidéo et d'animations.

Principe de la méthode

• Architecture : DiffPortrait360 utilise un modèle de diffusion latente (LDM) pré-entraîné comme réseau de rendu principal, ainsi que trois modules auxiliaires entraînables, destinés respectivement au contrôle de la double apparence R, au contrôle de la caméra C et aux U-Nets à cohérence de vue. R extrait les informations d'apparence à partir des images frontales et arrière, tandis que C déduit la pose de la caméra et utilise un GAN 3D existant pour le rendu.

• Innovation clé : cette méthode s'appuie sur le cadre DiffPortrait3D, en y ajoutant un ControlNet personnalisé pour générer les détails de l'arrière de la tête, ainsi qu'un module de double apparence pour garantir la cohérence globale entre l'avant et l'arrière. Grâce à un entraînement sur des séquences de vues continues et à l'intégration d'images de référence de la vue arrière, une synthèse robuste de vues continues locales est réalisée.

• Stratégie d'entraînement : une stratégie d'entraînement par échantillonnage continu est adoptée afin de mieux préserver la continuité de la trajectoire de la caméra et de renforcer l'attention sur la continuité entre les images, pour maintenir l'apparence invariante lors des changements d'angle de rotation.

Avantages et caractéristiques

• Large éventail d'applications : capable de générer des vues de tête à 360 degrés sous forme humaine, stylisée ou anthropomorphique, par exemple avec des accessoires tels que des lunettes ou des chapeaux.

• Haute qualité : permet de générer des champs de radiance neuronaux (NeRFs) de haute qualité pour un rendu en temps réel à point de vue libre, surpassant les méthodes de pointe existantes en matière de synthèse d'objets et de génération de têtes à 360 degrés.

• Grande robustesse : capable de traiter diverses entrées complexes, notamment des coiffures élaborées, différentes poses de tête, des expressions faciales riches, ainsi que des éléments détaillés comme la langue.

Perspectives d'application

• Applications de téléprésence immersive : offre aux utilisateurs une expérience réaliste grâce à la génération de vues de tête à 360 degrés de haute qualité.

• Création de contenu personnalisé : permet de générer rapidement un modèle de tête 3D sous différents angles à partir d'une seule image de portrait fournie par l'utilisateur.

• Production de jeux vidéo et d'animations : permet de générer efficacement des modèles de tête de personnages stylisés, améliorant ainsi l'efficacité et la qualité de la production de jeux vidéo et d'animations.

Adresse Github :https://github.com/FreedomGu/DiffPortrait360