DiffPortrait360: genera vistas de cabeza de 360° consistentes a partir de una sola imagen de retrato 120

¿Qué es DiffPortrait360?

En la producción de videojuegos, películas y animación, los personajes CG son el núcleo de la creación de contenido, y es necesario encontrar un equilibrio entre el realismo y la estilización. Anteriormente, los sistemas estéreo multivista y los escáneres 3D se utilizaban habitualmente para crear personajes humanos realistas, pero los personajes estilizados aún requerían ser modelados desde cero. La aparición de DiffPortrait360 ofrece un nuevo enfoque para generar de forma eficiente personajes estilizados.

DiffPortrait360 es una tecnología de generación de vistas de cabeza en 3D, capaz de generar imágenes de cabeza completas a 360 grados a partir de una única foto de retrato de una persona. Esta técnica combina un modelo de difusión latente preentrenado con varios módulos auxiliares para lograr una síntesis de vistas de cabeza 3D estilizadas y de alta calidad. DiffPortrait360 admite diversas entradas complejas, como diferentes peinados, poses y expresiones faciales, y los modelos generados pueden广泛应用于 la interacción remota inmersiva, la creación de contenido personalizado y la producción de videojuegos y animación.

Principio del método

• Arquitectura: DiffPortrait360 utiliza un modelo de difusión latente (LDM) preentrenado como red troncal de renderizado, e introduce tres módulos auxiliares entrenables, destinados respectivamente a controlar la apariencia dual R, el control de cámara C y las U-Nets con consistencia de vista. Entre ellos, R extrae información de apariencia de las imágenes frontal y trasera, C deduce la pose de la cámara y utiliza un GAN 3D ya disponible para el renderizado.

• Innovación clave: este método se basa en el marco DiffPortrait3D e incorpora un ControlNet personalizado para generar detalles de la parte trasera de la cabeza, junto con un módulo de apariencia dual que garantiza la coherencia global entre la parte frontal y trasera. Mediante el entrenamiento sobre secuencias de vistas continuas y la integración de imágenes de referencia de la vista trasera, se logra una síntesis robusta de vistas continuas locales.

• Estrategia de entrenamiento: se adopta una estrategia de entrenamiento con muestreo continuo para mantener mejor la continuidad de la trayectoria de la cámara, y se refuerza la atención a la continuidad entre fotogramas para mantener la información de apariencia invariante ante los cambios en el ángulo de rotación.

Ventajas y características

• Amplia aplicación: es capaz de generar vistas de cabeza a 360 grados en formas humanas, estilizadas y antropomórficas, por ejemplo con accesorios como gafas y sombreros.

• Alta calidad: puede generar campos de radiación neuronal (NeRFs) de alta calidad para renderizado en tiempo real desde puntos de vista libres, superando a los métodos más avanzados existentes en la合成 de objetos y la generación de cabezas a 360 grados.

• Gran robustez: capaz de procesar diversas entradas complejas, incluyendo peinados complejos, distintas poses de cabeza, expresiones faciales variadas y elementos detallados como la lengua.

Perspectivas de aplicación

• Aplicaciones de presencia remota inmersiva: ofrece a los usuarios una experiencia realista mediante la generación de vistas de cabeza a 360 grados de alta calidad.

• Creación de contenido personalizado: capaz de generar rápidamente modelos de cabeza 3D con distintos puntos de vista a partir de una única imagen de retrato proporcionada por el usuario.

• Producción de videojuegos y animación: puede generar de forma eficiente modelos de cabeza de personajes estilizados, mejorando la eficiencia y la calidad de la producción de videojuegos y animación.

Dirección de Github:https://github.com/FreedomGu/DiffPortrait360