PortraitGen: herramienta multimodal para editar vídeos de retratos 230

PortraitGen es una innovadora herramienta de edición de vídeo de retratos con IA desarrollada por la Universidad de Ciencia y Tecnología de China. Es capaz de mejorar vídeos de retratos 2D a efectos 4D. Admite edición multimodal, permitiendo modificar la ropa, las expresiones y el entorno de iluminación de los personajes del vídeo en tan solo 30 minutos. PortraitGen también incorpora un módulo de edición con conciencia facial que mejora la fluidez de la edición de expresiones. Los usuarios pueden introducir un vídeo y una imagen de referencia para modificar fácilmente el aspecto del personaje mediante texto.

Características principales de PortraitGen:

• Edición rápida: PortraitGen puede completar la edición de vídeo en tan solo 30 minutos, y los retratos en 3D editados admiten una reproducción fluida a 100 fotogramas por segundo.

• Entrada multimodal: los usuarios pueden editar mediante texto, imagen o modelo 3D, admitiendo varios métodos de edición, incluyendo edición estilizada guiada por texto y por imagen.

• Módulo de edición con conciencia facial: este módulo está diseñado para mejorar la calidad de las expresiones y preservar las características faciales personalizadas, logrando efectos de edición más naturales y detallados.

• Ajuste de iluminación: los usuarios pueden ajustar la iluminación de los fotogramas del vídeo según la descripción de iluminación proporcionada, haciendo que todo el vídeo sea más armonioso y atractivo.

• Ventajas técnicas: PortraitGen adopta la tecnología de texturas gaussianas neuronales, que a diferencia de los métodos tradicionales de coeficientes armónicos esféricos, permite almacenar características aprendibles para cada punto gaussiano, logrando efectos de edición más ricos.

• Alta frecuencia de fotogramas: los vídeos editados admiten una reproducción fluida a 100 fotogramas por segundo.
  

• Efecto de cambio de ropa: se logra mediante transferencia de estilo y prueba virtual.
  

Detalles técnicos de PortraitGen:

• Coeficientes SMPL-X: utilizados para el seguimiento de vídeos monoculares.

• Texturas gaussianas neuronales: construcción de un campo de características gaussianas 3D.

• Edición con conciencia facial: mejora la calidad de las expresiones y preserva la estructura facial personalizada.

• Transferencia de estilo: utilizada para la edición guiada por imagen.

• InstructPix2Pix: utilizado para la edición guiada por texto.

Casos de uso de PortraitGen:

• Producción audiovisual: generación rápida de vídeos de retratos de alta calidad.

• Industria publicitaria: transformación flexible del estilo del vídeo.

• Redes sociales: creación personalizada de contenidos de vídeo.

• Educación y formación: producción de vídeos didácticos.

• Prueba virtual: aplicaciones en la industria de la moda.

PortraitGen es una avanzada herramienta de edición de vídeo de retratos con IA desarrollada por el equipo de investigación de la Universidad de Ciencia y Tecnología de China, publicada el 23 de septiembre de 2024 a través de Arxiv. PortraitGen modifica la apariencia de los personajes en el vídeo mediante instrucciones de texto o imágenes de referencia, logrando funciones de edición multimodal que incluyen, entre otras, cambio de ropa, ajuste de efectos de iluminación y modificación de rasgos del personaje.

Cómo obtener PortraitGen:

Dirección del proyecto: https://ustc3dv.github.io/PortraitGen

Dirección de Github: https://github.com/USTC3DV/PortraitGen-code

Dirección del artículo: https://arxiv.org/abs/2409.13591