Phantom: sistema de generación de vídeo con consistencia de sujeto basado en alineación cross-modal 136

Phantom es una novedosa herramienta de generación de vídeo desarrollada por ByteDance, que genera vídeos a partir de imágenes de referencia facial. Durante este proceso, preserva con precisión las características de identidad del rostro de referencia, como el contorno facial, las proporciones de los rasgos y las expresiones, y al mismo tiempo es capaz de crear contenido de vídeo muy vívido.

Lo especial de Phantom radica en su capacidad de mantener rigurosamente las características personales durante la generación de vídeo. Por ejemplo, cuando un usuario proporciona una foto propia, en el vídeo generado por Phantom la imagen del personaje不会出现变形、失真或者和其他元素冲突等情况。这种特性为用户开辟了一条创造个性化视频的新途径。

Funciones del producto Phantom:

Generación de vídeo con preservación de identidad

• Genera vídeos a partir de imágenes de referencia facial, preservando estrictamente las características de identidad del sujeto (como el rostro, la postura, etc.).

• Admite la generación dinámica de contenido de vídeo (como acciones, cambios de escena) que coincide con el sujeto a partir de prompts.

Generación de vídeo de un solo sujeto de referencia

• Objetos: reproduce con precisión la forma y la posición de los elementos en la imagen de referencia.

• Ropa/personajes virtuales: mantiene la coherencia dinámica de la textura y el color de la ropa, así como de los personajes virtuales.

• Animales: simula el comportamiento y la lógica de interacción de los animales.

Generación de vídeo con múltiples sujetos de referencia

• Escenas grupales: generación dinámica de acciones coordinadas y diálogos entre varias personas.

• Presentación de productos: efectos de rotación y prueba de productos en diferentes escenarios.

• Prueba virtual: generación de vídeos con efectos de cambio de ropa y prueba virtual tras subir una imagen.

Ventajas técnicas de Phantom:

• Alta consistencia: las características del sujeto y los elementos细节 se mantienen estables en el vídeo.

• Entrada flexible: admite referencias de una o varias imágenes, reduciendo la barrera de uso para los usuarios.

• Alineación跨模态: logra una coincidencia precisa entre las imágenes y las descripciones de texto, mejorando el efecto de generación.

Escenarios de aplicación de Phantom:

Ámbito de creación de contenido

• Generación de vídeos cortos: genera rápidamente vídeos cortos personalizados (como presentadores virtuales, dramas cortos).

• Publicidad y marketing: genera vídeos de demostración dinámicos para productos, adaptados al comercio electrónico y a la promoción en redes sociales.

Aplicaciones en sectores verticales

• Educación/formación: creación de vídeos didácticos con personajes virtuales para mejorar la interactividad.

• Cine y entretenimiento: ayuda a generar efectos especiales de animación o escenas virtuales de bajo coste.

• Sanitario/investigación científica: simulación de procedimientos quirúrgicos y demostraciones visuales de experimentos científicos.

Necesidades personalizadas del usuario

• Prueba virtual: el usuario sube un selfie para generar efectos de prueba de ropa y complementos.

• Avatar digital: creación de una imagen virtual basada en fotos personales para interacción dinámica.

El avance tecnológico de Phantom analiza las relaciones entre distintos tipos de datos (como imágenes y descripciones de escenas) para desarrollar una nueva generación de tecnología de generación de imágenes que aporta a las画面 una mayor suavidad y un realismo más cercano. Incluso con una sola foto estática, esta tecnología permite que la imagen虚拟 se mueva de forma natural, ya sea simulando los动作变化 de una persona en diferentes escenas, haciendo que varios personajes virtuales interactúen (por ejemplo, conversaciones en encuadre conjunto de varias personas o展示组合 de productos), o incluso logrando el efecto de que el usuario simplemente suba una foto para probar ropa; todo resulta tan intuitivo como magia.

Esta特性 tecnológica es especialmente adecuada para escenarios que requieren demostración dinámica:展示面料质感 en directo en una sala de streaming, hacer que personajes históricos «cobren vida» para讲解 conocimientos en vídeos educativos, o permitir que los productos se演示使用方法 automáticamente en anuncios. Estos环节, que原本 requerían una producción compleja, ahora pueden实现的 de forma más sencilla y eficiente.

GitHub：https://github.com/Phantom-video/Phantom

Paper：https://arxiv.org/abs/2502.11079