VACE: modelo unificado de generación y edición de vídeo del equipo Tongyi Wan de Alibaba 185

小编 · 2025-03-12

VACE (Video Creation and Editing) es un modelo unificado de IA para generación y edición de vídeo todo-en-uno presentado por el Tongyi Lab de Alibaba. Con una arquitectura de modelo unificada, soporta una amplia gama de tareas de creación y edición de vídeo. Puede generar vídeos a partir de texto o imágenes, y también realizar transferencia de estilo, restauración o extensión en vídeos existentes. Al integrar múltiples capacidades en un solo modelo, es fácil de usar y adecuado para vídeos creativos o restauración de metraje antiguo.

VACE: modelo unificado de generación y edición de vídeo del equipo Tongyi Wan de Alibaba

¿Qué es VACE?

VACE (Video Creation and Editing) es un modelo unificado de generación y edición de vídeo con IA todo en uno, presentado por el Laboratorio Tongyi de Alibaba. Permite realizar múltiples tareas de creación y edición de vídeo mediante una arquitectura de modelo unificada. Puede generar vídeos a partir de un texto o una imagen, y también transformar el estilo, reparar o ampliar vídeos existentes. Integra múltiples funciones en un solo modelo, es fácil de usar y resulta ideal para crear vídeos creativos o restaurar vídeos antiguos.

Funciones principales de VACE

Generación de vídeo:

Generación de texto a vídeo: genera vídeos a partir de indicaciones de texto.
Generación de referencia a vídeo: combina texto e imágenes de referencia para generar vídeos.
Ampliación de vídeo: genera nuevos inicios o finales basados en fragmentos de vídeo existentes.

Edición de vídeo:

Edición de vídeo a vídeo: aplica transformaciones de estilo globales al vídeo de entrada (como colorización o estilización).
Edición de vídeo con máscara: edita áreas específicas, como reparación (Inpainting) o ampliación (Outpainting).
Eliminación y reconstrucción de sujetos: elimina sujetos específicos del vídeo y rellena el fondo.

Combinación de tareas:

Permite combinar de forma flexible múltiples tareas, por ejemplo, generación por referencia + sustitución de sujeto, control de postura + ampliación de vídeo.

Principio técnico de VACE

Video Condition Unit (VCU): integra entradas multimodales como texto, imágenes, vídeo y máscaras en una unidad de condición unificada, lo que permite combinar múltiples tareas de forma flexible.
Estructura Context Adapter: inyecta en el modelo los conceptos de diferentes tareas mediante representaciones formales en las dimensiones temporal y espacial, permitiéndole adaptarse a distintos requisitos de tarea.
Modelo de difusión: basado en modelos de difusión (como Diffusion Transformer), genera contenido de vídeo de alta calidad mediante un proceso de eliminación progresiva de ruido.

Principio técnico de VACE.webp

Ventajas de VACE

Marco unificado: integra las tareas de generación y edición de vídeo en un único modelo, lo que reduce la complejidad de cambiar entre tareas.
Alta eficiencia: alcanza un rendimiento comparable al de modelos especializados en múltiples tareas.
Versatilidad: admite múltiples combinaciones de tareas, lo que ofrece posibilidades de aplicación más amplias para la creación de contenido en vídeo.

Casos de uso de VACE

Generación de vídeos creativos: crea rápidamente contenidos de vídeo creativos como anuncios o animaciones a partir de texto o imágenes.
Reparación y mejora de vídeo: restaura vídeos antiguos, rellena partes de la imagen que faltan o mejora el estilo del vídeo.
Edición de vídeo eficiente: realiza tareas de edición complejas como sustitución de sujetos o adición de animaciones.
Ampliación de vídeo: genera nuevos fragmentos para vídeos cortos, prolongando el contenido del vídeo.
Creación de vídeo interactiva: genera vídeos personalizados según la entrada del usuario (como posturas o bocetos).