Alibaba abre oficialmente el código de su modelo de IA para generación de vídeo Tongyi Wanxiang Wan2.1 245

小编 · 2025-02-26

Alibaba abre oficialmente el código de su modelo de IA para generación de vídeo Tongyi Wanxiang Wan2.1

通义万相Wan2.1视频生成AI模型.webp

¿Qué es Wan2.1?

Wan2.1 (通义万相2.1) es un nuevo modelo de generación de vídeo de código abierto lanzado oficialmente por Alibaba el 25 de febrero de 2025. Este modelo de ia, basado en la licencia Apache 2.0, proporciona el código de inferencia y los pesos en dos especificaciones de parámetros, 14B y 1.3B, y admite tareas de texto a vídeo e imagen a vídeo. Su rendimiento ha mejorado enormemente, superando en múltiples pruebas de referencia a otros modelos avanzados nacionales e internacionales de generación de vídeo, como Sora, HunyuanVideo, Minimax, Luma, Gen3, Pika, entre otros.

Funciones de Wan2.1:

Generación de vídeo en chino e inglés:

Wan2.1 es el primer modelo de vídeo capaz de generar texto en chino e inglés, con una sólida capacidad de generación de texto, capaz de producir textos y animaciones con efectos cinematográficos.
Admite la aplicación de tipografías en múltiples escenarios, incluyendo fuentes con efectos especiales, fuentes de cartel y la visualización de fuentes en escenas reales.

Soporte multitarea:

Proporciona generación de texto a vídeo (text-to-video) y de imagen a vídeo (image-to-video).

Es compatible con tareas como edición de vídeo y vídeo a audio.
Generación de texto a imagen (T2I): admite la generación de texto a imagen.
Generación de audio a partir de vídeo (V2A): puede generar automáticamente audio que coincida con el vídeo.

Rendimiento de alta calidad:

Basado en una arquitectura híbrida de autocodificador variacional (VAE) y transformador de difusión (DiT), mejora las capacidades de modelado temporal y comprensión de escenas.
Capaz de generar simultáneamente vídeo en alta definición, subtítulos dinámicos y doblaje multilingüe, compatible con resolución 1080p y codificación-decodificación eficiente.

Soporte para hardware de consumo:

La versión 1.3B del modelo Wan2.1 requiere únicamente 8,19 GB de VRAM para ejecutarse, siendo adecuada para tarjetas gráficas RTX 4090, lo que lleva la creación de vídeo profesional al ámbito del hardware de consumo.

Diversidad de estilos:

Admite múltiples estilos artísticos, como dibujos animados, cinematográficos, estilo 3D, pintura al óleo, clásicos, entre otros.

Generación de vídeo largo:

Mediante un mecanismo de caché de características, admite la generación de vídeos 1080P de duración ilimitada.

多任务支持.webp

Arquitectura principal

Autocodificador variacional híbrido (VAE): utilizado para la codificación y decodificación de vídeo, admite la codificación-decodificación sin pérdidas de flujos de vídeo 1080P de cualquier longitud, conservando al mismo tiempo la información temporal.
Transformador de difusión (DiT): basado en una estructura DiT para vídeo, utiliza un mecanismo de Full Attention para garantizar un modelado eficaz de las dependencias espacio-temporales de largo alcance, logrando una generación de vídeo coherente en el tiempo y el espacio.

核心架构.webp

Aplicaciones de Wan2.1:

Creación audiovisual: creación rápida de escenas complejas y efectos especiales, como mundos extraterrestres en películas de ciencia ficción o grandes escenas de batalla, reduciendo significativamente los costes y el tiempo de producción.
Publicidad y marketing: creación de vídeos publicitarios creativos a medida, según las características de la marca, aumentando la exposición y el atractivo de la marca.
Educación y formación: producción de vídeos didácticos y materiales animados que ayudan a los estudiantes a comprender los puntos de conocimiento de forma más intuitiva, enriqueciendo los recursos educativos.
Entretenimiento y videojuegos: generación de escenas de juego realistas y animaciones de personajes, mejorando la calidad visual del juego y la inmersión del jugador.
Vídeos cortos y redes sociales: producción rápida de vídeos cortos de alta calidad, ideales para su difusión en redes sociales y para atraer fácilmente a más espectadores.
Creación de personajes virtuales y animación: admite el diseño de acciones complejas de personajes y escenas, aplicable a la creación de personajes virtuales en películas, publicidad o videojuegos.

Métodos de despliegue:

Prueba en línea:

Se ofrecen servicios de prueba en línea a través de Hugging Face Spaces y ModelScope.
Se puede acceder a través de la aplicación o el sitio web de Alibaba Tongyi Qianwen.

Despliegue local:

Se proporcionan pasos detallados para el despliegue local, aplicables al modelo 1.3B.
Es necesario asegurarse de que la versión de torch sea 2.4.0 o superior e instalar las dependencias relacionadas.
Utilice Hugging Face CLI para descargar los pesos del modelo y realizar el despliegue mediante el framework Gradio.

Imagen en la nube:

Se recomienda utilizar la plataforma Runninghub para probar en línea aplicaciones de IA y flujos de trabajo.
Los usuarios recién registrados pueden obtener una cuota gratuita y se admite el despliegue de imágenes en la nube.