Step-Video-TI2V: un modelo de IA de texto a vídeo e imagen a vídeo de código abierto de StepFun 144

Qué es Step-Video-TI2V

Step-Video-TI2V es un modelo de generación de vídeo a partir de imágenes basado en texto, de código abierto, desarrollado por el equipo de Stepfun. Puede generar vídeos de alta calidad a partir de las indicaciones de texto y las imágenes proporcionadas por el usuario. Destaca en la generación de vídeos con estilo anime y admite control de movimiento, entrada en varios idiomas y salida en múltiples formatos de vídeo.

Funciones de Step-Video-TI2V

• Generación de vídeo a partir de imágenes basada en texto: genera vídeos altamente coherentes con el texto y la imagen a partir de las indicaciones de texto y la imagen de entrada proporcionadas por el usuario.

• Control de movimiento: los usuarios pueden especificar diferentes niveles de movimiento para controlar con precisión la magnitud dinámica del vídeo, equilibrando los efectos dinámicos y la estabilidad.

• Salida de vídeo de alta calidad: capaz de generar vídeos de 102 fotogramas, 5 segundos y resolución 540P, compatible con varias relaciones de aspecto (horizontal, vertical y cuadrado).

• Soporte multilingüe: admite entrada en chino e inglés, lo que facilita su uso a usuarios con distintos idiomas.

• Cumplimiento de instrucciones y coherencia de contenido: destaca en el cumplimiento de instrucciones, la coherencia del sujeto y el fondo, y el seguimiento de las leyes físicas, generando contenido de vídeo que se ajusta a las expectativas del usuario.

• Soporte de evaluación comparativa: ha desarrollado el conjunto de datos de evaluación Step-Video-TI2V-ｅｖａｌ, que incluye 178 pares de imagen-prompt del mundo real y 120 pares de imagen-prompt de estilo anime, para evaluar el rendimiento del modelo.

Aplicaciones de Step-Video-TI2V

• Creación de contenidos: proporciona inspiración y material a los creadores de vídeo, permitiéndoles generar contenido de vídeo rápidamente y ahorrar tiempo y esfuerzo.

• Producción de anime: destaca en la generación de vídeos con estilo anime y puede usarse para mostrar acciones de personajes de anime, animar escenas, etc.

• Publicidad y marketing: genera anuncios en vídeo atractivos que muestran las características y ventajas de productos o servicios.

• Educación y formación: crea vídeos educativos que ayudan a los estudiantes a comprender y recordar mejor los conocimientos.

• Entretenimiento y redes sociales: ofrece a los usuarios una experiencia divertida de generación de vídeo para compartir en redes sociales, aumentando la interactividad y la diversión.

Instalación y uso de Step-Video-TI2V

Instalación

1. Requisitos del entorno: se necesita Python 3.8 o superior y CUDA 11.3 o superior (para aceleración por GPU).

2. Instalación de dependencias: instala los paquetes de Python necesarios con el siguiente comando:

pip install -r requirements.txt

3. Descarga del modelo: descarga los archivos del modelo desde Hugging Face o Modelscope y colócalos en el directorio especificado.

Uso

1. Preparar los datos de entrada: prepara una imagen de entrada y una indicación de texto, asegurándote de que la indicación de texto esté relacionada con el contenido de la imagen de entrada.

2. Ejecutar el código: utiliza el siguiente comando para ejecutar el modelo y generar el vídeo:

python generate_video.py --image_path  --text_prompt "" --output_path

3. Ajustar los parámetros: ajusta según sea necesario los parámetros de control de movimiento (como la magnitud del movimiento) y otros parámetros de generación para obtener el efecto de vídeo deseado.

Enlaces relacionados

• Repositorio de código en GitHub:https://github.com/stepfun-ai/Step-Video-TI2V

• Página del modelo en Hugging Face:https://huggingface.co/stepfun-ai/stepvideo-t2v

• Página del modelo en Modelscope:https://modelscope.cn/models/stepfun-ai/stepvideo-ti2v

• Github-ComfyUI:https://github.com/stepfun-ai/ComfyUI-StepVideo
  

• Paper:https://arxiv.org/abs/2503.08334