Step-Video-TI2V: открытая AI-модель text-to-video и image-to-video от StepFun 140

Что такое Step-Video-TI2V

Step-Video-TI2V — это открытая модель преобразования изображения в видео на основе текста, разработанная командой StepFun (阶跃星辰), которая может генерировать высококачественные видео на основе введённых пользователем текстовых подсказок и изображений. Модель отлично справляется с генерацией видео в аниме-стиле, поддерживает управление движением, ввод на нескольких языках и вывод видео в различных форматах.

Функции Step-Video-TI2V

• Преобразование изображения в видео на основе текста: на основе предоставленных пользователем текстовых подсказок и входного изображения генерирует видео, в высокой степени соответствующее содержанию текста и изображения.

• Управление движением: пользователи могут задавать различные уровни движения, точно контролируя динамическую амплитуду видео и балансируя между динамичностью и стабильностью.

• Вывод высококачественного видео: способна генерировать видео с 102 кадрами, длительностью 5 секунд и разрешением 540P, поддерживая различные соотношения сторон (горизонтальное, вертикальное и квадратное).

• Многоязычная поддержка: поддерживает ввод на китайском и английском языках, что удобно для пользователей с разным языковым опытом.

• Следование инструкциям и согласованность контента: отлично справляется со следованием инструкциям, поддержанием согласованности субъекта и фона, а также соблюдением законов физики — генерируемый видеоконтент соответствует ожиданиям пользователя.

• Поддержка бенчмарков: разработан набор данных бенчмарка Step-Video-TI2V-eval, содержащий 178 пар «текстовая подсказка — изображение» из реального мира и 120 пар в аниме-стиле для оценки производительности модели.

Применение Step-Video-TI2V

• Создание контента: предоставляет создателям видео вдохновение и материалы, позволяя быстро генерировать видеоконтент и экономить время и силы.

• Производство аниме: отлично справляется с генерацией видео в аниме-стиле, может использоваться для демонстрации движений аниме-персонажей, анимации сцен и т. д.

• Реклама и маркетинг: генерация привлекательных видеороликов для демонстрации особенностей и преимуществ продуктов или услуг.

• Образование и обучение: создание обучающих видео, помогающих учащимся лучше понимать и запоминать материал.

• Развлечения и социальные сети: предоставляет пользователям увлекательный опыт генерации видео с возможностью делиться им в социальных сетях, повышая интерактивность и интерес.

Установка и использование Step-Video-TI2V

Установка

1. Системные требования: требуется Python 3.8 или выше, а также CUDA 11.3 или выше (для ускорения на GPU).

2. Установка зависимостей: установите необходимые пакеты Python с помощью следующей команды:

pip install -r requirements.txt

3. Загрузка модели: загрузите файлы модели с Hugging Face или Modelscope и поместите их в указанную директорию.

Использование

1. Подготовка входных данных: подготовьте входное изображение и текстовую подсказку, убедившись, что текстовая подсказка соответствует содержанию изображения.

2. Запуск кода: выполните следующую команду для генерации видео с помощью модели:

python generate_video.py --image_path  --text_prompt "" --output_path

3. Настройка параметров: при необходимости отрегулируйте параметры управления движением (например, амплитуду движения) и другие параметры генерации, чтобы получить желаемый видеоэффект.

Полезные ссылки

• Репозиторий кода на GitHub: https://github.com/stepfun-ai/Step-Video-TI2V

• Страница модели на Hugging Face: https://huggingface.co/stepfun-ai/stepvideo-t2v

• Страница модели на Modelscope: https://modelscope.cn/models/stepfun-ai/stepvideo-ti2v

• Github-ComfyUI: https://github.com/stepfun-ai/ComfyUI-StepVideo
  

• Научная работа: https://arxiv.org/abs/2503.08334