Pusa: открытая модель видеодиффузии на базе Mochi с поддержкой text/image/video-to-video 53

Что такое Pusa?

Pusa — это новая модель генерации AIвидео, выпущенная Raphael Liu в апреле 2025 года. Её ключевая инновация заключается в переосмыслении временного моделирования в видеодиффузии с помощью новой диффузионной парадигмы с покадровым контролем шума. Модель Pusa поддерживает множество задач генерации: текст-в-видео, изображение-в-видео и видео-в-видео, сохраняя при этом достоверность движения и следование подсказкам, и отличается низкой стоимостью и высокой производительностью.

Особенности модели Pusa

• Покадровый контроль шума и векторизованные временные шаги: Pusa вводит покадровый контроль шума и векторизованные временные шаги — инновацию, впервые предложенную в статье FVDM. По сравнению с традиционными методами, количество временных шагов в Pusa увеличено с традиционных 1000 до нескольких тысяч, что значительно повышает гибкость и масштабируемость модели. Такой покадровый контроль шума позволяет Pusa более точно обрабатывать содержимое каждого кадра в процессе генерации видео, обеспечивая более высокое качество результата.

• Недеструктивная модификация: адаптация Pusa к базовой модели сохраняет её исходные возможности генерации текста в видео. С помощью лёгкой тонкой настройки Pusa может быть адаптирована к множеству задач генерации видео без необходимости масштабных изменений базовой модели. Такая недеструктивная модификация не только экономит время и затраты, но и обеспечивает стабильность и надёжность модели.

• Универсальная применимость: метод Pusa подходит не только для модели Mochi, но и легко применим к другим ведущим моделям видеодиффузии, таким как Hunyuan Video, Wan2.1 и др.

Архитектура модели Pusa

• Покадровый контроль шума: Pusa реализует покадровый контроль шума и векторизованные временные шаги, обеспечивая беспрецедентную гибкость и масштабируемость.

• Недеструктивная модификация: изменения базовой модели сохраняют её исходные возможности генерации текста в видео и требуют лишь лёгкой тонкой настройки.

• Универсальная применимость: метод легко применим к другим ведущим моделям видеодиффузии, таким как Hunyuan Video, Wan2.1 и др.

Сценарии применения Pusa

• Подходит для создания спецэффектов для кино и рекламы, генерации рекламного креатива и производства персонализированного видеоконтента.

• Сочетание мультимодальных входных данных (например, текст + изображение) позволяет моделировать сложные сцены и повышает гибкость генерации видео.

Установка и использование Pusa

Установка:

git clone https://github.com/genmoai/models
cd models
pip install uv
uv venv .venv
source .venv/bin/activate
uv pip install setuptools
uv pip install -e . --no-build-isolation

Если требуется установить Flash Attention, можно использовать:

uv pip install -e .[flash] --no-build-isolation

Загрузка весов:

• С помощью Hugging Face CLI:

pip install huggingface_hub
huggingface-cli download RaphaelLiu/Pusa-V0.5 --local-dir

Или загрузите напрямую с Hugging Face на локальный компьютер.

Базовое использование:

• Генерация текста в видео:

python ./demos/cli_test_ti2v_release.py \
  --model_dir "/path/to/Pusa-V0.5" \
  --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \
  --prompt "A man is playing basketball" \
  --num_steps 30

• Генерация изображения в видео:

python ./demos/cli_test_ti2v_release.py \
  --model_dir "/path/to/Pusa-V0.5" \
  --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \
  --prompt "Your_prompt_here" \
  --image_dir "/path/to/input/image.jpg" \
  --cond_position 1 \
  --num_steps 30

Обучение:

Предоставлены полный код обучения Pusa и подробная информация, поддерживающая обучение исходной модели.

Репозиторий кода: https://github.com/Yaofang-Liu/Pusa-VidGen

HuggingFace: https://huggingface.co/RaphaelLiu/Pusa-V0.5