Pusa : modèle de diffusion vidéo open source basé sur Mochi, compatible text/image/video-to-video 55

Qu'est-ce que Pusa ?

Pusa est un nouveau modèle de génération d'IA vidéo publié par Raphael Liu en avril 2025. Son innovation principale réside dans la redéfinition de la modélisation temporelle dans la diffusion vidéo grâce à un nouveau paradigme de diffusion avec contrôle du bruit au niveau des images. Le modèle Pusa prend en charge plusieurs tâches de génération telles que texte vers vidéo, image vers vidéo et vidéo vers vidéo, tout en préservant la fidélité des mouvements et le respect des instructions, avec des caractéristiques de faible coût et de haute performance.

Caractéristiques du modèle Pusa

• Contrôle du bruit au niveau des images et pas de temps vectorisés : Pusa introduit le contrôle du bruit au niveau des images et des pas de temps vectorisés, une innovation initialement proposée dans l'article FVDM. Par rapport aux méthodes traditionnelles, le nombre de pas de temps de Pusa passe des 1000 traditionnels à plusieurs milliers, ce qui améliore considérablement la flexibilité et l'évolutivité du modèle. Ce contrôle du bruit au niveau des images permet à Pusa de traiter plus finement le contenu de chaque image pendant le processus de génération vidéo, obtenant ainsi des résultats de meilleure qualité.

• Modification non destructive : L'adaptation de Pusa au modèle de base préserve ses capacités originales de génération texte vers vidéo. Grâce à un léger ajustement, Pusa peut s'adapter à plusieurs tâches de génération vidéo sans nécessiter de modifications majeures du modèle de base. Cette modification non destructive permet non seulement d'économiser du temps et des coûts de développement, mais garantit également la stabilité et la fiabilité du modèle.

• Applicabilité générale : La méthode de Pusa ne se limite pas au modèle Mochi, elle peut également être facilement appliquée à d'autres modèles de diffusion vidéo de pointe, tels que Hunyuan Video, Wan2.1 , etc.

Architecture du modèle Pusa

• Contrôle du bruit au niveau des images : Pusa met en œuvre le contrôle du bruit au niveau des images et des pas de temps vectorisés, offrant une flexibilité et une évolutivité sans précédent.

• Modification non destructive : Les modifications apportées au modèle de base préservent ses capacités originales de génération texte vers vidéo, ne nécessitant qu'un léger ajustement.

• Applicabilité générale : La méthode peut être facilement appliquée à d'autres modèles de diffusion vidéo de pointe, tels que Hunyuan Video, Wan2.1, etc.

Scénarios d'application de Pusa

• Convient à la production d'effets spéciaux pour le cinéma et la télévision, à la création publicitaire et à la production de contenu vidéo personnalisé.

• Combiné à des entrées multimodales (telles que texte + image), il permet de simuler des scènes complexes et améliore la flexibilité de la génération vidéo.

Installation et utilisation de Pusa

Installation :

git clone https://github.com/genmoai/models
cd models
pip install uv
uv venv .venv
source .venv/bin/activate
uv pip install setuptools
uv pip install -e . --no-build-isolation

Si vous devez installer Flash Attention, vous pouvez utiliser :

uv pip install -e .[flash] --no-build-isolation

Téléchargement des poids :

• Utilisation de Hugging Face CLI :

pip install huggingface_hub
huggingface-cli download RaphaelLiu/Pusa-V0.5 --local-dir

Ou téléchargez directement depuis Hugging Face vers votre machine locale.

Utilisation de base :

• Génération texte vers vidéo :

python ./demos/cli_test_ti2v_release.py \
  --model_dir "/path/to/Pusa-V0.5" \
  --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \
  --prompt "A man is playing basketball" \
  --num_steps 30

• Génération image vers vidéo :

python ./demos/cli_test_ti2v_release.py \
  --model_dir "/path/to/Pusa-V0.5" \
  --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \
  --prompt "Your_prompt_here" \
  --image_dir "/path/to/input/image.jpg" \
  --cond_position 1 \
  --num_steps 30

Entraînement :

Le code d'entraînement complet de Pusa et des informations détaillées sont fournis, prenant en charge l'entraînement du modèle original.

Dépôt de code :https://github.com/Yaofang-Liu/Pusa-VidGen

HuggingFace :https://huggingface.co/RaphaelLiu/Pusa-V0.5