Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten Pusa: Open-Source-Videodiffusionsmodell auf Basis von Mochi mit Text/Bild/Video-to-Video-Unterstützung
小编 ·
Pusa: Open-Source-Videodiffusionsmodell auf Basis von Mochi mit Text/Bild/Video-to-Video-Unterstützung
Was ist Pusa?
Pusa ist ein neuartiges, von Raphael Liu im April 2025 veröffentlichtes KI-Videogenerierungsmodell, dessen zentrale Innovation darin besteht, die Zeitmodellierung in der Videodiffusion durch ein neuartiges Diffusionsparadigma mit rahmenebasierter Rauschsteuerung neu zu definieren. Das Pusa-Modell unterstützt verschiedene Generierungsaufgaben wie Text-zu-Video, Bild-zu-Video und Video-zu-Video und gewährleistet Bewegungstreue sowie Prompt-Treue – bei niedrigen Kosten und hoher Leistung.
Merkmale des Pusa-Modells
Rahmenbasierte Rauschsteuerung und vektorisierte Zeitschritte: Pusa führt eine rahmenbasierte Rauschsteuerung sowie vektorisierte Zeitschritte ein, eine Innovation, die ursprünglich in der FVDM-Arbeit vorgeschlagen wurde. Im Vergleich zu herkömmlichen Methoden erhöht sich die Anzahl der Zeitschritte bei Pusa von den bisher üblichen 1.000 auf mehrere Tausend, was die Flexibilität und Skalierbarkeit des Modells erheblich steigert. Diese rahmenbasierte Rauschsteuerung ermöglicht es Pusa, während der Videogenerierung den Inhalt jedes Einzelbilds feiner zu verarbeiten und so Videos in höherer Qualität zu erzeugen.
Nicht-destruktive Modifikation: Die Anpassung von Pusa an das Basismodell bewahrt dessen ursprüngliche Text-zu-Video-Generierungsfähigkeiten. Durch ein leichtes Fine-Tuning kann sich Pusa an verschiedene Videogenerierungsaufgaben anpassen, ohne dass umfangreiche Änderungen am Basismodell erforderlich sind. Diese nicht-destruktive Modifikation spart nicht nur Entwicklungszeit und -kosten, sondern gewährleistet auch die Stabilität und Zuverlässigkeit des Modells.
Allgemeine Anwendbarkeit: Die Methode von Pusa ist nicht nur auf das Mochi-Modell beschränkt, sondern lässt sich problemlos auch auf andere führende Videodiffusionsmodelle wie Hunyuan Video, Wan2.1 usw. anwenden.
Architektur des Pusa-Modells
Rahmenbasierte Rauschsteuerung: Pusa realisiert rahmenbasierte Rauschsteuerung und vektorisierte Zeitschritte und bietet beispiellose Flexibilität und Skalierbarkeit.
Nicht-destruktive Modifikation: Die Änderungen am Basismodell bewahren die ursprüngliche Text-zu-Video-Generierungsfähigkeit; es ist lediglich ein leichtes Fine-Tuning erforderlich.
Allgemeine Anwendbarkeit: Die Methode lässt sich problemlos auf andere führende Videodiffusionsmodelle wie Hunyuan Video, Wan2.1 usw. anwenden.
Anwendungsszenarien von Pusa
Geeignet für die Produktion von Film- und Spezialeffekten, die Erstellung von Werbekreativen sowie die Generierung personalisierter Videoinhalte.
Kombination multimodaler Eingaben (z. B. Text + Bild) zur Simulation komplexer Szenen, wodurch die Flexibilität der Videogenerierung erhöht wird.
Installation und Nutzung von Pusa
Installation:
git clone https://github.com/genmoai/models cd models pip install uv uv venv .venv source .venv/bin/activate uv pip install setuptools uv pip install -e . --no-build-isolation
Wenn Flash Attention installiert werden soll, kann folgender Befehl verwendet werden:
uv pip install -e .[flash] --no-build-isolation
Gewichte herunterladen:
Über die Hugging Face CLI:
pip install huggingface_hub huggingface-cli download RaphaelLiu/Pusa-V0.5 --local-dir
Oder direkt von Hugging Face lokal herunterladen.
Grundlegende Nutzung:
Text-zu-Video-Generierung:
python ./demos/cli_test_ti2v_release.py \ --model_dir "/path/to/Pusa-V0.5" \ --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \ --prompt "A man is playing basketball" \ --num_steps 30
Bild-zu-Video-Generierung:
python ./demos/cli_test_ti2v_release.py \ --model_dir "/path/to/Pusa-V0.5" \ --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \ --prompt "Your_prompt_here" \ --image_dir "/path/to/input/image.jpg" \ --cond_position 1 \ --num_steps 30
Training:
Es steht ein vollständiger Pusa-Trainingscode mit detaillierten Informationen zur Verfügung, der das Training des Originalmodells unterstützt.
Code-Repository:https://github.com/Yaofang-Liu/Pusa-VidGen
HuggingFace:https://huggingface.co/RaphaelLiu/Pusa-V0.5
