Step-Video-TI2V: Ein Open-Source-KI-Modell für Text-zu-Video und Bild-zu-Video von StepFun 139

Was ist Step-Video-TI2V

Step-Video-TI2V ist ein von dem Team von StepFun (阶跃星辰) als Open Source veröffentlichtes, textbasiertes KI-Bild-zu-Video-Modell, das auf Basis von Texteingaben und Bildern des Nutzers hochwertige Videos erzeugen kann. Es zeichnet sich besonders bei der Erzeugung von Videos im Anime-Stil aus und unterstützt Bewegungskontrolle, mehrsprachige Eingabe sowie die Ausgabe in verschiedenen Videoformaten.

Funktionen von Step-Video-TI2V

• Textgesteuerte Bild-zu-Video-Erzeugung: Generiert Videos, die stark mit dem Text und dem Bildinhalt übereinstimmen, basierend auf den vom Nutzer bereitgestellten Textaufforderungen und Eingabebildern.

• Bewegungskontrolle: Nutzer können unterschiedliche Bewegungsstufen festlegen und so die Dynamik des Videos präzise steuern, um dynamische Effekte und Stabilität auszubalancieren.

• Hochwertige Videoausgabe: Erzeugt Videos mit 102 Bildern, 5 Sekunden Länge und einer Auflösung von 540P und unterstützt verschiedene Seitenverhältnisse (Querformat, Hochformat und Quadrat).

• Mehrsprachige Unterstützung: Unterstützt chinesische und englische Eingabe und ist somit für Nutzer mit unterschiedlichem Sprachhintergrund geeignet.

• Befolgung von Anweisungen und inhaltliche Konsistenz: Hervorragende Leistung bei der Befolgung von Anweisungen, der Konsistenz von Hauptmotiven und Hintergründen sowie der Einhaltung physikalischer Gesetzmäßigkeiten, sodass der erzeugte Videoinhalt den Erwartungen der Nutzer entspricht.

• Unterstützung durch Benchmark-Tests: Der Benchmark-Datensatz Step-Video-TI2V-eval wurde entwickelt und enthält 178 Aufforderung-Bild-Paare aus der realen Welt sowie 120 Aufforderung-Bild-Paare im Anime-Stil zur Bewertung der Modellleistung.

Anwendungsbereiche von Step-Video-TI2V

• Content-Erstellung: Bietet Videoerstellern Inspiration und Material, generiert schnell Videoinhalte und spart Zeit und Aufwand.

• Anime-Produktion: Hervorragende Leistung bei der Erzeugung von Videos im Anime-Stil, einschließlich Bewegungsdarstellungen von Anime-Charakteren und Szenenanimationen.

• Werbung und Marketing: Erzeugt ansprechende Videoanzeigen, die die Merkmale und Vorteile von Produkten oder Dienstleistungen präsentieren.

• Bildung und Schulung: Erstellung von Lehrvideos, die Schülern helfen, Wissen besser zu verstehen und zu behalten.

• Unterhaltung und soziale Medien: Bietet Nutzern ein unterhaltsames Videoerstellungserlebnis, das sich zum Teilen in sozialen Medien eignet und Interaktivität sowie Spaß erhöht.

Installation und Nutzung von Step-Video-TI2V

Installation

1. Umgebungsanforderungen: Es werden Python 3.8 oder höher sowie CUDA 11.3 oder höher (für GPU-Beschleunigung) benötigt.

2. Abhängigkeiten installieren: Installieren Sie die erforderlichen Python-Pakete mit dem folgenden Befehl:

pip install -r requirements.txt

3. Modell herunterladen: Laden Sie die Modelldateien von Hugging Face oder Modelscope herunter und legen Sie sie im angegebenen Verzeichnis ab.

Nutzung

1. Eingabedaten vorbereiten: Bereiten Sie ein Eingabebild und eine Textaufforderung vor und stellen Sie sicher, dass die Textaufforderung zum Inhalt des Eingabebildes passt.

2. Code ausführen: Verwenden Sie den folgenden Befehl, um das Modell zur Videoerzeugung auszuführen:

python generate_video.py --image_path --text_prompt "" --output_path

3. Parameter anpassen: Passen Sie die Bewegungskontrollparameter (z. B. Bewegungsausmaß) und andere Generierungsparameter nach Bedarf an, um das gewünschte Videoergebnis zu erzielen.

Verwandte Links

• GitHub-Repository: https://github.com/stepfun-ai/Step-Video-TI2V

• Hugging-Face-Modellseite: https://huggingface.co/stepfun-ai/stepvideo-t2v

• Modelscope-Modellseite: https://modelscope.cn/models/stepfun-ai/stepvideo-ti2v

• GitHub-ComfyUI: https://github.com/stepfun-ai/ComfyUI-StepVideo
  

• Paper: https://arxiv.org/abs/2503.08334