MusicInfuser: Ein Modell zur Erzeugung von Tanzvideos aus Musik und Text 136

小编 · 2025-03-22

MusicInfuser ist ein Projekt, das Text-zu-Video-Diffusionsmodelle mit Musik in Einklang bringt und die Erzeugung von Tanzvideos aus Musik und Text ermöglicht. Durch einen Musik-Video-Cross-Attention-Mechanismus werden die erzeugten Videos mit dem musikalischen Rhythmus synchronisiert.

MusicInfuser: Ein Modell zur Erzeugung von Tanzvideos aus Musik und Text

Was ist MusicInfuser?

MusicInfuser ist ein Projekt, das ein Text-zu-Video-Diffusionsmodell mit Musik in Einklang bringt und Tanzvideos auf Basis von Musik und Text erzeugen kann. Durch die Einführung eines Musik-Video-Cross-Attention-Mechanismus wird das erzeugte Video mit dem Musikrhythmus synchronisiert. MusicInfuser: ein Modell, das Tanzvideos auf Basis von Musik und Text erzeugen kann.jpg

MusicInfuser Funktionen

Musikgesteuerte Tanz-Videoerzeugung: Erzeugt hochwertige Tanzvideos auf Basis von eingegebener Musik und Text-Prompts.
Flexible Text-Prompts: Benutzer können über Text-Prompts den Tanzstil, die Szene, Eigenschaften der Tänzer usw. festlegen.
Unterstützung für lange Sequenzen: Obwohl das Modell ursprünglich auf 73-Frame-Sequenzen trainiert wurde, kann es auf längere Videosequenzen extrapolieren.
Zufallsseed-Steuerung: Durch das Festlegen eines Zufallsseeds können Benutzer unterschiedliche Tanzergebnisse erzeugen.

MusicInfuser Anwendungen

Kreative Videoproduktion: Bietet Videokreativen ein musikgesteuertes Tanzvideo-Generierungs-Tool, um die Effizienz der Inhaltserstellung zu steigern.
Unterhaltung und Aufführung: Wird verwendet, um personalisierte Tanzaufführungsvideos zu erzeugen, geeignet für Virtual Reality, Augmented Reality und ähnliche Szenarien.
Bildung und Training: Hilft Tanzlernenden, durch die erzeugten Videos das Zusammenspiel von Tanzbewegungen und Musikrhythmus besser zu verstehen.

MusicInfuser Verwendung

1. Installation

1. Repository klonen:

git clone https://github.com/SusungHong/MusicInfuser
cd MusicInfuser

2. Conda-Umgebung erstellen und aktivieren:

conda create -n musicinfuser python=3.10
conda activate musicinfuser

3. Abhängigkeiten installieren:

pip install -r requirements.txt
pip install -e ./mochi --no-build-isolation

4. Modellgewichte herunterladen:

python ./music_infuser/download_weights.py weights/

2. Inferenz (Video erzeugen)

Führen Sie den folgenden Befehl aus, um ein Video zu erzeugen:

python inference.py --input-file {Pfad zur MP3- oder MP4-Datei} \
                    --prompt {Text-Prompt} \
                    --num-frames {Anzahl der zu erzeugenden Frames}

input-file: Eingabedatei (MP3 oder MP4), aus der die Audiodaten extrahiert werden.
prompt: Text-Prompt zur Erzeugung des Tanzes. Je spezifischer der Prompt, desto besser ist in der Regel das Ergebnis, aber zu spezifische Prompts können den Einfluss der Audiodaten verringern. Der Standardwert ist "a professional female dancer dancing K-pop in an advanced dance setting in a studio with a white background, captured from a front view".
num-frames: Anzahl der zu erzeugenden Frames. Der Standardwert ist 145.

Weitere optionale Parameter:

seed: Zufallsseed zur Steuerung der Zufälligkeit des Ergebnisses. Der Standardwert ist None.
cfg-scale: Classifier-Free Guidance (CFG)-Skala für den Text-Prompt. Der Standardwert ist 6.0.

3. Training

1. Datenvorverarbeitung:

bash music_infuser/preprocess.bash -v {Datensatzpfad} -o {Ausgabeverzeichnis für verarbeitete Videos} -w {Pfad zum vortrainierten Mochi-Modell} --num_frames {Frameanzahl}

2. Training starten:

bash music_infuser/run.bash -c music_infuser/configs/music_infuser.yaml -n 1

Hinweis: Die aktuelle Implementierung unterstützt nur das Training mit einer einzelnen GPU. Für das Training einer 73-Frame-Sequenz werden ca. 80 GB Grafikspeicher benötigt.