MusicInfuser: un modelo para generar vídeos de baile a partir de música y texto 138

小编 · 2025-03-22

MusicInfuser es un proyecto que alinea modelos de difusión de texto a vídeo con música, permitiendo generar vídeos de baile a partir de música y texto. Introduce un mecanismo de atención cruzada música-vídeo que sincroniza el vídeo generado con el ritmo musical.

MusicInfuser: un modelo para generar vídeos de baile a partir de música y texto

¿Qué es MusicInfuser?

MusicInfuser es un proyecto que alinea un modelo de difusión de texto a vídeo con música, capaz de generar vídeos de baile a partir de música y texto. Introduce un mecanismo de atención cruzada música-vídeo que permite que los vídeos generados se sincronicen con el ritmo de la música. MusicInfuser：一个可以根据音乐和文本生成舞蹈视频的模型.jpg

Funciones de MusicInfuser

Generación de vídeos de baile impulsados por música: genera vídeos de baile de alta calidad a partir de música y prompts de texto.
Prompts de texto flexibles: los usuarios pueden especificar el estilo de baile, el escenario y las características del bailarín mediante prompts de texto.
Soporte para generación de secuencias largas: aunque el modelo se entrenó inicialmente con secuencias de 73 fotogramas, puede extrapolarse para generar secuencias de vídeo más largas.
Control mediante semilla aleatoria: al establecer una semilla aleatoria, los usuarios pueden generar diferentes resultados de baile.

Aplicaciones de MusicInfuser

Producción creativa de vídeo: ofrece a los creadores de vídeo una herramienta de generación de vídeos de baile impulsados por música, mejorando la eficiencia en la creación de contenido.
Entretenimiento y表演: se utiliza para generar vídeos personalizados de表演 de baile,适用于虚拟现实、增强现实等场景。
教育与培训: 帮助舞蹈学习者通过生成的视频更好地理解舞蹈动作与音乐节奏的配合。

Cómo usar MusicInfuser

1. Instalación

1. Clonar el repositorio:

git clone https://github.com/SusungHong/MusicInfuser
cd MusicInfuser

2. Crear y activar el entorno Conda:

conda create -n musicinfuser python=3.10
conda activate musicinfuser

3. Instalar las dependencias:

pip install -r requirements.txt
pip install -e ./mochi --no-build-isolation

4. Descargar los pesos del modelo:

python ./music_infuser/download_weights.py weights/

2. Inferencia (generar vídeo)

Ejecuta el siguiente comando para generar un vídeo:

python inference.py --input-file {MP3或MP4文件路径} \
                    --prompt {文本提示} \
                    --num-frames {生成的帧数}

input-file: archivo de entrada (MP3 o MP4) del cual se extrae el audio.
prompt: prompt de texto para generar el baile. Cuanto más específico sea el prompt, mejores suelen ser los resultados, aunque ser demasiado específico puede reducir la influencia del audio. El valor por defecto es "a professional female dancer dancing K-pop in an advanced dance setting in a studio with a white background, captured from a front view".
num-frames: número de fotogramas a generar. El valor por defecto es 145.

Otros parámetros opcionales:

seed: semilla aleatoria para controlar la aleatoriedad de los resultados generados. El valor por defecto es None.
cfg-scale: escala de guía libre de clasificador (CFG) para el prompt de texto. El valor por defecto es 6.0.

3. Entrenamiento

1. Preprocesamiento de datos:

bash music_infuser/preprocess.bash -v {数据集路径} -o {处理后的视频输出目录} -w {预训练的 Mochi 模型路径} --num_frames {帧数}

2. Ejecutar el entrenamiento:

bash music_infuser/run.bash -c music_infuser/configs/music_infuser.yaml -n 1

Nota: la implementación actual solo admite entrenamiento con una sola GPU, y entrenar una secuencia de 73 fotogramas requiere aproximadamente 80 GB de memoria de vídeo.