MultiTalk: herramienta de generación de vídeo de conversaciones multi-persona por audio, open source de Meituan 195

MultiTalk es una herramienta de generación de vídeo de conversaciones entre varias personas impulsado por audio y de código abierto, desarrollado por el equipo de inteligencia visual de Meituan. A partir de audios de varias personas, imágenes de referencia y prompts textuales, genera vídeos de conversación con humanos digitales que presentan sincronización labial y movimientos corporales naturales, con resultados muy buenos. El usuario solo tiene que subir el audio, la imagen de referencia y las indicaciones para generar vídeos de diálogo con labios sincronizados, e incluso puede generar escenas de canto y personajes de dibujos animados.

Este proyecto tiene varias características prácticas: la sincronización labial impulsada por audio es muy precisa, permite controlar las acciones de los personajes virtuales mediante prompts, puede generar vídeos en distintas resoluciones y crear escenas de diálogo de hasta 15 segundos de duración. Además, integra la función de texto a voz, incorpora múltiples optimizaciones para mejorar la eficiencia de generación, admite un modo de baja memoria de vídeo e inferencia con varias GPUs, y se puede ejecutar en una sola tarjeta gráfica RTX 4090.

Características funcionales

✅ Impulsado por audio: introduce audios de varias personas para generar sincronización labial natural y movimientos corporales

✅ Entrada con una sola foto: con solo una imagen de referencia se pueden generar vídeos de interacción entre varias personas

✅ Seguimiento de acciones complejas: admite prompts textuales complejos y genera acciones y escenas acordes a la descripción

✅ Compatibilidad multilingüe: procesa audios en varios idiomas y logra una sincronización labial precisa

✅ Generación de vídeo largo: genera vídeos largos y coherentes mediante un método autorregresivo

✅ Estrategia de entrenamiento eficiente: mejora el rendimiento del modelo mediante entrenamiento en dos fases, entrenamiento parcial de parámetros y entrenamiento multitarea

✅ Tecnología L-RoPE: mediante la codificación posicional rotatoria con etiquetas, logra una asociación precisa entre varios flujos de audio y los personajes

✅ Salida de alta calidad: los vídeos generados son naturales y fluidos, con prácticamente sin artefactos visuales

Aspectos técnicos destacados

✅ Tecnología L-RoPE pionera: utiliza la codificación posicional rotatoria con etiquetas para resolver el problema del desajuste entre múltiples flujos de audio y los personajes, logrando una correspondencia precisa entre audio y personajes

✅ Generación de vídeo impulsada por audio: a partir de audios de varias personas, imágenes de referencia y prompts textuales, genera vídeos interactivos con sincronización labial y movimientos corporales naturales

✅ Entrenamiento parcial de parámetros + estrategia de aprendizaje multitarea: mantiene la capacidad de seguir instrucciones de acciones complejas y, al mismo tiempo, logra la ubicación adaptativa de personajes dinámicos

✅ Compatibilidad con múltiples escenarios: aplicable a producción audiovisual, comercio electrónico en streaming y otros escenarios

Marco técnico

✅ Estructura del modelo base: toma como núcleo el modelo de difusión de vídeo DiT, integrando un 3D autocodificador variacional para procesar datos de vídeo de forma eficiente

✅ Integración de audio de una sola persona: añade un mecanismo de atención cruzada de audio tras la capa de atención cruzada de texto de cada bloque DiT, utiliza Wav2Vec para extraer características de audio y, mediante un adaptador de audio, resuelve el problema del desajuste de granularidad temporal entre vídeo y audio

✅ Procesamiento de audio de varias personas: gracias a la tecnología L-RoPE, logra la asociación precisa entre múltiples flujos de audio y múltiples personajes, evitando el "hablar al unísono"

Estrategia de entrenamiento:

✅ Entrenamiento en dos fases: primero se entrena la capacidad de generar vídeos de una sola persona y luego la interacción y asociación entre varios personajes

✅ Entrenamiento parcial de parámetros: solo se actualizan los parámetros de la capa de atención cruzada de audio y del adaptador de audio, manteniendo congelados el resto de parámetros del modelo base

✅ Entrenamiento multitarea: combina dos modos de entrenamiento, de audio + imagen a vídeo y de imagen a vídeo, para reforzar la capacidad del modelo de seguir instrucciones

Rendimiento

✅ Evaluación cuantitativa: en tareas de generación de movimientos de cabeza y cuerpo, destaca en sincronización labial (Sync-C, Sync-D) y calidad de vídeo (FID, FVD) frente a varios métodos avanzados

✅ Evaluación cualitativa: al tratar escenas interactivas complejas, logra buenos resultados, generando vídeos que responden con precisión a prompts textuales complejos, con pocos artefactos visuales e imágenes naturales y realistas

✅ Generación de vídeo largo: mediante un método autorregresivo, toma como condición la parte final del vídeo previamente generado para producir nuevos fragmentos, garantizando coherencia y extensión temporal

Escenarios de aplicación

• Producción audiovisual: interacción de personajes virtuales, doblaje de animación,合成 de efectos especiales, creación de cortometrajes

• Comercio electrónico en streaming: interacción de presentadores virtuales, presentación y comentario de productos, retransmisiones en varios idiomas

• Ámbito educativo: interacción con profesores virtuales, aprendizaje de idiomas, recreación histórica

• Desarrollo de videojuegos: diálogos de personajes virtuales, interacción con NPC, juegos multijugador en línea

• Publicidad y marketing: portavoces virtuales, promoción de productos, anuncios en redes sociales

• Socialización virtual: interacción en plataformas sociales virtuales, reuniones virtuales

• Ocio y creatividad: vídeos musicales, conciertos virtuales, cortometrajes creativos

• Servicios públicos: informativos, difusión de servicios públicos

• Formación corporativa: escenarios de formación virtual, simulaciones situacionales

• Comunicación internacional: diálogos multilingües, intercambios culturales

Dirección del proyecto

Página del proyecto:https://meigen-ai.github.io/multi-talk/

Código fuente abierto:https://github.com/MeiGen-AI/MultiTalk

Artículo técnico:https://arxiv.org/abs/2505.22647