MoCha: el primer modelo DiT de Meta para generar personajes parlantes con calidad cinematográfica 127

¿Qué es MoCha?

MoCha es un modelo de IA desarrollado conjuntamente por Meta y la Universidad de Toronto, capaz de generar animaciones de personajes de alta calidad con apariencia humana completa a partir de entradas de voz o texto en vídeo. Los movimientos generados son coherentes y fluidos, admite diálogos entre múltiples personajes y es el primer modelo DiT capaz de generar personajes parlantes con calidad cinematográfica.

Características de MoCha

• Generación de animaciones de personajes basadas en voz: el usuario introduce una voz y MoCha puede generar la sincronización labial, las expresiones faciales, los gestos y los movimientos corporales del personaje de forma sincronizada con el contenido hablado.

• Generación de animaciones de personajes basadas en texto: el usuario solo tiene que introducir un guion de texto. MoCha primero sintetizará automáticamente la voz y, a continuación, conducirá al personaje para que muestre una sincronización labial y unos movimientos completos.

• Generación de diálogos por turnos entre múltiples personajes: MoCha ofrece plantillas de提示 estructuradas y etiquetas de角色 que permiten identificar automáticamente los turnos de diálogo y lograr una presentación natural e interactiva entre personajes.

• Compatible con múltiples escenarios de aplicación, como presentadores virtuales, producción de animación y cine, creación de contenido educativo, atención al cliente con humanos digitales y patrimonio digital, entre otros.

Ventajas de MoCha

• Generación de contenido casi de calidad cinematográfica: a diferencia de la tecnología tradicional de "Talking Head" (cabeza parlante), MoCha es capaz de generar animaciones de cuerpo completo, lo que hace que los movimientos de los personajes sean mucho más naturales.

• Reduce la barrera de entrada a la creación: no se necesita equipo de captura de movimiento ni experiencia en modelado 3D, lo que disminuye la barrera para la creación de contenido.

Aplicaciones de MoCha:

• Presentadores virtuales: generación automática de vlogs diarios y sesiones de preguntas y respuestas con personajes.

• Producción de animación y cine: doblaje automático mediante IA + animación automática, lo que reduce los costes de producción.

• Creación de contenido educativo: profesor con IA que imparte clases o interactúa.

• Atención al cliente con humanos digitales: servicios de atención al cliente empresarial y roles de consultoría antropomórficos.

• Patrimonio digital: creación de imágenes dinámicas de personajes históricos o seres queridos difuntos.

Enlaces relacionados

Página del proyecto: https://congwei1230.github.io/MoCha/

Artículo: https://arxiv.org/pdf/2503.23307