OmniTalker: marco de Alibaba para avatares parlantes en tiempo real 127

¿Qué es OmniTalker?

OmniTalker es un marco de generación multimodal ai de avatares parlantes impulsado por texto en tiempo real, desarrollado por el Laboratorio Tongyi de Alibaba. Puede generar en tiempo real voz y animaciones de vídeo que coinciden con el contenido del texto introducido. La voz y el vídeo generados no solo son de alta calidad, sino que también simulan de forma realista las expresiones faciales y los movimientos de la cabeza, como si fuera un "humano digital" real manteniendo una conversación contigo. OmniTalker admite la conversión bidireccional entre chino e inglés, soporta la expresión de emociones como calma, alegría, tristeza, enfado, etc., y permite la generación de vídeo largo.

Características y funcionalidades de OmniTalker

• Procesamiento de entrada multimodal: capaz de percibir múltiples modalidades como texto, imagen, audio y vídeo.

• Generación en streaming: genera texto y respuestas de voz natural de forma continua, con codificadores de audio y vídeo que adoptan un método de procesamiento por bloques, desacoplando el manejo de datos multimodales de secuencias largas.

• Sincronización precisa de audio y vídeo: mediante la tecnología TMRoPE, garantiza la sincronización precisa entre las entradas de vídeo y audio.

• Interacción en tiempo real: admite entrada por bloques y salida instantánea, permitiendo una interacción completamente en tiempo real.

• Generación de voz natural y fluida: sobresale en la naturalidad y estabilidad de la generación de voz, superando a muchas alternativas actuales, tanto en streaming como sin streaming.

• Ventajas de rendimiento: destaca en pruebas de referencia multimodales, con capacidad de audio superior a Qwen2-Audio de tamaño similar y al mismo nivel que Qwen2.5-VL-7B.

Tecnología principal de OmniTalker

1. Arquitectura de transformador de difusión de doble rama (DiT)

• Incluye rama de audio y rama visual:

• Rama de audio: sintetiza voz de alta calidad a partir del texto.

• Rama visual: predice la postura de la cabeza y la dinámica facial.

• Mediante un novedoso módulo de fusión audio-visual, garantiza la sincronización temporal y la coherencia estilística de las salidas de audio y vídeo.

2. Aprendizaje de referencia contextual

• OmniTalker puede capturar las características de estilo de voz y rostro a partir de un único vídeo de referencia, sin necesidad de módulos adicionales de extracción de estilo. Esto significa que, independientemente del texto introducido, OmniTalker puede generar contenido de voz y vídeo altamente coherente con el estilo del vídeo de referencia.

3. Tiempo real y alta eficiencia

• OmniTalker puede generar voz y vídeo en tiempo real a una velocidad de 25 FPS, lo que resulta muy puntero entre tecnologías similares. Esta alta velocidad de inferencia permite que OmniTalker se aplique en escenarios como chats de vídeo en tiempo real y retransmisiones en directo virtuales, ofreciendo a los usuarios una experiencia de interacción fluida.

Escenarios de aplicación de OmniTalker

• Asistentes de voz inteligentes: procesan comandos de voz del usuario y generan respuestas vocales en tiempo real.

• Creación de contenido multimodal: procesan simultáneamente entradas de texto, imagen y vídeo para generar descripciones textuales o de voz correspondientes.

• Educación y formación: generan profesores virtuales que producen voz y vídeo adaptados al contenido educativo.

• Atención al cliente y asistentes virtuales: crean agentes o asistentes virtuales que generan respuestas de voz y vídeo en tiempo real.

• Entretenimiento y medios: crean presentadores y actores virtuales que generan contenido interpretativo en tiempo real.

Ventajas de OmniTalker

• Generación de alta calidad: el contenido de voz y vídeo generado es de alta calidad, replicando con precisión el estilo del vídeo de referencia, incluidos los matices del tono, el ritmo y las expresiones faciales.

• Aprendizaje sin ejemplos (zero-shot): no requiere grandes cantidades de datos de entrenamiento, puede generar contenido rápidamente a partir del texto introducido y el vídeo de referencia, adaptándose a diferentes escenarios y necesidades.

• Interacción en tiempo real: genera voz y vídeo en tiempo real a 25 FPS, con baja latencia, lo que lo hace adecuado para escenarios como chats de vídeo en tiempo real y retransmisiones virtuales en directo.

Web oficial del proyecto:https://humanaigc.github.io/omnitalker/

Artículo técnico:https://arxiv.org/pdf/2504.02433v1