Qwen2.5-Omni: el modelo multimodal integral de extremo a extremo de Alibaba 142

¿Qué es Qwen2.5-Omni?

Qwen2.5-Omni es el nuevo modelo insignia multimodal de extremo a extremo de la serie Qwen, presentado por Alibaba. Está diseñado para una percepción multimodal integral, es decir, es capaz de comprender texto, audio, imágenes y vídeo, puede pensar y hablar al mismo tiempo, y genera de forma simultánea texto y salida de síntesis de voz natural mediante respuestas en streaming en tiempo real; se trata de un modelo de ia.

Características principales de Qwen2.5-Omni

Arquitectura innovadora:

• Arquitectura Thinker-Talker: Thinker se encarga de procesar y comprender las entradas provenientes de las modalidades de texto, audio y vídeo, generando representaciones semánticas de alto nivel y el contenido de texto correspondiente; Talker convierte dicho contenido en salida de voz natural.

• Tecnología TMRoPE: se propone una nueva técnica de codificación posicional denominada TMRoPE (Time-aligned Multimodal RoPE), que se utiliza para sincronizar las marcas temporales de las entradas de vídeo y audio.

Interacción en tiempo real:

• Admite interacción totalmente en tiempo real, capaz de procesar entradas por fragmentos y generar resultados de forma inmediata.

Generación de voz natural y fluida:

• Supera a muchas de las alternativas existentes, tanto en streaming como sin streaming, en cuanto a naturalidad y estabilidad de la generación de voz.

Ventajas de rendimiento en todas las modalidades:

• Ofrece un rendimiento sobresaliente en tareas multimodales (como OmniBench), y al mismo tiempo también destaca en tareas unimodales (como reconocimiento de voz, traducción, comprensión de audio, razonamiento sobre imágenes, comprensión de vídeo, etc.).

Capacidad de seguimiento de instrucciones de voz de extremo a extremo:

Muestra un rendimiento comparable al del procesamiento de entradas de texto en el seguimiento de instrucciones de voz de extremo a extremo, con resultados destacados en pruebas de referencia como MMLU y GSM8K.

Diseño de la arquitectura de Qwen2.5-Omni

• Thinker: funciona como un cerebro, responsable de procesar y comprender las entradas de las modalidades de texto, audio y vídeo, generando representaciones semánticas de alto nivel y el contenido de texto correspondiente.

• Talker: similar a la boca humana, recibe las representaciones semánticas de alto nivel y el contenido de texto generados por Thinker, y produce voz natural de forma continua (streaming).

• Arquitectura global: Thinker es un decodificador Transformer equipado con codificadores para audio e imagen con el fin de extraer información. Talker es una arquitectura de decodificador Transformer autorregresivo de doble vía. Durante el entrenamiento y la inferencia, Talker recibe directamente las representaciones de alta dimensión de Thinker y comparte toda la información de contexto histórico de Thinker; toda la arquitectura se entrena e infiere de extremo a extremo como un modelo unificado.

Rendimiento de Qwen2.5-Omni

En tareas multimodales (como OmniBench), Qwen2.5-Omni alcanza un rendimiento de estado del arte.

En tareas unimodales, sobresale en reconocimiento de voz (Common Voice), traducción (CoVoST2), comprensión de audio (MMAU), razonamiento sobre imágenes (MMMU, MMStar), comprensión de vídeo (MVBench) y generación de voz (Seed-tts-eval y naturalidad subjetiva).

Enlaces relacionados

Qwen Chat：https://chat.qwenlm.ai

Hugging Face：https://huggingface.co/Qwen/Qwen2.5-Omni-7B

ModelScope：https://modelscope.cn/models/Qwen/Qwen2.5-Omni-7B

DashScope：https://help.aliyun.com/zh/model-studio/user-guide/qwen-omni

GitHub：https://github.com/QwenLM/Qwen2.5-Omni

Demo体验：https://modelscope.cn/studios/Qwen/Qwen2.5-Omni-Demo