SpeechGPT 2.0-preview: el primer modelo de diálogo por voz para interacción e inteligencia contextual 129

El Laboratorio Abierto de IA OpenMOSS de la Universidad de Fudan ha presentado el primer modelo de conversación por voz de código abierto orientado a la interacción en tiempo real y la inteligencia contextual: SpeechGPT 2.0-preview. SpeechGPT 2.0-previewestá entrenado con cientos de miles de horas de datos de voz en chino, y mediante una arquitectura de extremo a extremo logra una alta integración de las modalidades de voz y texto, pudiendo generar voz con múltiples emociones y estilos según las instrucciones, incluyendo la imitación de las emociones de personajes específicos.

1. Avances tecnológicos clave

1. Modelado de voz de extremo a extremo

El modelo, mediante modelado conjunto semántico-acústico, procesa directamente la entrada de voz y genera salida de voz o texto, sin necesidad de los módulos tradicionales en cascada de ASR (reconocimiento de voz) y TTS (síntesis de voz). Su Codec de voz en streaming de tasa de bits ultrabaja desarrollado internamente (750 bps) comprime la voz a 75 tokens por segundo, combinado con la tecnología Codec Patchify que agrega los tokens de voz de pasos temporales adyacentes en un vector unificado, lo que alivia eficazmente los conflictos del modelado multimodal y admite entrada y salida en streaming, logrando una interacción en tiempo real con una latencia inferior a 200 ms.

2. Modelado mixto voz-texto

El modelo adopta un proceso de entrenamiento de múltiples etapas:

• Preentrenamiento de adaptación modal: utiliza datos de voz no etiquetados para aprender características de la modalidad de voz;

• Ajuste fino de instrucciones multimodal: mejora la capacidad de comprensión de instrucciones mediante un conjunto de datos de instrucciones multimodal a gran escala (SpeechInstruct);

• Ajuste fino modal en cadena: optimiza la precisión de la conversión multimodal, por ejemplo, recibir una instrucción de voz, pensar en texto y responder con voz.

3. Alineación de capacidades multimodales

Mediante el preentrenamiento de alineación voz-texto, el modelo "emerge" con capacidades de generalización no entrenadas explícitamente, por ejemplo, controlar la velocidad del habla sin necesidad de datos de ajuste de velocidad, o imitar el estilo de tono de personajes nunca antes vistos.

2. Características funcionales y rendimiento

1. Experiencia de interacción antropomórfica

Control de emociones y estilos: admite un control preciso de múltiples emociones (como debilidad, alegría), múltiples timbres (conmutación entre voces masculinas y femeninas) y múltiples estilos (recitación de poesía, imitación de dialectos), con una destacada capacidad de interpretación de papeles;

2. Interrupción de interacción en tiempo real: una velocidad de respuesta del orden de cientos de milisegundos admite la interrupción y continuación instantánea en conversaciones naturales.

Inteligencia y practicidad

• Integración de capacidades textuales: sobre la base de la expresividad de la voz, conserva el cociente intelectual de los modelos de texto y admite funciones como la invocación de herramientas, búsquedas en línea y acceso a bases de conocimiento externas;

• Compatibilidad multitarea: puede manejar escenarios como análisis de documentos largos y diálogos de múltiples turnos, y el rendimiento en tareas de texto corto no se ve reducido por la capacidad de contexto largo.

3. Soporte del ecosistema de código abierto

El código del modelo, los pesos y el informe técnico son completamente de código abierto (licencia Apache 2.0), proporcionando modelos preentrenados en Hugging Face y una interfaz de demostración Gradio, compatible con el despliegue local;

Integra el marco vLLM para optimizar la eficiencia de inferencia, con un mecanismo de atención dispersa que reduce el uso de memoria un 96,7 % y aumenta la velocidad de procesamiento de 3 a 7 veces.

3. Escenarios de aplicación

• Asistentes inteligentes: asistentes de atención al cliente, educación o sanidad con interacción de voz natural, como práctica oral en tiempo real o acompañamiento emocional;

• Creación de contenidos: generación automática de audiolibros, recitación de poesía o contenido en dialecto, enriqueciendo las formas de creación multimedia;

• Comunicación accesible: proporciona servicios de conversión de voz a texto y síntesis en tiempo real para personas con discapacidad auditiva o del habla.

SpeechGPT 2.0-preview, mediante su arquitectura de extremo a extremo y tecnología de alineación multimodal, logra baja latencia, alta fidelidad e inteligencia avanzada en la interacción por voz, convirtiéndose en un avance importante de la comunidad de código abierto en el campo de los grandes modelos de voz. Su ecosistema de código abierto y capacidad de adaptación a múltiples escenarios no solo proporcionan a los desarrolladores una herramienta eficiente, sino que también impulsan la evolución de la interacción hombre-máquina hacia una mayor emocionalidad y naturalidad.

Repositorio de Github:https://github.com/OpenMOSS/SpeechGPT-2.0-preview

Experiencia en línea:https://sp2.open-moss.com (lo probé y va un poco lento, se entrecorta al reír, pero aun así resulta bastante natural, aunque responde cosas sin relación con la pregunta)