SpeechGPT 2.0-preview : le premier modèle de dialogue vocal pour l'interaction et l'intelligence contextuelle 127

Le laboratoire ouvert d'intelligence artificielle OpenMOSS de l'Université de Fudan a lancé son premier modèle de conversation vocale open source destiné à l'interaction en temps réel et à l'intelligence situationnelle : SpeechGPT 2.0-preview. SpeechGPT 2.0-previewest entraîné sur un volume d'un million d'heures de données vocales en chinois. Grâce à une architecture de bout en bout, il réalise une fusion poussée des modalités vocale et textuelle, et peut générer, sur instruction, des voix aux multiples émotions et styles, notamment en imitant les émotions d'un personnage spécifique.

I. Percées technologiques clés

1. Modélisation vocale de bout en bout

Le modèle traite directement l'entrée vocale et génère une sortie vocale ou textuelle grâce à une modélisation conjointe sémantique-acoustique, sans nécessiter les modules traditionnels en cascade ASR (reconnaissance vocale) et TTS (synthèse vocale). Son codec vocal streaming à très bas débit, développé en interne (750 bps), compresse la parole en 75 tokens par seconde. Combiné à la technologie Codec Patchify, qui agrège les tokens vocaux des pas de temps adjacents en un vecteur unifié, il atténue efficacement les conflits de modélisation intermodale, prend en charge les entrées et sorties en streaming, et permet une interaction en temps réel avec une latence inférieure à 200 ms.

2. Modélisation hybride voix-texte

Le modèle adopte un processus d'entraînement en plusieurs étapes :

• Pré-entraînement d'adaptation modale : utiliser des données vocales non annotées pour apprendre les caractéristiques de la modalité vocale ;

• Réglage fin par instructions intermodales : améliorer la capacité de compréhension des instructions grâce à un vaste jeu de données d'instructions intermodales (SpeechInstruct) ;

• Réglage fin modal en chaîne : optimiser la précision des conversions intermodales, par exemple en recevant une instruction vocale, en réfléchissant sous forme de texte, puis en répondant par la voix.

3. Alignement des capacités multimodales

Grâce au pré-entraînement d'alignement voix-texte, le modèle fait « émerger » des capacités de généralisation qui n'ont pas été explicitement entraînées, comme par exemple le contrôle de la vitesse d'élocution sans données d'ajustement de débit, ou l'imitation de styles vocaux de personnages jamais vus.

II. Fonctionnalités et performances

1. Expérience d'interaction humaine

Contrôle des émotions et du style : prise en charge d'un contrôle précis de plusieurs émotions (telles que faible, joyeuse), de plusieurs timbres (alternance homme/femme) et de plusieurs styles (récitation de poésie, imitation de dialecte), avec une capacité de jeu de rôle particulièrement marquée ;

2. Interaction en temps réel avec interruption :une vitesse de réponse de l'ordre de la centaine de millisecondes prend en charge les interruptions et les relances instantanées dans la conversation naturelle.

Intelligence et praticité

• Intégration des capacités textuelles : sur la base de l'expressivité vocale, il conserve le « QI » des modèles textuels et prend en charge l'appel d'outils, la recherche en ligne, l'intégration de bases de connaissances externes, etc. ;

• Compatibilité multi-tâches : capable de traiter des scénarios tels que l'analyse de longs documents et les dialogues multi-tours, sans que les performances sur les tâches de texte court soient dégradées par la capacité de contexte long.

3. Soutien de l'écosystème open source

Le code du modèle, ses poids et son rapport technique sont entièrement open source (licence Apache 2.0). Il fournit un modèle pré-entraîné sur Hugging Face et une interface de démonstration Gradio, et prend en charge le déploiement local ;

Il intègre le framework vLLM pour optimiser l'efficacité d'inférence, un mécanisme d'attention creuse réduisant l'occupation mémoire de 96,7 % et accélérant la vitesse de traitement de 3 à 7 fois.

III. Scénarios d'application

• Assistant intelligent : assistants de service client, d'éducation ou de médecine avec interaction vocale naturelle, tels que la pratique orale en temps réel ou l'accompagnement émotionnel ;

• Création de contenu : génération automatique de livres audio, de récitations de poésie ou de contenus dialectaux, enrichissant les formes de création multimédia ;

• Communication accessible : fourniture de services de transcription vocale et de synthèse en temps réel pour les personnes malentendantes ou ayant des troubles de la parole.

Avec son architecture de bout en bout et sa technologie d'alignement intermodal, SpeechGPT 2.0-preview offre une interaction vocale à faible latence, très réaliste et hautement intelligente, constituant une percée majeure de la communauté open source dans le domaine des grands modèles vocaux. Son écosystème open source et son adaptabilité multi-scénarios fournissent non seulement aux développeurs des outils efficaces, mais favorisent également l'évolution de l'interaction homme-machine vers une dimension plus émotionnelle et naturelle.

Dépôt Github :https://github.com/OpenMOSS/SpeechGPT-2.0-preview

Expérience en ligne :https://sp2.open-moss.com (testé : un peu saccadé, se casse par moments en riant, mais reste assez naturel ; toutefois, les réponses ne sont pas toujours pertinentes)