Hibiki : modèle de traduction vocale en temps réel haute fidélité par Kyutai Labs 106

Hibiki est un modèle de traduction vocale haute fidélité en temps réel développé par Kyutai Labs, prenant en charge le français et l'anglais. Il peut préserver les caractéristiques de la voix originale et effectuer une traduction en temps réel, écoutant et traduisant simultanément, comme une interprétation simultanée, produisant à la fois la voix et la traduction textuelle en temps réel.

Fonctionnalités de Hibiki :

• Architecture de modèle linguistique multi-flux : Hibiki adopte une architecture multi-flux similaire à celle de Moshi, ce qui lui permet de traiter simultanément la parole de la langue source et celle de la langue cible, réalisant une conversion transparente de la parole vers la parole (S2ST) et de la parole vers le texte (S2TT).

• Préservation des caractéristiques vocales : L'un des points forts du modèle Hibiki est que la voix générée semble relativement naturelle et fluide, proche de la manière normale de parler des humains.

• Ajustement automatique de la vitesse de parole : Hibiki ajuste intelligemment la vitesse de la voix traduite en fonction du contenu sémantique de la langue source, garantissant la fluidité et la précision de la traduction.

• Traduction en temps réel : Il peut effectuer une conversion de la parole vers la parole ou de la parole vers le texte en un temps très court. Par exemple, lors d'une communication de voyage internationale, lorsqu'une personne finit de dire une phrase, on peut presque immédiatement obtenir et écouter le résultat traduit, ce qui est très pratique.

• Petit modèle fonctionnant sur l'appareil : Hibiki-M est la version allégée de Hibiki, avec 1,7 milliard de paramètres, capable de fonctionner en temps réel sur des appareils mobiles tels que l'iPhone, sans dépendre d'un traitement dans le cloud, ce qui démontre l'avancement des techniques d'optimisation et de compression des modèles.

• Traduction adaptative : Hibiki est capable d'identifier de manière relativement précise les entrées vocales avec différents accents. Par exemple, qu'il s'agisse d'un anglais britannique standard, d'un anglais américain ou d'un anglais indien aux caractéristiques régionales.

• Support multilingue : Outre le français et l'anglais, le modèle linguistique audio-texte multi-flux de Hibiki peut être étendu à la traduction d'autres langues, augmentant ainsi la flexibilité et l'adaptabilité de ses applications.

Technologie Hibiki :

Hibiki est un modèle de décodage qui, grâce à des algorithmes de synchronisation précis, peut rapidement traduire la parole d'une langue en parole ou en texte d'une autre langue. Le cœur de cette technologie réside dans son modèle linguistique multi-flux, capable de générer en temps réel des sorties audio et textuelles lors du processus de reconnaissance vocale et de traduction. De plus, Hibiki prend également en charge le transfert des caractéristiques vocales, permettant de préserver l'intonation et les émotions du locuteur pendant la traduction, rendant l'effet de la traduction plus naturel et plus authentique.

Cependant, en raison de la nécessité de transmettre les données vocales et d'effectuer un traitement dans le cloud, il exige un réseau de bonne qualité. Si le signal réseau est mauvais, des erreurs de reconnaissance ou des retards de traduction peuvent survenir.

Scénarios d'application de Hibiki :

• Réunions d'affaires : Pour les professionnels des affaires internationaux, lors de réunions ou de dîners d'affaires, Hibiki peut aider les participants à effectuer une traduction instantanée, éliminant les barrières linguistiques.

• Éducation en ligne : Sur les plateformes éducatives, Hibiki peut fournir une traduction vocale en temps réel, aidant les étudiants de différents horizons linguistiques à mieux apprendre et communiquer.

• Traduction pour le tourisme : Lors de voyages à l'étranger, il facilite les échanges simples des touristes avec les locaux, comme demander son chemin ou commander un repas. Les touristes peuvent directement énoncer leurs besoins à leur téléphone, puis obtenir une réponse vocale ou textuelle traduite.

• Communication médecin-patient : Dans des lieux tels que les hôpitaux, Hibiki peut faciliter la communication entre les médecins et les patients.

GitHub : https://github.com/kyutai-labs/hibiki

HuggingFace : https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

Article arXiv : https://arxiv.org/pdf/2502.03382