StreamSpeech : modèle de traduction en temps réel pour entrée vocale en streaming 195

StreamSpeech, un modèle de traduction en temps réel capable de gérer une entrée vocale en streaming, utilisé pour la reconnaissance vocale, la traduction vocale et la synthèse vocale, hors ligne et simultanées. Il permet de traduire instantanément la parole en une autre langue lors de communications en temps réel, tout en produisant la voix cible correspondante.

Il est non seulement capable de traduire la parole dans une autre langue, mais aussi de transcrire le contenu vocal en texte en temps réel. Les utilisateurs peuvent obtenir simultanément les résultats de traduction sous forme vocale et textuelle, et le processus de traduction est effectué de manière synchrone, sans avoir à attendre la fin de l'intégralité de l'entrée vocale, permettant ainsi une traduction en temps réel à faible latence.

StreamSpeech peut également afficher les résultats de reconnaissance vocale en temps réel pendant le processus de traduction, aidant ainsi les utilisateurs à suivre instantanément l'avancement de la traduction.

StreamSpeech peut également être intégré de manière transparente à diverses applications et appareils, tels que des écouteurs de traduction, des systèmes de conférence, des plateformes de streaming en direct, etc., offrant aux utilisateurs des services de traduction pratiques. Que ce soit sur des appareils personnels ou dans le cadre de grands systèmes de conférence, Simul-S2ST offre des performances stables.

Scénarios d'application de StreamSpeech :

• Lors de conférences internationales, utilisation de StreamSpeech pour l'interprétation simultanée.

• Les entreprises multinationales utilisent StreamSpeech pour leurs conférences à distance, permettant une communication multilingue en temps réel.

• Les apprenants en langues utilisent StreamSpeech pour s'entraîner à la compréhension et à l'expression orale dans différentes langues.

Points forts de StreamSpeech :

• StreamSpeech atteint des performances SOTA en traduction vocale à vocale hors ligne et simultanée.

• StreamSpeech exécute de manière transparente, via un modèle unique « tout-en-un », la reconnaissance vocale en streaming, la traduction vocale à texte simultanée et la traduction vocale à vocale simultanée.

• StreamSpeech peut présenter des résultats intermédiaires (c'est-à-dire les résultats d'ASR ou de traduction) pendant le processus d'interprétation simultanée, offrant une expérience de communication à faible latence plus complète.

StreamSpeech est particulièrement adapté aux professionnels ayant besoin d'une communication interlinguistique en temps réel. En réduisant la latence de traduction, il permet à des personnes de langues différentes de dialoguer en temps réel sans barrière linguistique.

Site officiel :https://ictnlp.github.io/StreamSpeech-site/

Github :https://github.com/ictnlp/StreamSpeech

Papier :https://arxiv.org/abs/2406.03049