PengChengStarling : système de reconnaissance vocale multilingue open source du Laboratoire Pengcheng 115

PengChengStarling est un système de reconnaissance vocale multilingue open source développé par le Peng Cheng Laboratory, qui prend en charge la reconnaissance vocale en temps réel, la reconnaissance au fur et à mesure que vous parlez, et peut être utilisé dans des scénarios tels que la transcription d'enregistrements de conférences internationales en texte, la génération automatique de sous-titres pour des vidéos multilingues, et les systèmes de service client multilingues.

PengChengStarling est développé sur la base du projet icefall, avec une taille de modèle ne représentant que 20 % de celle de Whisper-Large v3, mais une vitesse d'inférence 7 fois plus rapide. Il prend en charge 8 langues, dont le chinois, l'anglais, le russe, le vietnamien, le japonais, le thaï, l'indonésien et l'arabe, et peut traiter les entrées vocales multilingues dans un cadre unifié, améliorant ainsi considérablement l'efficacité de la reconnaissance vocale.

Fonctionnalités de PengChengStarling :

• Taille du modèle et performance : la taille du modèle PengChengStarling ne représente que 20 % de celle de Whisper-Large v3, ce qui le rend plus efficace en termes de stockage et de ressources de calcul.

• Vitesse d'inférence : la vitesse d'inférence du système PengChengStarling est 7 fois supérieure à celle de Whisper-Large v3, ce qui permet de traiter les entrées vocales en moins de temps et convient aux scénarios d'application en temps réel.

• Prise en charge multilingue : PengChengStarling prend en charge jusqu'à 8 langues, dont le chinois, l'anglais, le russe, le vietnamien, le japonais, le thaï, l'indonésien et l'arabe, ce qui permet de répondre aux besoins des différents utilisateurs.

• Architecture du modèle : il adopte l'architecture RNN-T, composée de trois modules : Encoder, Decoder et Joiner, et l'encodeur vocal utilise Zipformer.

• Amélioration des performances : par rapport à Whisper-Large v3, PengChengStarling obtient des performances équivalentes ou supérieures dans 6 langues, avec un facteur temps réel (RTF) de 0,016 et une vitesse d'inférence presque 7 fois supérieure.

Scénarios d'application de PengChengStarling :

• Assistants intelligents : peut être intégré dans des assistants intelligents pour la reconnaissance et la réponse aux commandes vocales.

• Service client : dans les centres de service client, la technologie de reconnaissance vocale est utilisée pour améliorer la rapidité et la précision des réponses aux demandes des clients.

• Domaine de l'éducation : dans les applications d'apprentissage des langues et d'éducation, il aide les étudiants à s'entraîner à la prononciation et à la communication linguistique.

• Comptes rendus de réunions : transcription en temps réel des interventions lors des réunions, améliorant ainsi l'efficacité des réunions.

• Traduction multilingue : combiné à un système de traduction, il permet une communication multilingue en temps réel.

PengChengStarling a fait preuve d'excellentes performances lors des évaluations, en particulier par rapport à Whisper-Large v3, atteignant des résultats comparables ou supérieurs en termes de performances de reconnaissance vocale en streaming pour six langues. De plus, la quantité de données d'entraînement pour chaque langue est d'environ 2000 heures, provenant principalement de jeux de données ouverts, ce qui fournit une base très solide pour sa prise en charge multilingue.

Dans les applications pratiques, PengChengStarling peut également être utilisé pour la technologie d'adaptation de la reconnaissance vocale, effectuant des ajustements personnalisés en fonction des caractéristiques vocales de l'utilisateur afin d'améliorer la précision de la reconnaissance, en particulier dans les environnements très bruyants.

GitHub :https://github.com/yangb05/PengChengStarling

HuggingFace : https://huggingface.co/stdo/PengChengStarling