Dolphin : un modèle de reconnaissance automatique de la parole pour les langues orientales, publié conjointement par Datatang et l'Université Tsinghua 143

小编 · 2025-04-02

Dolphin est un modèle de reconnaissance automatique de la parole conçu pour les langues orientales, développé conjointement par Datatang et le Laboratoire de Technologie de la Parole et de l'Audio du Département de Génie Électronique de l'Université Tsinghua. Il prend en charge 40 langues orientales et 22 dialectes chinois, offrant une grande précision et robustesse dans des environnements acoustiques complexes. Il est largement utilisé pour la transcription vocale, l'interaction vocale et l'analyse de contenu audio, et propose une installation en un clic ainsi que plusieurs méthodes d'appel.

Dolphin : un modèle de reconnaissance automatique de la parole pour les langues orientales, publié conjointement par Datatang et l'Université Tsinghua

Qu'est-ce que Dolphin ?

Dolphin est un modèle de reconnaissance automatique de la parole conçu pour les langues orientales, développé conjointement par Dataocean AI et le Laboratoire de technologies vocales et audio du Département de génie électrique de l'Université Tsinghua.Dolphin prend en charge 40 langues orientales et 22 dialectes chinois. Il offre une grande précision et une excellente robustesse, capable de s'adapter à divers environnements vocaux complexes. Dolphin est largement utilisé dans des scénarios tels que la transcription vocale, l'interaction vocale et l'analyse de contenu audio, et il prend en charge une installation en un clic ainsi que plusieurs méthodes d'appel.

Caractéristiques du modèle Dolphin

Support multilingue : Dolphin prend en charge 40 langues orientales, y compris des langues d'Asie de l'Est, d'Asie du Sud, d'Asie du Sud-Est et du Moyen-Orient, ainsi que 22 dialectes chinois (y compris le mandarin).
Adaptation linguistique : identification automatique de la langue de l'entrée vocale, sans nécessité de la spécifier manuellement.
Haute précision : sur plusieurs ensembles de tests, le taux d'erreur de mots (WER) est nettement inférieur à celui des modèles comparables.
Forte robustesse : adaptation à divers accents, vitesses d'élocution, bruits de fond et autres environnements vocaux complexes.
Haute performance : sur les trois ensembles de tests Dataocean AI, Fleurs et CommonVoice, le WER de Dolphin est nettement réduit par rapport aux modèles de taille équivalente de Whisper. Par exemple, le WER moyen est réduit de 63,1 % pour la version base et de 68,2 % pour la version small.
Open source : les modèles des versions base et small de Dolphin ainsi que le code d'inférence sont entièrement open source.

Architecture technique de Dolphin

Structure du réseau : basée sur une architecture CTC-Attention, utilisant un encodeur E-Branchformer et un décodeur Transformer, avec l'introduction d'une couche de sous-échantillonnage d'un facteur 4. Cette structure combine la capacité de modélisation séquentielle de CTC et la capacité de capture contextuelle du mécanisme d'attention, ce qui permet d'améliorer efficacement la précision et l'efficacité de la reconnaissance.
Format multi-tâches : Dolphin s'inspire des méthodes de conception de Whisper et OWSM, et s'est concentré sur l'ASR en y apportant plusieurs modifications clés, telles que la suppression de l'utilisation du previous text et de ses marqueurs associés, simplifiant ainsi le format d'entrée. De plus, Dolphin introduit un système d'étiquettes de langue à deux niveaux pour mieux gérer la diversité des langues et des régions.

Architecture technique de Dolphin.webp

Base de données

Le jeu de données d'entraînement de Dolphin intègre les données propriétaires de Dataocean AI et plusieurs jeux de données open source, pour une durée totale de plus de 212 000 heures. Parmi ceux-ci, le jeu de données de Dataocean AI contient 137 712 heures d'audio, couvrant 38 langues orientales.

Scénarios d'application

Transcription vocale : convient aux scénarios tels que les comptes rendus de réunions et la saisie vocale.
Interaction vocale : utilisé pour les assistants vocaux intelligents d'IA, les maisons intelligentes, etc., afin d'améliorer l'expérience d'interaction.
Analyse de contenu vocal : transcription et analyse rapides du contenu des médias vocaux.

Tutoriel d'utilisation de Dolphin

Installation : les utilisateurs peuvent installer en un clic via la commande pip install -U dataoceanai-dolphin.
Appel en ligne de commande : par exemple, utilisez dolphin audio.wav pour la reconnaissance vocale. Il est également possible de spécifier la version du modèle, la langue et la région.
Appel via Python : en important le module dolphin , chargez l'audio et le modèle pour effectuer la reconnaissance vocale.