OSUM : modèle vocal open source de l'Université polytechnique Northwestern pour plusieurs tâches de traitement de la parole 200

OSUM (Open Speech Understanding Model) est un modèle vocal proposé et open source par le groupe de traitement audio, vocal et linguistique (ASLP@NPU) de la Faculté d'informatique et de technologie de l'Université Northwestern Polytechnical, conçu pour prendre en charge plusieurs tâches de traitement de la parole.

Caractéristiques et fonctionnalités d'OSUM :

Prise en charge multi-tâches :

• Reconnaissance automatique de la parole (ASR) : conversion de la parole en texte.

• Reconnaissance de la parole avec horodatage (SRWT) : reconnaissance du contenu vocal et annotation des informations temporelles.

• Détection d'événements vocaux (VED) : identification d'événements ou d'actions spécifiques dans la parole.

• Reconnaissance des émotions vocales (SER) : analyse de l'état émotionnel dans la parole.

• Reconnaissance du style de parole (SSR) : identification du style ou du ton du locuteur.

• Classification du genre du locuteur (SGC) : détermination du genre du locuteur à partir de sa voix.

• Prédiction de l'âge du locuteur (SAP) : estimation de l'âge du locuteur.

• Conversion de la parole en conversation textuelle (STTC) : conversion des dialogues vocaux en texte lisible.

Architecture du modèle : OSUM combine l'encodeur Whisper et le grand modèle de langage Qwen2 (LLM), en utilisant la technique LoRA pour affiner le LLM, afin d'obtenir un entraînement multi-tâches efficace.

Stratégie d'entraînement : il adopte une stratégie d'entraînement ASR+X, qui optimise simultanément la reconnaissance automatique de la parole (ASR) et les tâches secondaires (X), permettant un entraînement multi-tâches efficace et stable tout en réduisant la consommation de ressources.

Fonctionnalité de compréhension approfondie : le modèle OSUM est capable de convertir les informations vocales en texte et prend en charge la reconnaissance des émotions dans la parole, offrant ainsi aux utilisateurs une expérience d'interaction plus intelligente.

Prise en charge des horodatages : lors de la reconnaissance vocale, OSUM fournit des sorties avec horodatage, facilitant le traitement et l'analyse ultérieurs.

Compatibilité multiplateforme : il prend en charge l'exécution sur différentes plateformes de calcul, notamment Huawei Ascend 910B et les plateformes NVIDIA, ce qui accroît la flexibilité de ses applications.

Applications d'OSUM :

• Assistants intelligents : dans la maison intelligente et les assistants virtuels, pour comprendre et répondre aux commandes vocales des utilisateurs.

• Services multilingues : comme le plugin YouTube Dubbing, il peut être utilisé pour la traduction et le doublage en temps réel, levant les barrières linguistiques.

• Analyse des sentiments : analyse des émotions des utilisateurs dans le service client et les applications de santé mentale, fournissant des services personnalisés.

• Domaine de l'éducation : évaluation automatique des devoirs oraux des étudiants et fourniture de commentaires.

• Technologie d'accessibilité : aide des personnes malentendantes à comprendre les informations vocales.

• Études de marché : analyse des émotions et des opinions dans les retours des consommateurs.

• Transcription vocale : dans des contextes tels que les comptes rendus de réunions ou la conversion de texte dicté, OSUM permet une transcription vocale efficace.
  

Comment utiliser OSUM :

Installation et importation : les utilisateurs peuvent télécharger le code et les poids du modèle OSUM via la page Hugging Face ou la page du projet GitHub, puis suivre le guide d'installation fourni. Voici un exemple de code pour importer le modèle OSUM dans un environnement Python :

from osum import OSUM
model = OSUM.from_pretrained("ASLP-lab/OSUM")

Exécution des tâches : les utilisateurs peuvent utiliser le modèle OSUM pour effectuer diverses tâches vocales, telles que la reconnaissance vocale. Voici un exemple de code pour une tâche de reconnaissance vocale :

result = model.transcribe("audio.wav")
print(f"识别结果：{result}")

Concernant les méthodes d'utilisation, les utilisateurs peuvent également affiner le modèle en utilisant les points de contrôle pré-entraînés afin d'améliorer davantage les performances du modèle sur des tâches spécifiques.

GitHub :https://github.com/ASLP-lab/OSUM

Projet : https://aslp-lab.github.io/OSUM.github.io/