SenseVoice : modèle audio multilingue d'Alibaba 115

SenseVoice, un modèle de base audio multilingue du cadre FunAudioLLM publié par le laboratoire Alibaba Tongyi, se concentre sur la reconnaissance vocale multilingue de haute précision, la reconnaissance des émotions vocales et la détection d'événements audio, avec des capacités multilingues, de langues mixtes, de contrôle du timbre et des émotions, et présente d'excellentes performances en génération vocale zero-shot, en clonage vocal multilingue et en suivi d'instructions.

FunAudioLLM combine des technologies avancées de compréhension et de génération vocale pour traiter des tâches vocales complexes et permettre une interaction naturelle dans divers environnements linguistiques.

SenseVoice peut être appliqué à la traduction, au chat vocal émotionnel, aux podcasts interactifs et à la lecture expressive de livres audio.

SenseVoice possède des capacités de compréhension audio, notamment la reconnaissance vocale (ASR), l'identification de la langue (LID), la reconnaissance des émotions vocales (SER) et la classification d'événements acoustiques (AEC) ou la détection d'événements acoustiques (AED).

Performances de SenseVoice :

• Reconnaissance vocale multilingue : entraîné sur plus de 400 000 heures de données, prend en charge plus de 50 langues, avec des performances de reconnaissance surpassant le modèle Whisper.

• Transcription enrichie :

  Dispose d'excellentes capacités de reconnaissance des émotions, atteignant et surpassant les meilleurs modèles de reconnaissance des émotions actuels sur les données de test.

  Fournit des capacités de détection d'événements sonores, prenant en charge la détection de divers événements courants d'interaction homme-machine tels que musique de fond, applaudissements, rires, pleurs, toux, éternuements, etc.

• Inférence efficace : Le modèle SenseVoice-Small adopte un cadre de bout en bout non autorégressif, permettant une latence d'inférence extrêmement faible. Le traitement de 10 secondes d'audio ne prend que 70 ms, soit 15 fois plus rapide que Whisper-Large.

• Finetuning pratique : Fournit des scripts et des stratégies de finetuning pratiques, permettant aux utilisateurs de résoudre facilement les problèmes d'échantillons à longue traîne en fonction de scénarios métier.

• Déploiement de services : Fournit des pipelines de déploiement de services prenant en charge plusieurs requêtes concurrentes, avec des langages clients incluant Python, C++, HTML, Java, C#, etc.

Les performances de reconnaissance vocale multilingue et l'efficacité d'inférence ont été testées sur aISHELL-1, AISHELL-2, Wenetspeech, Librispeech et Common Voice, avec de bons résultats pour le chinois et le cantonais avec SenseVoice-Small.

github : https://github.com/FunAudioLLM/SenseVoice