SenseVoice: mehrsprachiges Audiomodell von Alibaba 111

SenseVoice, ein vom FunAudioLLM-Framework des Alibaba Tongyi Lab veröffentlichtes mehrsprachiges Audio-Grundlagenmodell. SenseVoice konzentriert sich auf hochpräzise mehrsprachige Spracherkennung, Sprachemotionserkennung und Audioereigniserkennung, verfügt über Fähigkeiten zur Steuerung von Mehrsprachigkeit, Sprachmischung, Stimmfarbe und Emotionen und zeigt hervorragende Leistungen bei Zero-Shot-Sprachsynthese, Sprachklonung über verschiedene Sprachen hinweg sowie beim Instruction Following.

FunAudioLLM kombiniert fortschrittliche Sprachverstehens- und Sprachsynthesetechnologien, um komplexe Sprachaufgaben zu bewältigen und eine natürliche Interaktion in mehrsprachigen Umgebungen zu ermöglichen.

SenseVoice kann für Sprachübersetzung, emotionale Sprachchats, interaktive Podcasts und ausdrucksstarkes Vorlesen von Hörbüchern eingesetzt werden.

SenseVoice verfügt über Audio-Verstehensfähigkeiten, darunter Spracherkennung (ASR), Sprachidentifikation (LID), Sprachemotionserkennung (SER) sowie akustische Ereignisklassifikation (AEC) oder akustische Ereigniserkennung (AED).

SenseVoice-Leistung:

• Mehrsprachige Spracherkennung: Trainiert mit über 400.000 Stunden Daten, unterstützt mehr als 50 Sprachen und übertrifft die Erkennungsleistung des Whisper-Modells.

• Vielfältige Transkription:

  Verfügt über hervorragende Emotionserkennungsfähigkeiten und übertrifft in Testdaten die Leistung der derzeit besten Emotionserkennungsmodelle.

  Bietet Audioereigniserkennungsfähigkeiten und unterstützt die Erkennung verschiedener häufiger Mensch-Computer-Interaktionsereignisse wie Hintergrundmusik, Applaus, Lachen, Weinen, Husten, Niesen usw.

• Hocheffiziente Inferenz: Das SenseVoice-Small-Modell verwendet eine nicht-autoregressive End-to-End-Architektur und erreicht dadurch extrem niedrige Inferenzlatenz. Die Verarbeitung von 10 Sekunden Audio dauert nur 70 ms und ist 15-mal schneller als Whisper-Large.

• Bequemes Finetuning: Bietet praktische Finetuning-Skripte und -Strategien, mit denen Benutzer Long-Tail-Probleme je nach Anwendungsszenario problemlos lösen können.

• Service-Bereitstellung: Bietet Service-Bereitstellungspipelines, unterstützt mehrere gleichzeitige Anfragen, und die Client-Sprachen umfassen Python, C++, HTML, Java, C# usw.

Die mehrsprachige Spracherkennungsleistung und Inferenz-Effizienz wurde auf aiSHELL-1, AISHELL-2, Wenetspeech, Librispeech und Common Voice getestet. Für Chinesisch und Kantonesisch erzielt SenseVoice-Small gute Ergebnisse.

github：https://github.com/FunAudioLLM/SenseVoice