脚本プランナー▸ 
AIアプリ 
AIニュース 
SenseVoice：Alibabaの多言語音声モデル
SenseVoice：Alibabaの多言語音声モデル紹介
SenseVoiceは、アリババのTongyi（通義）ラボが発表したFunAudioLLMフレームワークの多言語音声基盤モデルです。SenseVoiceは高精度な多言語音声認識、音声感情認識、音声イベント検出に特化しており、多言語、混合言語、声色、感情制御能力を備え、ゼロショット音声生成、クロスランゲージ音声クローン、および指示追従の能力において優れた性能を発揮します。
FunAudioLLMは、高度な音声理解技術と生成技術を組み合わせることで、複雑な音声タスクを処理し、さまざまな言語環境での自然な対話を実現します。
SenseVoiceは、音声翻訳、感情的な音声チャット、インタラクティブポッドキャスト、表現力豊かなオーディオブックの読み上げなどに応用できます。
SenseVoiceは、音声認識（ASR）、言語識別（LID）、音声感情認識（SER）、音響イベント分類（AEC）または音響イベント検出（AED）などの音声理解能力を備えています。
SenseVoiceの性能：
多言語音声認識：40万時間以上のデータで学習され、50以上の言語をサポートし、認識性能はWhisperモデルを上回ります。
豊富な書き起こし機能：
優れた感情認識能力を備え、テストデータにおいて現在最高の感情認識モデルと同等以上の効果を発揮します。
音声イベント検出機能を提供し、BGM、拍手、笑い声、泣き声、くしゃみなど、さまざまな一般的なヒューマンマシンインタラクションイベントの検出をサポートします。
高効率な推論：SenseVoice-Smallモデルは非自己回帰型のエンドツーエンドフレームワークを採用しており、非常に低い推論遅延を実現します。10秒の音声処理にわずか70msしかかからず、Whisper-Largeより15倍高速です。
便利なファインチューニング：便利なファインチューニング用スクリプトと戦略を提供し、ユーザーが業務シナリオに応じてロングテールサンプル問題に容易に対処できるようにします。
サービス展開：サービス展開パイプラインを提供し、複数の同時リクエストをサポートします。クライアント言語にはPython、C++、HTML、Java、C#などが含まれます。
aishell-1、AISHELL-2、WenetSpeech、LibriSpeech、Common Voiceにおいて多言語音声認識性能と推論効率をテストした結果、中国語と広東語ではSenseVoice-Smallの効果が優れています。
github：https://github.com/FunAudioLLM/SenseVoice
