PengChengStarling:鵬城実験室がオープンソース化した多言語音声認識システム
PengChengStarling:鵬城実験室がオープンソース化した多言語音声認識システム紹介
PengChengStarlingは鵬城実験室がオープンソース化した多言語音声認識システムで、リアルタイム音声認識をサポートし、話しながら認識します。国際会議の録音テキスト化、多言語動画の自動字幕生成、言語を越えたカスタマーサービスシステムなどの場面で活用できます。
PengChengStarlingは icefall プロジェクトをベースに開発されており、モデルサイズは Whisper-Large v3 のわずか 20% ですが、推論速度は 7 倍速くなっています。中国語、英語、ロシア語、ベトナム語、日本語、タイ語、インドネシア語、アラビア語の 8 言語をサポートしており、統一されたフレームワーク内で複数言語の音声入力を処理できるため、音声認識の効率が大幅に向上します。
PengChengStarlingの機能:
モデルサイズと性能:PengChengStarling のモデルサイズは Whisper-Large v3 のわずか 20% であり、ストレージと計算資源の面でより効率的です。
推論速度:PengChengStarling システムの推論速度は Whisper-Large v3 より 7 倍速く、より短時間で音声入力を処理でき、リアルタイムアプリケーションの場面に適しています。
多言語サポート:PengChengStarling は中国語、英語、ロシア語、ベトナム語、日本語、タイ語、インドネシア語、アラビア語の最大 8 言語をサポートしており、さまざまなユーザーのニーズに対応できます。
モデルアーキテクチャ:RNN-T アーキテクチャを採用しており、Encoder、Decoder、Joiner の 3 つのモジュールで構成され、音声エンコーダには Zipformer を採用しています。
性能向上:Whisper-Large v3 と比較して、PengChengStarling は 6 言語で同等以上の性能を達成しており、リアルタイム係数(RTF)は 0.016 に達し、推論速度が約 7 倍向上しています。

PengChengStarlingの応用場面:
スマートアシスタント:スマートアシスタントに統合することで、音声コマンドの認識と応答を実現できます。
カスタマーサービス:カスタマーサービスセンターで音声認識技術を活用し、顧客対応の応答速度と正確性を向上させます。
教育分野:言語学習や教育アプリケーションの中で、学生の発音練習や言語コミュニケーションを支援します。
会議記録:会議中に発言内容をリアルタイムで文字起こしし、会議の効率を向上させます。
多言語翻訳:翻訳システムと組み合わせることで、リアルタイムの多言語コミュニケーションを実現します。
PengChengStarlingは性能評価で優れた結果を示しており、特に Whisper-Large v3 との比較において、6 言語のストリーミング音声認識性能で同等以上の効果を達成しています。また、各言語の学習データ量は約 2000 時間で、主にオープンデータセットから取得されており、これがマルチ言語サポートの強固な基盤となっています。
実際のアプリケーションでは、PengChengStarling は音声認識の適応技術にも活用でき、ユーザーの音声特性に基づいて個別に調整し、認識精度を向上させることができます。特に騒音の大きい環境では有効です。
Github:https://github.com/yangb05/PengChengStarling
HuggingFace:https://huggingface.co/stdo/PengChengStarling
脚本プランナー▸
AIアプリ
AIニュース