PengChengStarling:鵬城実験室がオープンソース化した多言語音声認識システム

PengChengStarling:鵬城実験室がオープンソース化した多言語音声認識システム 109

鵬城実験室がオープンソース化した多言語音声認識システムの開発ツールキット。統一されたフレームワークで多言語の音声入力を処理し、リアルタイム音声認識(話しながらの認識)に対応します。

#Ai工具箱 #Ai语音工具 #音声認識

PengChengStarling:鵬城実験室がオープンソース化した多言語音声認識システム紹介

PengChengStarlingは鵬城実験室がオープンソース化した多言語音声認識システムで、リアルタイム音声認識をサポートし、話しながら認識します。国際会議の録音テキスト化、多言語動画の自動字幕生成、言語を越えたカスタマーサービスシステムなどの場面で活用できます。

PengChengStarlingは icefall プロジェクトをベースに開発されており、モデルサイズは Whisper-Large v3 のわずか 20% ですが、推論速度は 7 倍速くなっています。中国語、英語、ロシア語、ベトナム語、日本語、タイ語、インドネシア語、アラビア語の 8 言語をサポートしており、統一されたフレームワーク内で複数言語の音声入力を処理できるため、音声認識の効率が大幅に向上します。

PengChengStarlingの機能:

  • モデルサイズと性能:PengChengStarling のモデルサイズは Whisper-Large v3 のわずか 20% であり、ストレージと計算資源の面でより効率的です。

  • 推論速度:PengChengStarling システムの推論速度は Whisper-Large v3 より 7 倍速く、より短時間で音声入力を処理でき、リアルタイムアプリケーションの場面に適しています。

  • 多言語サポート:PengChengStarling は中国語、英語、ロシア語、ベトナム語、日本語、タイ語、インドネシア語、アラビア語の最大 8 言語をサポートしており、さまざまなユーザーのニーズに対応できます。

  • モデルアーキテクチャ:RNN-T アーキテクチャを採用しており、Encoder、Decoder、Joiner の 3 つのモジュールで構成され、音声エンコーダには Zipformer を採用しています。

  • 性能向上:Whisper-Large v3 と比較して、PengChengStarling は 6 言語で同等以上の性能を達成しており、リアルタイム係数(RTF)は 0.016 に達し、推論速度が約 7 倍向上しています。

PengChengStarling.webp

PengChengStarlingの応用場面:

  • スマートアシスタント:スマートアシスタントに統合することで、音声コマンドの認識と応答を実現できます。

  • カスタマーサービス:カスタマーサービスセンターで音声認識技術を活用し、顧客対応の応答速度と正確性を向上させます。

  • 教育分野:言語学習や教育アプリケーションの中で、学生の発音練習や言語コミュニケーションを支援します。

  • 会議記録:会議中に発言内容をリアルタイムで文字起こしし、会議の効率を向上させます。

  • 多言語翻訳:翻訳システムと組み合わせることで、リアルタイムの多言語コミュニケーションを実現します。

PengChengStarlingは性能評価で優れた結果を示しており、特に Whisper-Large v3 との比較において、6 言語のストリーミング音声認識性能で同等以上の効果を達成しています。また、各言語の学習データ量は約 2000 時間で、主にオープンデータセットから取得されており、これがマルチ言語サポートの強固な基盤となっています。

実際のアプリケーションでは、PengChengStarling は音声認識の適応技術にも活用でき、ユーザーの音声特性に基づいて個別に調整し、認識精度を向上させることができます。特に騒音の大きい環境では有効です。

Github:https://github.com/yangb05/PengChengStarling

HuggingFace:https://huggingface.co/stdo/PengChengStarling

PengChengStarling:鵬城実験室がオープンソース化した多言語音声認識システム に関連するツール