脚本プランナー▸ 
AIアプリ 
AIニュース 
Hibiki：Kyutai Labsが開発した高忠実度のリアルタイム音声翻訳モデル
Hibiki：Kyutai Labsが開発した高忠実度のリアルタイム音声翻訳モデル紹介
HibikiはKyutai Labsが開発した、フランス語と英語に対応した高忠実度のリアルタイム音声翻訳モデルで、音声の特徴を保持しながらリアルタイム翻訳を行い、聞きながら翻訳し、同時通訳のようにリアルタイムに出力します。同時に音声とテキストの翻訳を生成します。
Hibikiの主な特徴：
マルチストリーム言語モデルアーキテクチャ：HibikiはMoshiに類似したマルチストリームアーキテクチャを採用しており、ソース言語とターゲット言語の音声を同時に処理し、音声から音声（S2ST）および音声からテキスト（S2TT）へのシームレスな変換を実現します。
音声特征の保持：Hibikiモデルの大きな特長は、生成される音声が自然でスムーズであり、人間の通常の話し方に近いことです。
話速の自動調整：Hibikiはソース言語のセマンティック内容に基づいて翻訳後の音声の話速を智能的に調整し、翻訳の流暢性と正確性を確保します。
リアルタイム翻訳：短時間で音声から音声、または音声からテキストへの翻訳変換を完了できます。例えば、海外旅行中の交流において、一方の人が話し終わると、ほぼすぐに翻訳された結果を得て再生することができ、とても便利です。
デバイス上で動作する小型モデル：Hibiki-MはHibikiの軽量版であり、17億パラメータを持ち、iPhoneなどのモバイルデバイス上でリアルタイムに動作できます。クラウド処理に依存せず、モデルの最適化と圧縮技術の先進性を示しています。
適応型翻訳：Hibikiは異なるアクセントの音声入力を比較的正確に識別できます。例えば、標準的なイギリス英語、アメリカ英語、あるいは地方色のあるインド英語などにも対応します。
多言語サポート：フランス語と英語に加えて、Hibikiのマルチストリーム音声-テキスト言語モデルは他の言語の翻訳にも拡張でき、応用の柔軟性と適応性を高めています。
Hibiki技術：
Hibikiは、正確な同期アルゴリズムにより、ある言語の音声を迅速に別の言語の音声またはテキストに翻訳するデコードモデルです。この技術の中核は、そのマルチストリーム言語モデルにあり、音声認識と翻訳の過程で、リアルタイムに音声とテキスト出力を生成できます。さらに、Hibikiは音声特征の転移もサポートしており、翻訳過程において話者のイントネーションや感情を保持し、翻訳効果をより自然でリアルにします。
ただし、音声データの伝送とクラウドコンピューティング処理が必要なため、ネットワーク要件が高くなります。ネットワーク信号が弱い場合、認識エラーや翻訳遅延が発生することがあります。
Hibikiの応用シーン：
ビジネス会議：多国籍ビジネスパーソンにとって、会議やビジネス会食などの場面で、Hibikiは参加者に即時翻訳を提供し、言語の壁を解消します。
オンライン教育：教育プラットフォームにおいて、Hibikiはリアルタイムの音声翻訳を提供し、異なる言語背景を持つ学生がより良い学習と交流を行えるようにします。
旅行翻訳：海外への旅行時に、観光客が道案内や注文などの簡単なコミュニケーションを地元の人と行うのに便利です。観光客はスマートフォンに直接要望を話し、翻訳された音声またはテキストの返答を得ることができます。
医者と患者のコミュニケーション：病院などの場で、Hibikiは医師と患者の間のコミュニケーションを支援します。
GitHub: https://github.com/kyutai-labs/hibiki
HuggingFace: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5
arXiv論文: https://arxiv.org/pdf/2502.03382
