MuseSteamer:百度が独自開発したAI動画生成モデル 211

小编 ·

MuseSteamer:百度が独自開発したAI動画生成モデル

MuseSteamerは、2025年7月2日に百度が発表した動画生成モデルです。映像、音響効果、セリフを同時に生成でき、中国語の音声と映像の一体生成を実現した初のモデルです。これにより、従来のAIGC動画のように先に映像を生成し後から配音する方式から脱却しました。百度は同時にAI動画制作プラットフォーム「Hui Xiang(绘想)」も公開しました。

MuseSteamer:百度が独自開発したAI動画生成モデル

MuseSteamerは百度が2025年7月2日に発表した動画生成モデルです。映像、音響、セリフを同時に生成することができ、中国語の映像と音声の一体化生成を実現した初のモデルであり、従来のAIGC動画における「映像先行・吹き替え後付け」という手法を変革しました。百度は同時にAI動画創作プラットフォーム「绘想」も公開しました。

MuseSteamer:百度自研のAI動画生成モデル

機能の特徴:

  • 映像と音声の一体化生成:中国語の映像と音声の一体化生成を実現した世界初の動画モデルで、映像と音響、人声のセリフの協調制作を可能にし、従来のAIGC動画における「映像先行・吹き替え後付け」という分断された工程を打ち破りました。

  • マルチモーダル入力:中国語のテキストプロンプトや参照画像などの入力方式に対応しています。

  • 動画生成:最大10秒の動的動画を生成でき、画質も優れています。シーン、動作、カメラワークを柔軟に制御でき、映像と音声の一体化を実現します。例えば、生成された古装武侠動画では、人物の動きや表情が自然で、カメラワークもプロフェッショナルです。

  • 一体化生成:映像、音響、セリフを同期して生成でき、音と映像が自然にマッチングし、動画の完成度と芸術的表現力を向上させます。

  • 中国語のセマンティック理解:中国語の意味を正確に理解し、データ体系の最適化により、テキスト指示と視覚要素の意味的な整合性を確保します。

  • 動画記述言語:精巧に設計された動画の構造化記述言語を採用しており、映像の詳細、主体の動きの軌跡、スタイル属性、カメラワークなどを網羅し、モデルが映像細部に従うことを保証します。

技術的なブレークスルー:

  • 億単位の中国語マルチモーダルデータクリーニング:大量の中国語マルチモーダルデータを深くクリーニングし、トレーニングデータの高品質を保証します。

  • 精巧な動画構造化記述言語:モデルによる動画内容の理解と生成能力を向上させます。

  • 多目的強化学習:パスを最適化し、動画の動きの量を確保しつつ、主体の内容の一貫性を維持した安定した出力を実現します。

製品マトリックスと対象ユーザー:

  • Lite版:720p、生成速度が速く(30秒)、価格が手ごろで、コストパフォーマンスを重視するユーザーに適しています。

  • Turbo版:720p、人物やアニメ動画の生成を得意とし、動作の一貫性が高く、動きの量が大きく、表情も自然で、多くのクリエイターに適しています。绘想プラットフォーム上で公開され、期間限定の無料公開テストを開始しています。

  • Pro版:1080p、映画級の画質とカメラワークで、表現力が強く、プロのクリエイターや映像制作機関に適しています。

  • 音声付き版:すべての解像度で音響とセリフの一体化生成をサポートし、同期音声と映像に高い要求を持つユーザーに適しています。

応用シナリオ:

  • 動画制作:クリエイターのアイデアのボトルネックを突破し、高品質な動画を迅速に生成することを支援します。

  • 広告制作:広告動画制作に効率的なソリューションを提供し、訴求力を向上させます。

  • 教育とトレーニング:教育動画やアニメーションを生成し、複雑な概念を直感的に説明します。

  • 個人向けエンタメ:ユーザーが画像をアップロードするだけで、パーソナライズされた動画を生成し、自分のストーリーを共有できます。