MultiTalk：Meituan（美団）がオープンソース化した音声駆動の複数人会話動画生成ツール 189

MultiTalkは、美団（Meituan）ビジュアルインテリジェンスチームがオープンソース化した、オーディオ駆動型の多人会話動画生成ツールです。複数の音声、参照画像、テキストプロンプトに基づいて、唇の動きが同期し、自然なボディランゲージを伴うデジタルヒューマンの会話動画を生成でき、効果は非常に優れています。ユーザーは音声、参照画像、プロンプトをアップロードするだけで、口の動きがマッチした会話動画を生成でき、歌のシーンやカートゥーンキャラクターの生成も可能です。

このプロジェクトには多くの実用的な特徴があります。オーディオ駆動のリップシンクは非常に正確で、プロンプトでバーチャルキャラクターの動きを制御でき、さまざまな解像度の動画を出力できるほか、最大15秒の会話シーンを生成できます。さらに、テキスト読み上げ機能も統合されており、生成効率を向上させるための複数の最適化が施されています。低メモリモードやマルチGPU推論をサポートしており、RTX 4090 1枚でも動作します。

主な機能

✅オーディオ駆動：複数人の音声を入力することで、自然なリップシンクとボディランゲージを生成

✅単一画像入力：参照画像1枚だけで、複数人が互动する動画を生成可能

✅複雑な動作の追従：複雑なテキストプロンプトに対応し、記述に沿った動作やシーンを生成

✅多言語サポート：多言語の音声を処理し、正確なリップシンクを実現

✅長尺動画生成：自己回帰的手法により、一貫した長尺動画を生成

✅効率的な学習戦略：2段階学習、一部パラメータ学習、マルチタスク学習により、モデル性能を向上

✅L-RoPE技術：ラベル付き回転位置符号化により、複数音声ストリームと人物を正確に紐付け

✅高品質出力：生成される動画は自然で滑らか、視覚的なアーティファクトがほぼない

技術的なハイライト

✅業界初のL-RoPE技術：ラベル付き回転位置符号化により、複数音声ストリームと人物のミスマッチ問題を解決し、音声と人物を正確に対応付け

✅オーディオ駆動型動画生成：複数人の音声、参照画像、テキストプロンプトを入力することで、唇の動きが同期し、ボディランゲージが自然なインタラクション動画を生成

✅局所パラメータ学習 + マルチタスク学習戦略：複雑な動作指示の追従能力を保ちながら、動的人物の適応的な位置決めを実現

✅複数シーン対応：映画制作、ライブコマースなど、さまざまなシーンに適用可能

技術フレームワーク

✅基本モデル構造：DiT動画拡散モデルを中核とし、3D変分オートエンコーダを統合し、動画データを効率的に処理

✅単一音声の統合：各DiTブロックのテキスト交差注意層の後に音声交差注意メカニズムを追加し、Wav2Vecで音声特徴を抽出し、オーディオアダプタにより動画と音声の時間粒度の不一致問題を解決

✅複数音声の処理：L-RoPE技術により、複数音声ストリームと複数人物の正確な紐付けを実現し、「斉唱」現象を回避

学習戦略：

✅2段階学習：まず単一人物の動画生成能力を学習し、次に複数人物のインタラクションと紐付けを学習

✅一部パラメータ学習：音声交差注意層とオーディオアダプタのネットワークパラメータのみを更新し、他の基本モデルパラメータは凍結

✅マルチタスク学習：音声 + 画像から動画、および画像から動画という2つの学習方式を組み合わせ、モデルの指示追従能力を強化

パフォーマンス

✅定量評価：頭部および身体動作生成タスクにおいて、複数の最先端手法と比較し、リップシンク（Sync-C、Sync-D）および動画品質（FID、FVD）で優れた性能を発揮

✅定性評価：複雑なインタラクションシーンの処理に効果的で、複雑なテキストプロンプトに正確に応答する動画を生成可能、視覚的なアーティファクトが少なく、映像は自然でリアル

✅長尺動画生成：自己回帰的手法により、以前に生成された動画末尾部分を条件として新しい動画セグメントを生成し、時間的な一貫性と拡張性を確保

適用シーン

• 映画制作：バーチャルキャラクターのインタラクション、アニメ吹き替え、エフェクト合成、短編制作

• ライブコマース：バーチャル主播のインタラクション、商品紹介解说、多言語ライブ配信

• 教育分野：バーチャル教師のインタラクション、語学学習、歴史再現

• ゲーム開発：バーチャルキャラクターの会話、NPCインタラクション、マルチプレイヤーオンラインゲーム

• 広告・マーケティング：バーチャル代言人、商品プロモーション、SNS広告

• バーチャルSNS：バーチャルソーシャルプラットフォーム上のインタラクション、バーチャル会議

• エンターテインメント・クリエイティブ：ミュージックビデオ、バーチャルライブ、クリエイティブ短編

• 公共サービス：ニュースキャスティング、公共サービス広報

• 企業研修：バーチャル研修シーン、シチュエーションシミュレーション

• 国際交流：多言語会話、異文化交流

プロジェクトアドレス

プロジェクトページ：https://meigen-ai.github.io/multi-talk/

オープンソースコード：https://github.com/MeiGen-AI/MultiTalk

論文：https://arxiv.org/abs/2505.22647