ChatAnyone：Alibabaが発表した音声入力から豊かな表情と上半身の動きを伴うポートレート動画を生成するツール 149

ChatAnyone とは？

ChatAnyone は、アリババグループの Tongyi Laboratory が開発した、リアルタイムのスタイル化ポートレート動画生成フレームワークであり、「話す頭」から上半身のインタラクティブなハイフィデリティアニメーション生成を実現し、多様な表情やスタイル制御をサポートします。リアルタイムビデオチャット、バーチャル主播、ai アシスタントなどのシーンに適しています。

ChatAnyone の技術手法

階層型モーション拡散モデル（Hierarchical Motion Diffusion Model）

• 入力：音声信号。

• 出力：明示的および暗黙的なモーション信号を考慮した顔と体の制御信号。

• 機能：多様な表情を生成し、頭部と身体の動きの同期を実現。

• 細粒度の表情制御：異なる強度の表情変化をサポートし、参照動画からのスタイル化された表情の転移にも対応。

ハイブリッド制御融合生成モデル（Hybrid Control Fusion Generative Model）

• 表情生成：明示的なランドマークと暗黙的なオフセットを組み合わせて、リアルな表情を生成。

• 手の動作制御：明示的な手の制御信号を注入し、より正確でリアルな手の動作を生成。

• 顔最適化モジュール：顔のリアリティを強化し、生成されるポートレート動画が高度な表現力と真実味を持つことを保証。

スケーラブルなリアルタイム生成フレームワーク

• 柔軟性：頭部駆動のアニメーションからジェスチャーを含む上半身生成まで対応。

• リアルタイム性：4090 GPU 上で、最大 512×768 解像度、30fps の速度で上半身ポートレート動画をリアルタイム生成。

ChatAnyone の実験結果

• 音声駆動による上半身アニメーション：高い表現力を持つ上半身デジタルヒューマン動画を生成し、手あり・手なしの両方のシーンに対応。

• 音声駆動による頭部アニメーション：高精度なリップシンクを実現し、自然な頭部の姿勢と豊かな表情を生成。

• 音声駆動によるスタイル化アニメーション：スタイル化されたキャラクターのアニメーション生成をサポートし、表現力豊かな歌唱動画の生成にも適用可能。

• デュアルホスト AI ポッドキャストデモ：AI 駆動の対話に対応したデュアルホストポッドキャストを生成可能。

• リアルタイムインタラクションデモ：4090 GPU 上で 30fps のリアルタイム生成を実現し、実際のインタラクティブビデオチャットアプリケーションをサポート。

ChatAnyone の優位性

• 高い忠実度と自然さ：生成されるポートレート動画は豊かな表情と自然な上半身の動きを持ちます。

• リアルタイム性：リアルタイムインタラクションをサポートし、ビデオチャットなどのアプリケーションシナリオに適しています。

• スタイル化制御：必要に応じて表情スタイルを調整し、パーソナライズされたアニメーション生成を実現できます。

ChatAnyone の応用シナリオ

バーチャル主播とビデオ会議

• ニュース配信やライブコマースに使用されるバーチャル主播。

• ビデオ会議でバーチャルアバターを提供し、インタラクションを強化。

コンテンツ制作とエンターテインメント

• アニメーション制作：スタイル化されたアニメーションキャラクターを生成。

• バーチャルコンサート：バーチャル歌手やパフォーマーのリアルタイムアニメーションを生成。

• AI ポッドキャスト：デュアルホストポッドキャストのバーチャルアバターを生成。

教育とトレーニング

• オンライン教育：バーチャル教師の形象を生成。

• トレーニングシミュレーション：インタラクティブな対話を行うバーチャルキャラクターを生成。

カスタマーサービス

• スマートカスタマーサービス：バーチャルカスタマーサービスの形象を生成。

• 顧客インタラクション：生き生きとした応答とインタラクションを提供。

マーケティングと広告

• バーチャル代言人：ブランド代言人の形象を生成。

• 広告動画：インタラクション性の高い広告コンテンツを生成。

ソーシャルエンターテインメント

• 匿名チャット：プライバシーを保護するバーチャルアバターを生成。

• ソーシャルプラットフォーム：パーソナライズされたバーチャルアバターを生成。

医療・健康

• バーチャル健康コンサルティング：バーチャル医師の形象を生成。

• リハビリテーション訓練：バーチャルリハビリコーチを生成。

その他

• バーチャルツアーガイド：旅行プランや観光地の紹介に使用。

• ニュース配信：バーチャルニュースキャスターを生成。

関連リンク

プロジェクトアドレス：https://github.com/HumanAIGC/chat-anyone

論文アドレス：https://arxiv.org/abs/2506.00920