StableAvatar：音声から歌や喋りの動画を直接生成するツール 134

復旦大学Microsoft Research Asia西安交通大学などの研究者によって開発された音声から歌や喋りの動画を直接生成するツール。動画時間に制限がなく高品質な映像を出力可能。

#Ai工具箱 #Ai开源项目

StableAvatar：音声から歌や喋りの動画を直接生成するツール紹介

StableAvatar とは？

StableAvatar は、復旦大学、Microsoft Research Asia、西安交通大学などの機関の研究者によって開発された、音声から直接歌うまたは話す映像を生成できるツールです。映像の長さに制限がなく、画質も非常に高いという特徴があります。

StableAvatar 核心技术

StableAvatar のコア技術

時間ステップ対応オーディオアダプター：この技術は主に、変換プロセス中に音声情報がエラーを起こすのを防ぎます。最初の音声情報と画像の初期情報に「クロスアテンション」処理（簡単に言えば、両者の関連付けを強化する処理）を行い、その後「時間ステップ埋め込み」で調整（異なる時点の情報を微調整するような処理）することで、より正確な音声情報を取得します。これにより、後段で映像を生成する際に映像と音声がずれたり、映像が歪んだりするのを防ぎます。
オーディオネイティブ誘導メカニズム：映像生成の最終段階（すなわち推論段階）において、モデル自身が予測した音声と映像情報を利用し、これらの動的に変化する情報を「誘導信号」として使用することで、生成される映像と音声の同期性を高め、口の動きと音がずれる現象を防ぎます。
動的重み付けスライディングウィンドウノイズ除去戦略：長尺映像を生成する際、映像が固まったり不連続になったりしやすいという問題があります。この技術は、時間軸上で映像の潜在変数情報（映像の隠れた特徴と理解してください）を統合することで、長尺映像の各フレーム間の遷移をよりスムーズにし、突然の跳びや変形を防ぎます。

StableAvatar の動作原理

音声処理：まず入力された音声を Wav2Vec モデルに通して音声特徴量（オーディオ埋め込み）を抽出し、その後前述の「オーディオアダプター」でこれらの特徴量を最適化して、音声情報をより正確にします。
参照画像処理（例：人物の初期写真）：参照画像は 2 つの経路で映像生成モデルに入力されます。

第一の経路：参照画像とゼロ埋めフレーム（空白フレームに相当するもの）を時間軸に沿って連結し、その後固定の 3D VAE エンコーダーで潜在変数エンコーディング（映像の隠れた情報に類似したもの）に変換します。この潜在変数エンコーディングは、圧縮された映像フレームおよびバイナリマスク（重点的に処理すべき部分をマークするためのもの）とチャネル軸上で連結され、後続の映像生成の基礎を提供します。
第二の経路：CLIP エンコーダー（画像から重要な特徴を抽出できるモデル）を通じて参照画像を image embeddings（画像特徴量）に変換し、これらの特徴をノイズ除去モジュール（DiT）の各「画像-音声クロスア attention モジュール」に入力することで、生成される映像内の人物の外見が参照画像と一致するようにします。

映像生成：推論段階では、本来入力されるべき実際の映像フレームがランダムノイズに置き換えられます（この種モデルの通常の処理です）。他の入力（最適化後の音声や処理済みの参照画像情報など）はそのまま維持され、最終的にモデル計算によって連続した映像フレームが生成され、完全な映像が形成されます。

StableAvatar の優位性

超長尺映像の生成が可能：従来のツールの多くは 15 秒未満のショート映像しか生成できませんでしたが、StableAvatar は任意の長さの映像を生成でき、しかも画質を高く維持できます（高保真）。
人物イメージの一貫性保持：非常に長い映像を生成しても、映像内の人物の顔や体の動きは一貫しており、顔の変形、体の比率の異常、前後での外見の不一致などの問題は発生しません。
追加処理が不要：生成された映像はそのまま使用可能で、他のツールで顔を修正する（一般的な顔交換ツール FaceFusion や修復モデル GFP-GAN、CodeFormer など）必要がなく、多くの手間が省けます。

StableAvatar の応用シナリオ

1. 映画および映像制作

高難度のアクションシーン：俳優が危険なアクション（例：高所からの飛び降り、爆発）を実際に演じる必要がなくなり、これを用いて映像を生成することでコストとリスクを軽減できます。
キャラクターアニメーション：映画や映像内の人物にリアルな動きや表情を加え、キャラクターをより生き生きとさせます。
古い映像の修復：古い映画フィルム内の人物をより鮮明に修復し、クラシックなキャラクターを再び生き生きとさせることができます。

2. ゲーム開発

キャラクターアニメーション：ゲーム内のキャラクターの動きや表情がよりリアルになり、プレイヤーの没入感が高まります。
カットシーン：ゲームストーリー遷移の映像がより精彩になり、プレイヤーのプレイ継続意欲を高めます。
バーチャルキャラクターとの交流：ゲーム内の NPC（非プレイヤーキャラクター）の動きや表情がより自然になり、ゲームワールドがよりリアルになります。

3. バーチャルリアリティ（VR）および拡張現実（AR）

バーチャルキャラクターの作成：VR/AR アプリケーション内でリアルな人物を生成し、ユーザーが実際の人間と交流しているような感覚を得られます。
VR ソーシャル：ユーザーは生成されたバーチャルキャラクターとチャットや交流が可能で、社会的な楽しさを増やします。
VR 観光：ユーザーが VR デバイスを 통해世界中の風景を「実際に」体験でき、まるで本当に旅行に行ったような感覚を得られます。

4. ソーシャルメディアおよびライブ配信

バーチャル主播：生成されたバーチャル主播のイメージは一貫して保たれ、ライブ配信時のアニメーション効果よりリアルになります。
クリエイティブコンテンツ：ショートビデオクリエイターやデジタルアーティストがこれを利用して様々な面白い動的イメージをデザインし、よりクリエイティブ豊かなコンテンツを作成できます。