XVerse：ByteDanceが発表したマルチ主体画像合成のオープンソースツール 63

小编 · 2025-07-02

XVerseは、ByteDanceが発表したマルチ主体画像合成ツールで、高精度なマルチ主体画像生成を実現します。複数の主体を独立かつ精密に制御できるため、複雑なシーンの生成能力が大幅に向上します。

XVerse：ByteDanceが発表したマルチ主体画像合成のオープンソースツール

XVerseは字节跳动が発表した多主体画像合成ツールで、高精度な多主体画像生成を実現します。複数の主体をユーザー独立かつ正確に制御することで、複雑なシーンの生成能力を大幅に向上させます。

XVerse：字节跳动推出的多主体图像合成开源工具

コア機能

多主体制御：XVerseは参照画像をテキストフローモジュレーションのオフセットに変換し、各主体のアイデンティティ特徴を正確に制御し、意味的属性（ポーズ、スタイル、照明など）を独立して調整します。これにより、従来のモデルで多主体シーンによく見られたアイデンティティの混同や属性の絡み合いの問題を解決し、高忠実度で編集可能な多主体画像合成を実現します。
テキストフローモジュレーションの強化：参照画像の特徴とテキストプロンプト特徴を組み合わせてオフセットを生成し、特定のテキストトークン埋め込みに注入することで、XVerseは各主体を正確に制御しつつ、生成画像全体の構造を維持し、詳細を細かく調整できます。
VAEエンコード画像特徴：XVerseはVAEエンコードされた画像特徴を補助入力として導入し、DiTsの単一ブロックに注入します。これにより、画像の詳細情報の捕捉と再現に役立ち、画像特徴を直接注入した場合に発生する可能性のあるアーティファクトや品質低下を回避します。
正則化技術：領域保持損失を採用し、モデルが非変調領域で一貫性を保つように強制し、異なる主体の特徴を区別して保持します。テキスト-画像注意損失により、変調モデルと参照T2Iブランチ間のクロスアテンションマップを揃え、変調過程における意味的相互作用の一貫性と編集可能性を保証します。

XVerse技術原理

テキストフローモジュレーションメカニズム：XVerseは参照画像をトークン固有のテキストフローモジュレーションオフセットに変換し、モデルのテキスト埋め込みに追加することで、画像の潜在変数や特徴を妨害することなく、特定の主体を正確に制御します。
VAEエンコード画像特徴モジュール：生成画像の詳細保持能力を強化するため、XVerseはVAEエンコードされた画像特徴モジュールを導入しています。このモジュールは補助モジュールとして機能し、モデルが生成過程により多くの詳細情報を保持し、アーティファクトや歪みを削減するのに役立ちます。
正則化技術：片側の変調注入をランダムに保持することに基づき、モデルが非変調領域で一貫性を保つように強制します。主体固有の特徴を正則化し、多主体データセットのデータ拡張戦略として、モデルが多主体シーンで主体特徴を区別して保持する能力を向上させます。変調モデルと参照T2Iブランチ間のテキスト-画像クロスアテンションマップのL2損失を計算することで、変調モデルがT2Iブランチと一貫したアテンションパターンを保持し、意味的相互作用の一貫性と編集可能性を維持することを保証します。

XVerse技术原理

応用シーン

デジタルコンテンツ制作：XVerseは複数の主体の正確な制御を簡単に実現でき、漫画の描画、ストーリーイラストの制作、複雑な仮想シーンの構築などに使用でき、作品をより生き生きと豊かで想像力豊かにします。
広告業界：XVerseは各主体の属性を正確に制御でき、広告画像の高忠実度と一貫性を保証し、広告をより人目を引き、伝達効果を向上させます。
芸術分野：アーティストにまったく新しい創作ツールを提供し、従来の創作の制限を突破し、独自で表現力豊かな芸術作品を生み出します。

XVerse使用方法

ユーザーはPython 3.10.16を含むconda環境を作成し、依存関係をインストールし、関連するチェックポイントと顔認識モデルをダウンロードする必要があります。ユーザーインターフェースは使いやすく、「検出とセグメンテーション」機能を含む豊富な入力設定オプションを提供し、アップロードされた画像を分析して自動的に顔を切り取り説明を生成します。また、インタラクティブなGradioデモも提供されており、画像をアップロードし、説明を入力してリアルタイムで画像を生成し、パラメータを調整することで効果を最適化できます。