バイトダンスがオープンソース化したInfiniteYou:人物一貫性を保ちつつ多様な画像を生成するFLUXベースのフレームワーク 135

小编 ·

バイトダンスがオープンソース化したInfiniteYou:人物一貫性を保ちつつ多様な画像を生成するFLUXベースのフレームワーク

InfiniteYouはバイトダンスが発表した強力な画像生成フレームワークで、FLUXに基づき、人物の一貫性を保ちながら多様な画像を生成します。FLUXなどの拡散変換器(DiTs)技術を活用することで、既存手法に見られる類似性の不足、テキストと画像のアライメント不良、生成品質の低さといった問題を解決します。

バイトダンスがオープンソース化したInfiniteYou:人物一貫性を保ちつつ多様な画像を生成するFLUXベースのフレームワーク

InfiniteYouとは?

InfiniteYouは、バイトダンスが発表した強力な画像生成フレームワークで、FLUXをベースにしており、さまざまな画像を生成しながら人物の一貫性を維持することができます。FLUXのような拡散変換器(DiTs)技術を用いることで、既存の手法に存在していたidentity類似性の不足、テキストと画像のアライメントの悪さ、生成品質の低さといった問題を解決します。

字节开源InfiniteYou:一种基于FLUX,能够生成各种图像的同时并保持人物一致性.jpg

InfiniteYouのコア機能

  • Identity保持:InfuseNetコンポーネントを通じて、identity特徴を拡散モデルに注入し、生成された画像内の人物のidentityが入力参照画像と高度に一致することを保証します。

  • 高品質な画像生成:事前学習、および合成されたシングルパーソン・マルチサンプル(SPMS)データによる教師あり微調整(SFT)を含む多段階学習戦略を採用し、画像品質と美的効果を大幅に向上させます。

  • 柔軟なテキスト駆動:ユーザーは自然言語による記述で生成画像の内容をカスタマイズでき、多様なシーン、スタイル、詳細の記述をサポートします。

  • プラグアンドプレイ設計:InfiniteYouはFLUXのさまざまなバリアント、ControlNets、LoRAsなど、既存のAIツールやフレームワークと互換性があり、開発者による拡張やカスタマイズが容易です。

InfiniteYouのコア技術

  • InfuseNet:これは革新的なコンポーネントで、残留接続を通じて個人のidentity特徴を画像生成モデルに注入し、生成された画像が記述に合致するだけでなく、独特な顔の特徴も保持することを保証します。

  • 多段階学習戦略:モデルはまず大量のリアルデータで事前学習され、その後、合成されたシングルパーソン・マルチサンプルデータを利用して教師あり微調整を行い、生成効果の最適化とテキストと画像のアライメント向上を実現します。

字节开源InfiniteYou:一种基于FLUX,能够生成各种图像的同时并保持人物一致性.webp

InfiniteYouの利用シーン

  • バーチャルキャラクター制作:バーチャルソーシャル、ゲーム、バーチャル会議などのシーン向けに、パーソナライズされたバーチャルキャラクターを迅速に生成するのに役立ちます。

  • パーソナライズされたアバターとソーシャルメディア:ユーザーはInfiniteYouを利用してさまざまなスタイルのパーソナライズされたアバターを生成し、ソーシャルメディアのパーソナライズ体験を向上させることができます。

  • 広告とマーケティング:広告主はInfiniteYouを利用してターゲットオーディエンスに似た広告画像を生成し、広告の魅力とコンバージョン率を向上させることができます。

  • ゲーム開発:開発者が多様なキャラクターモデルを迅速に生成し、ゲームの没入感と面白さを向上させるのに役立ちます。

  • アート制作:アーティストはInfiniteYouを利用してさまざまな芸術スタイルや創作のインスピレーションを探求し、ユニークな作品を創造することができます。

InfiniteYouの使用方法

1. 環境準備

  • ハードウェア要件:NVIDIA RTX 30シリーズ以降のような高性能GPUの使用を推奨します。

  • ソフトウェア環境:Python(3.8以降を推奨)とPyTorchフレームワークのインストールが必要です。

2. インストール手順

コードリポジトリのクローン:

git clone https://github.com/bytedance/InfiniteYou.git
cd InfiniteYou

依存関係のインストール:

pip install -r requirements.txt

3. 画像生成

生成スクリプトの実行:

python generate.py --prompt "描述文本" --image_path "输入图片路径" --output_path "输出图片路径"

ここで:

  • prompt:入力するテキスト記述で、生成画像の内容を定義するために使用されます。

  • image_path:入力する参照画像のパスで、identity特徴を抽出するために使用されます。

  • output_path:生成画像の保存パスです。

例:自分の写真を持っていて、海辺でバカンスを楽しむ画像を生成したいとします:

python generate.py --prompt "一个人在海边度假,穿着休闲装,阳光明媚" --image_path "./input.jpg" --output_path "./output.jpg"

実行後、InfiniteYouはあなたの記述と入力写真に基づいて要件に合った画像を生成します。

結果によると、InfiniteYouはidentity忠実度、テキストマッチング度、画像品質などの面で、PuLID-FLUX、FLUX.1-dev IP-Adapterなど既存の主要な技術を上回っています。

関連リンク

プロジェクトページ:https://bytedance.github.io/InfiniteYou/

論文:https://arxiv.org/abs/2503.16418

コード:https://github.com/bytedance/InfiniteYou

モデル:https://huggingface.co/ByteDance/InfiniteYou

デモ:https://huggingface.co/spaces/ByteDance/InfiniteYou-FLUX