Piece it Together（PiT）：欠けた部分も自動生成！パーツから完成コンセプトを作り出す 198

Piece it Together（PiT）とは何ですか？

Piece it Together（PiT）は、テルアビブ大学とBria aiの研究者によって開発されたビジュアルコンセプト生成フレームワークです。ユーザーが提供した一部のビジュアルコンポーネントをシームレスに統合し、欠落した部分を同時に生成することで、完全かつ合理的なコンセプトを作り出します。つまり、翼、髪の毛束、目など、いくつかの画像をランダムに入力するだけで、完全な画像を自動的に生成してくれます。この方法は、キャラクターデザイン、プロダクトデザイン、玩具デザインなど、クリエイティブデザイン分野に特に適しています。

PiTの主な特徴

• 部分から全体への生成：ユーザーが提供した一部のビジュアルコンポーネント（物体の特定の部分やスケッチなど）を完全なコンセプトに統合します。

• 欠落部分の補完：欠落した部分を自動的に推測・生成し、最終的に生成されたコンセプトが対象領域内で合理的かつ完全になるようにします。

• セマンティック操作：生成されたコンセプトに対して、キャラクターのスタイルや感情などを調整するなど、セマンティックな編集や操作を行います。

• テキスト条件の復元：IP-LoRA技術により、生成されたコンセプトのテキスト条件による制御能力を復元し、生成された画像がさまざまなシーンやスタイルによりよく適応できるようにします。

• IP+空間に基づく表現：IP-Adapter+の内部表現空間を使用しており、CLIP空間と比較して視覚的な細部をよりよく保持しつつ、セマンティック操作をサポートします。

• 軽量フローマッチングモデル：軽量なフローマッチングモデル（IP-Prior）を学習することにより、特定の領域の事前知識に基づいて一貫した組み合わせを生成します。

• 柔軟な入力形式：画像断片やスケッチなど、複数の入力形式をサポートし、ユーザーにより大きな柔軟性を提供します。

• 多様な出力結果：同じ入力に対して、モデルは複数の合理的な出力を生成することができ、デザイナーが異なるクリエイティブ方向を探求するのに役立ちます。

PiTの応用シナリオ

• キャラクターデザイン：デザイナーがキャラクターの特定の特征（翼や目など）を入力すると、モデルが完全なキャラクターデザインを生成し、感情やスタイルの調整など、さらなるセマンティック編集をサポートします。

• プロダクトデザイン：製品の特定のデザイン要素（形状や素材など）を入力すると、モデルが完全な製品デザインを生成し、スタイル調整をサポートします。

• おもちゃのコンセプト化：おもちゃの特定の特征（動物の頭や服装など）を入力すると、モデルが完全なおもちゃデザインを生成します。

• クリエイティブペインティング：スケッチや一部の絵画要素を入力すると、モデルが完全な絵画作品を生成し、スタイル調整をサポートします。

PiTの使用方法

1. 入力の準備：ユーザーは画像断片やスケッチなど、いくつかのビジュアルコンポーネントを準備する必要があります。これらのコンポーネントはコンセプトの一部であっても構いません。

2. モデルへの入力：これらのコンポーネントをPiTモデルに入力します。

3. コンセプトの生成：モデルがこれらのコンポーネントを自動的に統合し、欠落した部分を補完しながら完全なコンセプトを生成します。

4. セマンティック編集（オプション）：ユーザーは生成されたコンセプトに対して、スタイルや感情の調整など、セマンティック編集を行うことができます。

5. テキスト条件制御（オプション）：IP-LoRA技術により、ユーザーは生成されたコンセプトにテキスト条件を追加し、さまざまなシーンやスタイルに適応させることができます。

プロジェクトページ：https://eladrich.github.io/PiT/

論文：https://arxiv.org/html/2503.10365v1