AnyDoor_云技派,专注ai人工智能! 177

AnyDoorは、香港大学、アリババ、蚂蚁集団によって共同開発されました。AnyDoorは、ある写真上の任意の物体を別の写真の世界に転送することができます。

AnyDoorプロジェクトアドレス：https://damo-vilab.github.io/AnyDoor-Page/

AnyDoorオンラインデモアドレス：https://huggingface.co/spaces/xichenhku/AnyDoor-online

AnyDoorの機能：

• オブジェクト移動：AnyDoorはオブジェクト移動などのクリエイティブなタスクに適用できます。

• オブジェクト交換：AnyDoorはオブジェクト交換にも拡張できます。

• バーチャル試着：AnyDoorはバーチャル試着のシンプルかつ強力なベースラインとしても機能します。複雑な人手による解析を必要とせず、衣服の色、模様、テクスチャを保持することができます。

• 複数主体合成：AnyDoorは高い制御性を備えており、オブジェクトを特定のシーンの特定の位置に配置できるため、複数主題の構成にも簡単に拡張できます。

AnyDoorの使用シーン：

• バーチャル試着アプリケーションにおいて、ユーザーは選択した衣服を素早く自分の写真にカスタマイズすることができます。

• オブジェクト移動アプリケーションにおいて、ユーザーは対象物体をある写真から別の写真の指定した位置に移動することができます。

• デザイン分野において、ユーザーは自分がデザインした家具や装飾品をさまざまな室内シーンにカスタマイズし、より直感的な効果のプレビューを得ることができます。

AnyDoorは拡散モデルに基づく画像生成器で、ユーザー指定の位置の新らしいシーンにターゲット物体を調和的に転送することができます。我々のモデルは各オブジェクトごとにパラメータを調整するのではなく、一度だけ学習を行い、推論段階でさまざまなオブジェクトとシーンの組み合わせに苦労なく汎化します。このような挑戦的なゼロショット設定のためには、特定の物体に対する十分な表現が必要です。

このため、我々はアイデンティティ特徴を補完するためにディテール特徴を用いています。これらの特徴には、テクスチャの細部を保ちつつ、さまざまな局所的変化（照明、方向、ポーズなど）を許容し、異なる環境とのオブジェクトの有利な融合を可能にするために、細心の注意を払って設計されています。さらに、単一オブジェクトのさまざまな形態（すなわち、時間軸に沿った）を観察できる動画データセットから知識を借りることを提案し、これによりモデルの汎化性とロバスト性を強化します。

多くの実験により、我々の手法が既存の代替手法よりも優れていること、またバーチャル試着やオブジェクト移動などの実用的な応用における大きな可能性が実証されました。