Voost:バーチャル試着・試脱ツール 84

小编 ·

Voost:バーチャル試着・試脱ツール

VoostはSeungyong LeeとJeong-gi Kwakが提案したAIによるバーチャル試着・試脱ツールで、拡散変換器(DiT)によって試着と試脱の両方を一つのモデルで行います。タスク別ネットワークや追加ラベルは不要で、各服と人物の双方向「教師あり学習」により、試着と試脱の両面から衣服と身体の関係(密着感、しわなど)をより正確に捉えます。さらにアテンション温度スケーリングなど二つの実用技術も追加されています(モデルが…)。

Voost:バーチャル試着・試脱ツール

Voost は Seungyong Lee と Jeong-gi Kwak が提案したaiバーチャル試着・試脱ツールで、中核は拡散変換器(DiT)一つで試着と試脱の両方を同時に処理できる点にあります。特徴として、専用のタスクネットワークや追加のラベルを用意する必要がなく、さらに各衣服と人体の組み合わせを双方向に「監視」しながら学習できます。これにより試着と試脱の両方の効果を確認することで、衣服と身体の関係をより正確に理解できます。例えば衣服が肌にどうフィットするか、しわはどう生まれるかといった点です。さらに実用的な技術も2つ追加されています。注意温度スケーリング(さまざまな解像度でモデルをより安定させる)と自己補正サンプリング(試着/試脱を相互検証してエラーを減らす)です。実際のテストでは試着・試脱ともにトップレベルの成果を上げており、衣服の詳細(テクスチャやしわなど)、人体ポーズへの適合度も優れています。また、さまざまな衣服の種類・素材、さらに異なるポーズにも適応できます。

Voost:バーチャル試着・試脱ツール

📚機能と特徴

  • 双方向学習で細部を再現:試着と試脱を同時に学習し、双方向の監視を通じて衣服と身体の相互作用をより深く理解。衣服のしわや生地のテクスチャなどの細部もよりリアルに再現できます。

  • 生成効果がリアルに近い:複数の角度から試着効果を表示でき、体型や姿勢(立っている・座っている・しゃがんでいる)にかかわらず、衣服が実際に着られている姿により近い状態を再現します。

  • 適応性が高く依存が少ない:特定の衣服やシーンに合わせて個別にモデルを調整したり、大量の手作業によるラベル付けを行う必要がなく、普通の写真やカメラで撮影した画像でも利用できます。

📚技術原理

  • 中核となる方法:拡散変換器(DiT)を「脳」として使用し、クロスアテンションによって衣服の特徴と人体のモデルを「融合」させます。衣服の縫い目やひだの一本まで精密に合成可能です。

  • 最適化のテクニック:

  • 注意温度スケーリング:「感度スイッチ」を調節するようなもので、さまざまな解像度や遮蔽がある状況(例えば手が衣服の一部を隠しているような場合)でも安定した出力を行います。

  • 自己補正サンプリング:試着と試脱を互いに「チェック」します。例えば試着時に試脱の逆方向ロジックが正しいかを確認し、生成エラーを減らします。

  • 操作フロー:ユーザーがクリアな正面顔/側面顔の写真をアップロードするか、カメラで直接撮影し、システムが自動で人物を「モデリング」し、衣服を「着装」します。

📚Voost はどこで使える?

  • ネットショッピング:試着不要で、アプリ内で衣服の着用感をその場で確認。サイズ違いやシルエットが合わないといった購入後のミスを防げます。

  • 服飾デザイン:デザイナーがシルエットやコーディネートを変更する際、バーチャルで効果を試せるため、サンプルを何度も作る必要がありません。

  • ソーシャル共有:SNS プラットフォームで Voost を使って衣服を「試着」し、より面白いコーディネート画像をシェアできます。

  • 実店舗:AR 技術と組み合わせたバーチャル試着ミラーを設置すれば、顧客が鏡の前に立つだけでコーディネートを変えられ、テクノロジー感を演出できます。

📚Voost の使い方は?

Hugging Face の公開 DEMO は近日公開予定です。

  1. 試着または試脱モードを選択;

  2. 必要な衣服の種類を選択(試着にはトップス、ボトムス、全身スタイルが含まれます);

  3. モデル画像をアップロード(任意:描画ツールでマスクを作成することも可能);

  4. 衣服の画像をアップロード;

  5. ボタンをクリックしてモデルを実行。

Voost の使い方手順

📚よくある質問

❓:Voost は他の試着ツールと比べて、最も優れている点はどこですか?

A:1つの拡散変換器で試着と試脱を同時に学習できるため、専用のタスクネットワークや追加ラベルが不要で、双方向の監視学習が可能です。さらに注意温度スケーリングと自己補正サンプリングという2つの技術により、より安定してリアルな効果が得られます。

❓:Voost はどのようなテストで効果が検証されていますか?

A:VITON-HD、DressCode などの一般的データセットや、実環境の写真でもテストされており、試着・試脱ともに現時点で最良の効果を達成。StableVITON、IDM-VTON などのツールよりも正確でリアルです。

❓:注意温度スケーリングと自己補正サンプリングは何の役に立ちますか?

A:温度スケーリングは、異なる解像度や遮蔽時(例えば手で衣服が隠れている場合)でもモデルが安定して動作できるようにします。自己補正サンプリングは試着と試脱の相互検証によって生成エラーを減らし、衣服をより自然に着用させます。

📚Github:https://github.com/nxnai/Voost