MagicTryOn：浙江大学とvivoが発表したオープンソースの動画バーチャル試着プロジェクト 69

MagicTryOnとは？

MagicTryOnは、浙江大学とvivoが共同発表したオープンソースの動画バーチャル試着プロジェクトです。動画拡散TransformerのDiTアーキテクチャを採用し、よりリアルで安定した衣服試着を実現しています。このプロジェクトは全セルフアテンション機構により、動画の各フレームの一貫性を保証し、従来の方法で見られたちらつきや揺れを防ぎます。主な機能には、衣服の詳細を正確に保持すること、複数条件による誘導でよりリアルな試着効果を生成すること、マスク認識損失を用いて生成品質を向上させることが含まれます。複数のデータセットにおいて、MagicTryOnは優れた性能を示し、視覚品質と汎化能力の両方で高い成果を上げています。

MagicTryOnの技術原理

• 拡散Transformer（DiT）アーキテクチャ：このアーキテクチャはモジュラー設計により、条件情報の柔軟な注入が可能で、複数レベルの衣服特徴をノイズ除去プロセスに効果的に統合できます。内蔵の全セルフアテンション機構により、動画の時空間一貫性を共同でモデリングし、フレーム内の局所的な詳細とフレーム間の動的変化を捉えます。

• 粗から細への衣服保持戦略：粗戦略は埋め込み段階で衣服トークンを入力トークン系列に注入し、回転位置符号化のグリッドサイズを拡張して、衣服トークンと入力トークンが一貫した位置符号化を共有するようにします。細戦略はノイズ除去段階で、意味誘導型クロスアテンションと特徴誘導型クロスアテンションモジュールを導入し、粒度の細かい衣服の詳細誘導を提供します。

• マスク認識損失（Mask-Aware Loss）：この損失に基づき、モデルは衣服領域の生成により集中し、衣服領域の詳細な忠実度と合成結果全体のリアル感を向上させます。

MagicTryOnの主な機能

• 衣服の詳細保持：衣服のテクスチャ、パターン、輪郭を正確にシミュレーションし、人の動きの中でもリアル感と安定性を保ちます。

• 時空間一貫性モデリング：動画内の各フレーム間の一貫性を確保し、衣服のちらつきや揺れを防ぎます。

• 複数条件誘導：テキスト、画像特徴、衣服トークン、輪郭線トークンなど複数の条件に基づき、よりリアルで細緻な試着効果を生成します。

MagicTryOnの応用シナリオ

• オンラインショッピング：ユーザーがオンラインで異なる衣服を試着できます。

• ファッションデザイン：デザイナーが衣服の効果を迅速にプレビューできます。

• バーチャル試着室：実店舗にバーチャル試着サービスを提供します。

• 広告とマーケティング：ブランドがパーソナライズされた試着広告を作成できます。

• ゲームとエンターテインメント：ゲーム内でバーチャル衣服をリアルタイムで試着できます。

プロジェクトリンク

プロジェクト公式サイト：https://vivocameraresearch.github.io/magictryon/

GitHubリポジトリ：https://github.com/vivoCameraResearch/Magic-TryOn/

arXiv技術論文：https://arxiv.org/pdf/2505.21325