脚本プランナー▸ 
AIアプリ 
AIニュース 3DV-TON：拡散モデルに基づくビデオ試着生成フレームワーク
小编 ·
3DV-TON：拡散モデルに基づくビデオ試着生成フレームワーク
3DV-TONとは？
3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）は、拡散モデルに基づく新しいビデオ試着技術であり、複雑な衣服の模様や多様な人体の姿勢に対応する際に、既存の手法では高品質で時間的に一貫した結果を生成することが難しいという問題を解決します。
3DV-TONの中核技術
3Dテクスチャガイダンス：3DV-TONは、アニメーション可能なテクスチャ3Dメッシュをフレームレベルのガイダンスとして利用し、衣服のテクスチャを人体の幾何学的ディテール（皺や光影効果など）に正確に適合させます。
ビデオの一貫性：ビデオ拡散モデル（HunyuanVideoやStable Video Diffusionなど）を用いることで、動的シーンにおける複数フレーム間の衣服の時空間的一貫性を保ち、ちらつきや変形を防ぎます。
適応型生成パイプライン：この技術は適応型パイプラインを採用しており、まずキーフレームを選択して初期の2D画像試着を行い、その後、元のビデオの姿勢と同期したテクスチャ3Dメッシュを再構築してアニメーション化します。
矩形マスキング戦略：動的な人体や衣服の動きの中で、衣服情報の漏洩によるアーティファクトの伝播を効果的に軽減する、堅牢な矩形マスキング戦略を導入しています。
3DV-TONの特徴
高精細なビジュアル：4K解像度の出力をサポートし、衣服のテクスチャディテール（生地の質感や模様など）がリアルで、複雑な動作や多角的な表示に適しています。
マルチシナリオ対応：1枚の衣服画像から動的な試着ビデオを生成でき、ECサイトの表示、バーチャル試着ゲーム、AR/VRアプリケーションに適しています。
ユーザーフレンドリーなインターフェース：APIとビジュアルツールを提供し、開発者やデザイナーがテキストプロンプトや画像入力によって迅速に試着ビデオを生成できます。
データセット
ビデオ試着研究を推進するため、3DV-TONチームはHR-VVTも公開しました。これは130本のビデオを含む高解像度のベンチマークデータセットで、多様な衣服の種類とシーンを網羅しています。
3DV-TONの手法
3DV-TONは、アニメーション可能なテクスチャ3Dメッシュを明示的なフレームレベルのガイダンスとして利用することで、モデルが外観の忠実度ばかりに注力して運動の一貫性を無視するのを避けています。適応型パイプラインを採用して動的な3Dガイダンスを生成し、まずキーフレームを選択して初期の2D画像試着を行い、その後、元のビデオの姿勢と同期したテクスチャ3Dメッシュを再構築してアニメーション化します。さらに、堅牢な矩形マスキング戦略を導入し、動的な人体や衣服の動きの中で衣服情報の漏洩によるアーティファクトの伝播を低減しています。
3DV-TONの応用シナリオ
電子商取引：ECプラットフォーム（ShopifyやAmazonなど）向けに、動的な衣服試着ビデオを生成します。
バーチャルファッションとメタバース：VR/AR試着体験をサポートし、バーチャル環境でデジタル衣服を試着できます。
映画・アニメーション：デジタルキャラクターの本物のような衣服アニメーションを生成し、CG制作のコストを削減します。
パーソナライズされたカスタマイズ：ユーザーがアップロードした身体データと衣服画像を組み合わせることで、パーソナライズされた試着ビデオを生成します。
プロジェクトページ：https://2y7c3.github.io/3DV-TON/
論文リンク：https://2y7c3.github.io/pdfs/3dvton.pdf
