3DV-TON: фреймворк генерации виртуальной примерки видео на основе диффузионных моделей 65

3DV-TON — что это?

3DV-TON (Textured 3D-Guided Consistent Video Try-on via Diffusion Models) — это новая технология видеопримерки, основанная на моделях диффузии, которая решает проблему существующих методов видеопримерки, связанную с невозможностью генерировать высококачественные и временно согласованные результаты при работе со сложными узорами одежды и разнообразными позами человеческого тела.

Основные технологии 3DV-TON

• 3D-текстурное управление: 3DV-TON использует сгенерированную анимируемую текстурированную 3D-сетку в качестве покадрового ориентира, обеспечивая точное соответствие текстуры одежды геометрическим деталям тела (таким как складки и эффекты освещения).

• Согласованность видео: благодаря моделям видеодиффузии (таким как HunyuanVideo или Stable Video Diffusion) поддерживается пространственно-временная согласованность одежды в нескольких кадрах динамической сцены, предотвращая мерцание или деформацию.

• Адаптивный процесс генерации: технология использует адаптивный конвейер — сначала выбирается ключевой кадр для начальной 2D-примерки изображения, затем реконструируется и анимируется текстурированная 3D-сетка, синхронизированная с позами исходного видео.

• Стратегия прямоугольной маски: введена надёжная стратегия прямоугольной маски, которая эффективно уменьшает распространение артефактов, вызванных утечкой информации об одежде во время движения человека и одежды.

Особенности 3DV-TON

• Высококачественные визуальные эффекты: поддерживает вывод в разрешении 4K, детали текстуры одежды (такие как материал ткани и узоры) выглядят реалистично, подходит для сложных движений и демонстрации под разными углами.

• Адаптация к множеству сценариев: поддерживает генерацию динамических видео с примеркой из одного изображения одежды, подходит для демонстрации в электронной коммерции, виртуальных играх с переодеванием и приложениях AR/VR.

• Удобный интерфейс: предоставляет API и визуальные инструменты, позволяющие разработчикам и дизайнерам быстро генерировать видео с примеркой с помощью текстовых подсказок или изображений.

Набор данных

Для продвижения исследований в области видеопримерки команда 3DV-TON также представила HR-VVT — высококачественный эталонный набор данных, содержащий 130 видео и охватывающий различные типы одежды и сценариев.

Метод 3DV-TON

3DV-TON использует сгенерированную анимируемую текстурированную 3D-сетку в качестве явного покадрового ориентира, чтобы избежать чрезмерного внимания модели к сохранению внешнего вида в ущерб согласованности движений; применяет адаптивный конвейер для генерации динамического 3D-управления — сначала выбирается ключевой кадр для начальной 2D-примерки одежды, затем реконструируется и анимируется текстурированная 3D-сетка, синхронизированная с позами исходного видео; вводит надёжную стратегию прямоугольного маскирования, уменьшающую распространение артефактов, вызванных утечкой информации об одежде при движении человека и одежды.

Сценарии применения 3DV-TON

• Электронная коммерция: генерация динамических видео с примеркой одежды для платформ электронной коммерции (таких как Shopify и Amazon).

• Виртуальная мода и метавселенная: поддержка примерочных VR/AR-体验, примерка цифровой одежды в виртуальной среде.

• Кино и анимация: генерация реалистичной анимации одежды цифровых персонажей, снижение затрат на CG-производство.

• Персонализированная настройка: генерация персонализированных видео с примеркой на основе загруженных пользователем данных о фигуре и изображений одежды.

Домашняя страница проекта: https://2y7c3.github.io/3DV-TON/

Техническая документация (статья): https://2y7c3.github.io/pdfs/3dvton.pdf