3DV-TON: Ein Diffusionsbasiertes Framework für Video-Anprobe-Generierung 66

3DV-TON: Was ist das?

3DV-TON (Textured 3D-Guided Consistent Video Try-on via Diffusion Models) ist eine neuartige Video-Anprobe-Technologie, die auf Diffusionsmodellen basiert. Sie löst das Problem bestehender Video-Anprobe-Methoden, die bei komplexen Kleidungsmustern und vielfältigen Körperhaltungen nur schwer qualitativ hochwertige und zeitlich konsistente Ergebnisse erzeugen können.

Kerntechnologie von 3DV-TON

• 3D-Texturführung: 3DV-TON verwendet ein generiertes animiertes texturiertes 3D-Netz als frameweise Anleitung, um sicherzustellen, dass die Kleidungstexturen präzise mit den geometrischen Details des Körpers (wie Falten und Licht-Schatten-Effekten) übereinstimmen.

• Videokonsistenz: Durch den Einsatz von Videodiffusionsmodellen (wie HunyuanVideo oder Stable Video Diffusion) wird die räumlich-zeitliche Konsistenz der Kleidung über mehrere Frames in dynamischen Szenen gewahrt und Flackern oder Verzerrungen vermieden.

• Adaptive Generierungspipeline: Die Technik nutzt eine adaptive Pipeline, die zunächst einen Schlüsselframe für die anfängliche 2D-Bildanprobe auswählt und anschließend ein texturiertes 3D-Netz rekonstruiert und animiert, das mit den Posen des Originalvideos synchronisiert ist.

• Rechteck-Maskierungsstrategie: Einführung einer robusten Rechteck-Maskierungsstrategie, die die Ausbreitung von Artefakten, die durch das Durchsickern von Kleidungsinformationen während dynamischer Körper- und Kleidungsbewegungen verursacht werden, wirksam reduziert.

Merkmale von 3DV-TON

• Visuelle Hochqualität: Unterstützt 4K-Auflösung; Kleidungstexturdetails (wie Stoffmaterialien und Muster) sind realistisch und eignen sich für komplexe Bewegungen und Mehrwinkelansichten.

• Mehrere Anwendungsszenarien: Unterstützt die Erzeugung dynamischer Anprobe-Videos aus einem einzelnen Kleidungsbild und ist für E-Commerce-Showcases, virtuelle Anprobe-Spiele sowie AR/VR-Anwendungen geeignet.

• Benutzerfreundliche Schnittstelle: Bietet APIs und visuelle Tools, die es Entwicklern und Designern ermöglichen, über Textaufforderungen oder Bildeingaben schnell Anprobe-Videos zu erstellen.

Datensatz
Um die Video-Anprobe-Forschung voranzutreiben, hat das 3DV-TON-Team außerdem HR-VVT veröffentlicht – einen hochauflösenden Benchmark-Datensatz mit 130 Videos, der verschiedene Kleidungstypen und Szenarien abdeckt.

3DV-TON-Methode

3DV-TON verwendet ein generiertes animierbares texturiertes 3D-Netz als explizite frameweise Anleitung, um zu vermeiden, dass das Modell zu sehr auf die Erhaltung des Erscheinungsbilds und zu wenig auf die Bewegungskonsistenz achtet; es nutzt eine adaptive Pipeline zur Erzeugung dynamischer 3D-Anleitungen, wählt zunächst einen Schlüsselframe für die anfängliche 2D-Bildanprobe aus und rekonstruiert und animiert anschließend ein texturiertes 3D-Netz, das mit den Posen des Originalvideos synchronisiert ist; außerdem wird eine robuste Rechteck-Maskierungsstrategie eingeführt, um die Ausbreitung von Artefakten zu reduzieren, die durch das Durchsickern von Kleidungsinformationen bei dynamischen Körper- und Kleidungsbewegungen verursacht werden.

Anwendungsszenarien von 3DV-TON

• E-Commerce: Erzeugung dynamischer Kleidungsanprobe-Videos für E-Commerce-Plattformen (wie Shopify und Amazon).

• Virtuelle Mode und Metaverse: Unterstützung von VR/AR-Anprobe-Erlebnissen, bei denen digitale Kleidung in virtuellen Umgebungen anprobiert werden kann.

• Film- und Animationsproduktion: Erzeugung realistischer Kleidungsanimationen für digitale Charaktere, wodurch die Kosten für die CG-Produktion gesenkt werden.

• Personalisierte Anpassung: Erzeugung personalisierter Anprobe-Videos durch die Kombination von vom Benutzer hochgeladenen Körperdaten und Kleidungsbildern.

Projekt-Hauptseite:https://2y7c3.github.io/3DV-TON/

Technische Arbeit:https://2y7c3.github.io/pdfs/3dvton.pdf