Voost: Werkzeug für virtuelles An- und Ausziehen 87

小编 ·

Voost: Werkzeug für virtuelles An- und Ausziehen

Voost ist ein KI-Werkzeug für virtuelles An- und Ausziehen von Seungyong Lee und Jeong-gi Kwak, das mit einem Diffusion Transformer (DiT) beide Aufgaben in einem Modell erledigt. Es braucht keine separaten Task-Netzwerke oder zusätzlichen Labels und nutzt bidirektionale „Überwachung" zwischen Outfit und Person – es lernt aus An- und Ausziehansichten – um zu modellieren, wie Kleidung am Körper sitzt und Falten wirft. Zwei praktische Techniken, etwa Attention-Temperature-Scaling (mit dem das Modell …), sind ebenfalls enthalten.

Voost: Werkzeug für virtuelles An- und Ausziehen

Voost ist ein KI-Tool für virtuelles An- und Ausziehen, vorgestellt von Seungyong Lee und Jeong-gi Kwak. Das Kernstück ist ein Diffusion Transformer (DiT), der An- und Ausziehen gleichzeitig erledigt. Das Besondere daran ist, dass kein separates Aufgabennetzwerk und keine zusätzlichen Labels benötigt werden. Zudem kann jede Kleidungs-Person-Kombination bidirektional „überwacht" lernen – es betrachtet sowohl das Anzieh- als auch das Ausziehergebnis, um die Beziehung zwischen Kleidung und Körper besser zu verstehen, etwa wie Kleidung auf der Haut liegt oder wie Falten entstehen. Zusätzlich kommen zwei praktische Techniken zum Einsatz: Attention Temperature Scaling (sorgt für mehr Stabilität des Modells bei verschiedenen Auflösungen) und Self-Correcting Sampling (reduziert Fehler durch gegenseitige Überprüfung von An- und Ausziehergebnis). In Tests sowohl beim An- als auch beim Ausziehen erzielt es Spitzenergebnisse – Kleidungsdetails (wie Texturen, Falten) und die Anpassung an die Körperhaltung sind gut, und es funktioniert mit verschiedenen Kleidungstypen, Materialien und unterschiedlichen Körperhaltungen.

Voost: Ein Tool für virtuelles An- und Ausziehen

📚 Funktionen und Merkmale

  • Bidirektionales Lernen zur Detailrekonstruktion: An- und Ausziehen werden gemeinsam erlernt; durch bidirektionale Überwachung wird die Interaktion zwischen Kleidung und Körper besser verstanden – Details wie Falten und Stofftexturen werden realistischer rekonstruiert.

  • Beinahe realistische Generierung: Das Anziehergebnis kann aus mehreren Blickwinkeln dargestellt werden, unabhängig von Figur oder Pose (Stehen, Sitzen, Hocken) – die Kleidung sieht am Körper so aus, wie sie tatsächlich fallen würde.

  • Hohe Anpassungsfähigkeit, geringe Abhängigkeiten: Es muss kein Modell speziell für eine bestimmte Kleidung oder Szene angepasst werden, und es sind keine aufwändigen manuellen Labels erforderlich – gewöhnliche Fotos oder Kamerabilder genügen.

📚 Technische Grundlagen

  • Kernmethode: Ein Diffusion Transformer (DiT) dient als „Gehirn". Über Cross-Attention werden die Merkmale der Kleidung mit dem Modell des Körpers „vermischt", sodass selbst feinste Details wie ein einzelner Faden oder eine Falte präzise synthetisiert werden.

  • Optimierungstechniken:

  • Attention Temperature Scaling: Fungiert wie ein „Empfindlichkeitsregler", der es dem Modell ermöglicht, auch bei unterschiedlichen Auflösungen oder Verdeckungen (z. B. wenn eine Hand einen Teil der Kleidung verdeckt) stabile Ergebnisse zu liefern.

  • Self-Correcting Sampling: An- und Ausziehen „kontrollieren" sich gegenseitig – etwa indem beim Anziehen geprüft wird, ob die umgekehrte Logik des Ausziehens stimmt, um Generierungsfehler zu reduzieren.

  • Ablauf: Der Nutzer lädt ein klares Foto von vorne oder von der Seite hoch oder nimmt es direkt mit der Kamera auf; das System erstellt automatisch ein „Modell" der Person und „zieht" die Kleidung „an".

📚 Wo kann Voost eingesetzt werden?

  • Online-Shopping für Kleidung: Kein Anprobieren nötig – man sieht direkt in der App, wie ein Kleidungsstück an einem aussieht, und vermeidet so Fehlkäufe wegen falscher Größe oder Passform.

  • Mode-Design: Bei Änderungen am Schnitt oder bei Kombinationen können Designer virtuell die Wirkung testen, ohne wiederholt Muster anfertigen zu müssen.

  • Teilen in sozialen Netzwerken: In Social-Media-Plattformen kann man mit Voost Kleidung „anprobieren" und interessantere Outfit-Beiträge veröffentlichen.

  • Ladengeschäfte vor Ort: In Kombination mit AR-Technik als virtueller Umkleidespiegel – Kunden stehen vor dem Spiegel und können das Outfit wechseln, was für einen Hauch von Technologie sorgt.

📚 Wie verwendet man Voost? Schritt-für-Schritt-Anleitung

Die öffentliche DEMO auf Hugging Face wird in Kürze veröffentlicht.

  1. Modus „Anziehen" oder „Ausziehen" auswählen;

  2. Gewünschte Kleidungsart auswählen (beim Anziehen: Oberteile, Hosen, Komplett-Outfits);

  3. Modellbild hochladen (optional: mit einem Zeichenwerkzeug eine Maske erstellen);

  4. Kleidungsbild hochladen;

  5. Auf die Schaltfläche klicken, um das Modell auszuführen.

Voost – Schritt-für-Schritt-Anleitung

📚 Häufig gestellte Fragen

❓: Was ist das Stärkste an Voost im Vergleich zu anderen Anprobewerkzeugen?

A: Es nutzt einen einzelnen Diffusion Transformer, der An- und Ausziehen gleichzeitig erlernt, ohne separates Aufgabennetzwerk und ohne zusätzliche Labels, mit bidirektionalem überwachten Lernen. In Kombination mit Attention Temperature Scaling und Self-Correcting Sampling sind die Ergebnisse stabiler und realistischer.

❓: In welchen Tests wurde die Leistung von Voost überprüft?

A: Es wurde auf gängigen Datensätzen wie VITON-HD und DressCode sowie anhand realer Fotos getestet. Sowohl beim An- als auch beim Ausziehen erzielt es aktuell die besten Ergebnisse und ist genauer sowie realistischer als Tools wie StableVITON und IDM-VTON.

❓: Wozu dienen Attention Temperature Scaling und Self-Correcting Sampling?

A: Temperature Scaling sorgt dafür, dass das Modell auch bei unterschiedlichen Auflösungen oder Verdeckungen (z. B. wenn eine Hand die Kleidung verdeckt) stabil arbeitet. Self-Correcting Sampling reduziert durch gegenseitige Überprüfung von An- und Ausziehen Generierungsfehler, sodass die Kleidung natürlicher sitzt.

📚 GitHub:https://github.com/nxnai/Voost