AnyDressing: Prueba virtual de múltiples prendas personalizable mediante modelos de difusión latente 212

AnyDressing es un método de prueba virtual de múltiples prendas personalizable basado en modelos de difusión latente, propuesto por ByteDance y la Universidad Tsinghua. AnyDressing está compuesto por dos redes principales: GarmentsNet y DressingNet, encargadas respectivamente de extraer características detalladas de las prendas y de lograr combinaciones virtuales de múltiples prendas. AnyDressing se puede aplicar en diversos escenarios de prueba virtual, incluidos escenarios realistas y estilizados, ofreciendo a los usuarios una experiencia de prueba virtual personalizada.

Funciones principales de AnyDressing:

Prueba combinada de múltiples prendas: los usuarios pueden probar varias prendas simultáneamente. El sistema es capaz de manejar combinaciones complejas de ropa, garantizando que los detalles y el ajuste de cada prenda se呈现en correctamente.

Personalización a medida: los usuarios pueden personalizar el efecto de prueba según sus necesidades, proporcionando prendas de referencia y avisos de texto. Esta función personalizada permite a los usuarios elegir según su propio estilo y preferencias.

Generación de imágenes de alta calidad: AnyDressing utiliza tecnología avanzada de generación de imágenes para producir imágenes de prueba virtual realistas, ayudando a los usuarios a comprender mejor el efecto de las prendas en su propio cuerpo.

Amplia aplicabilidad: esta tecnología se puede aplicar en múltiples campos como el comercio minorista de moda, las compras en línea y las redes sociales, mejorando la experiencia de compra y la satisfacción del usuario.

Investigación y desarrollo: AnyDressing se encuentra actualmente en fase de investigación, desarrollado conjuntamente por los equipos de investigación de ByteDance y la Universidad Tsinghua. Está orientado principalmente a la investigación académica y la展示 de efectos, y aún no se ha comercializado oficialmente.

Arquitectura técnica de AnyDressing:

La arquitectura técnica de AnyDressing incluye dos redes principales: GarmentsNet y DressingNet. GarmentsNet se encarga de extraer características detalladas de las prendas, mientras que DressingNet genera imágenes personalizadas. El extractor de características de prendas introducido en GarmentsNet puede codificar en paralelo las texturas de múltiples prendas, evitando la confusión entre prendas y garantizando al mismo tiempo la eficiencia de la red. DressingNet adopta un mecanismo de atención adaptativo y una estrategia de aprendizaje de posicionamiento de prendas a nivel de instancia, inyectando con precisión las características de múltiples prendas en las áreas correspondientes, mejorando así la diversidad y el control de las imágenes generadas. Además, AnyDressing introduce una estrategia de aprendizaje de texturas mejorada para mejorar la representación de los detalles de las prendas. Los resultados experimentales muestran que AnyDressing alcanza efectos de vanguardia en la tarea de prueba virtual de múltiples prendas, con un alto valor práctico y potencial de investigación.

El diseño de AnyDressing resuelve los desafíos que enfrentan las tecnologías existentes en la合成 de múltiples prendas, como la fidelidad de las prendas, la coherencia con el texto y la compatibilidad con el control extendido de la comunidad. Mediante el mecanismo adaptativo Dressing-Attention y la estrategia de aprendizaje de posicionamiento de prendas a nivel de instancia, integra con precisión las características de las prendas en la posición correcta, mientras que, a través de la estrategia de aprendizaje de texturas mejorada de las prendas, mejora la calidad de los detalles, asegurando que las prendas virtuales generadas tengan un alto grado de realismo.

Enlaces relacionados con AnyDressing:

Sitio web oficial del proyecto: https://crayon-shinchan.github.io/AnyDressing/

HuggingFace: https://huggingface.co/papers/2412.04146

Código: https://github.com/Crayon-Shinchan/AnyDressing

Paper: https://arxiv.org/abs/2412.04146