Leffa: herramienta de código abierto de Meta AI para la generación controlable de imágenes humanas, ideal para pruebas virtuales 193

¿Qué es Leffa?

Leffa, cuyo nombre completo es Learning Flow Fields in Attention, es una tecnología de generación de imágenes desarrollada y de código abierto por Meta ai. Leffa es un marco unificado que, mediante el aprendizaje de los campos de flujo (flow fields) en la atención, guía a las consultas objetivo para que se centren correctamente en las regiones clave de la imagen de referencia durante el entrenamiento. Este método introduce una función de pérdida regularizada en la línea base basada en modelos de difusión, reduciendo significativamente la distorsión de los detalles y manteniendo al mismo tiempo una generación de imágenes de alta calidad. La tecnología no solo es aplicable a la prueba virtual de ropa, sino que también admite la transferencia de poses y puede extenderse a otros modelos de difusión.

Características principales de Leffa

• Control preciso: Leffa permite la prueba virtual de ropa (aplicar de forma natural una imagen de prenda específica a una persona) y la transferencia de poses (transferir la pose de una persona a otra imagen), manteniendo al mismo tiempo las características y los detalles originales de la persona con claridad.

• Generación de alta calidad: Mediante la función de pérdida regularizada y una estrategia de entrenamiento progresivo, Leffa optimiza el rendimiento del modelo, garantizando que las imágenes generadas tengan alta resolución y fidelidad de detalle, reduciendo problemas de desenfoque de texturas y deformaciones. Por ejemplo, al generar imágenes de personas con prendas específicas, Leffa puede preservar muy bien las texturas y los patrones de la ropa.

• Independencia del modelo y capacidad de generalización: Leffa está diseñado para poder integrarse en diferentes modelos de difusión sin parámetros adicionales, lo que demuestra una gran versatilidad y adaptabilidad, pudiendo aplicarse a múltiples escenarios de generación de imágenes con IA.

• Ejecución eficiente: En hardware de alto rendimiento, como una GPU A100, Leffa puede generar imágenes de personas de alta calidad en 6 segundos, soporta aceleración float16 y es adecuado para necesidades de generación rápida.

• Despliegue ligero: Soporta despliegue local, inferencia en la nube y se integra con plataformas como Hugging Face, lo que facilita a desarrolladores y empresas su rápida integración en los flujos de trabajo de IA existentes.

Principio técnico de Leffa

• Mecanismo de atención: Basado en el mecanismo de atención, utiliza capas de atención para relacionar la imagen objetivo (la imagen de la persona que se va a generar) con la imagen de referencia (la imagen que proporciona la apariencia o la pose).

• Aprendizaje de campos de flujo: Basado en el aprendizaje de los campos de flujo (flow fields) en las capas de atención, guía explícitamente a la consulta objetivo (target query) para que se centre en la región correcta de la clave de referencia (reference key).

• Pérdida regularizada: Aplica una pérdida regularizada sobre los mapas de atención, deformando la imagen de referencia para alinearla más estrechamente con la imagen objetivo, alentando al modelo a centrarse correctamente en las regiones de referencia durante el entrenamiento.

• Consistencia espacial: Basado en la transformación de los mapas de atención en campos de flujo, utiliza operaciones de muestreo en cuadrícula para deformar la imagen de referencia, garantizando la consistencia espacial entre la consulta objetivo y la imagen de referencia.

• Independencia del modelo: Como función de pérdida regularizada, se integra en diferentes modelos de difusión sin necesidad de parámetros adicionales ni técnicas de entrenamiento complejas.

• Entrenamiento progresivo: Se aplica en la fase final del entrenamiento para evitar una degradación temprana del rendimiento, basándose en la combinación de la pérdida de difusión tradicional y la pérdida de Leffa para ajustar el modelo y optimizar su rendimiento.

Escenarios de aplicación de Leffa

• Prueba virtual de ropa: En el comercio electrónico y la industria de la moda, crea probadores virtuales que permiten a los consumidores ver en línea cómo les quedan diferentes prendas sin necesidad de probárselas realmente.

• Realidad Aumentada (AR): En aplicaciones de AR, modifica o añade en tiempo real la apariencia y la vestimenta del usuario, proporcionando una experiencia más inmersiva.

• Juegos y entretenimiento: En el desarrollo de videojuegos, se utiliza en la personalización de personajes, permitiendo a los jugadores ajustar la apariencia y las poses de los personajes según sus preferencias.

• Producción de cine y vídeo: En la posproducción cinematográfica, genera o modifica la apariencia de los personajes.

Información de código abierto de Leffa

• Artículo: https://arxiv.org/pdf/2412.08486

• Repositorio de GitHub: https://github.com/franciszzj/Leffa

• Demo en línea: https://huggingface.co/spaces/franciszzj/Leffa

• Biblioteca de modelos en HuggingFace: https://huggingface.co/franciszzj/Leffa