PixelHacker: inpainting con IA basado en modelos de difusión para restauración de imágenes 69

¿Qué es PixelHacker?

PixelHacker es una herramienta de reparación de imágenes basada en modelos de difusión, que se centra en mantener la coherencia estructural y semántica durante el proceso de restauración. Mediante un enfoque de guía por categorías latentes, anota el primer plano y el fondo, y utiliza esa información de anotación para guiar el proceso de reparación.

Características principales de PixelHacker

• Gran capacidad de restauración de estructuras complejas: capaz de capturar y reconstruir con precisión texturas, formas y relaciones espaciales complejas en las imágenes.

• Coherencia semántica: las imágenes reparadas mantienen una alta coherencia con la imagen original en color, características de los objetos y estructura lógica.

• Conjunto de datos y preentrenamiento: preentrenado sobre un gran conjunto de datos con 14 millones de pares imagen-máscara, y ajustado con benchmarks de código abierto.

• Amplia aplicabilidad: ofrece un rendimiento destacado en conjuntos de datos como Places2, CelebA-HQ y FFHQ.

Tecnología principal de PixelHacker

• Guía de Categorías Latentes (Latent Categories Guidance, LCG): PixelHacker construye un gran conjunto de datos con 14 millones de pares imagen-máscara y anota el primer plano y el fondo (116 categorías latentes para el primer plano y 21 para el fondo), orientando así al modelo durante la reparación para que se centre en la información estructural y semántica de la imagen.

• Mecanismo de atención lineal: el modelo codifica por separado las características latentes del primer plano y del fondo mediante dos vectores de embedding de tamaño fijo, y los inyecta de forma intermitente en el modelo durante el proceso de eliminación de ruido a través de un mecanismo de atención lineal.

Arquitectura de PixelHacker

PixelHacker se basa en la arquitectura de difusión latente (Latent Diffusion Architecture). Mediante un codificador, la imagen de entrada se transforma al espacio latente; luego, durante el proceso de eliminación de ruido, se inyectan las características del primer plano y del fondo, y finalmente un decodificador reconstruye la imagen reparada.

Método y flujo de trabajo

• Construcción del conjunto de datos: mediante la anotación de las categorías de primer plano y fondo, se construye un conjunto de datos a gran escala de pares imagen-máscara.

• Codificación de características: se utilizan vectores de embedding de tamaño fijo para codificar por separado el primer plano y el fondo.

• Proceso de eliminación de ruido: durante el proceso de eliminación de ruido del modelo de difusión, las características del primer plano y del fondo se inyectan en el modelo mediante un mecanismo de atención lineal, promoviendo múltiples interacciones estructurales y semánticas.

• Preentrenamiento y ajuste: se realiza el preentrenamiento sobre el conjunto de datos propio y el ajuste fino sobre benchmarks de código abierto, obteniendo finalmente el modelo PixelHacker.

Escenarios de aplicación de PixelHacker

• Reparación de imágenes: eliminación de anuncios, relleno de arañazos y reparación de zonas dañadas.

• Edición de imágenes: sustitución de fondos y objetos manteniendo una apariencia global natural.

• Creación artística: generación creativa y transferencia de estilo.

• Preservación del patrimonio cultural: reparación de imágenes de documentos antiguos, murales y otros bienes culturales.

• Procesamiento de imágenes médicas: eliminación de artefactos y mejora del detalle de la imagen.

Enlaces del proyecto

Página del proyecto: https://hustvl.github.io/PixelHacker/

Código en GitHub: https://github.com/hustvl/PixelHacker

Enlace al artículo: https://arxiv.org/abs/2504.20438