HandRefiner: solución a las deformidades de manos en imágenes generadas por IA 141

Solución al problema de la deformidad de manos en la generación de imágenes con ai Los modelos actuales de generación de imágenes son ya excelentes a la hora de generar imágenes, pero a menudo presentan problemas al generar imágenes de manos humanas, como un número equivocado de dedos o formas de mano extrañas.

Dirección del proyecto HandRefiner: https://github.com/wenquanlu/HandRefiner/

Dirección del artículo de HandRefiner: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

Descarga del modelo HandRefiner: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner propone un método para corregir las imágenes de manos con formas anormales sin alterar el resto de la imagen. Emplea un método de inpainting condicional para corregir las manos deformes, capaz de identificar la forma y el gesto correctos de la mano y reaplicar esa información correcta sobre la imagen original de la mano errónea.

Características principales de HandRefiner:

- Precisión: HandRefiner puede identificar y corregir con precisión las manos deformes en las imágenes generadas, ofreciendo una solución eficaz de posprocesamiento.

- Consistencia preservada: al corregir la mano, mantiene la coherencia del resto de la imagen sin afectar a la calidad general de esta.

- Aprovechamiento de datos sintéticos: en la investigación se descubrió un fenómeno de transición de fase en ControlNet, lo que permite a HandRefiner aprovechar eficazmente los datos sintéticos para el entrenamiento sin verse afectado por las diferencias de dominio entre manos reales y manos sintéticas. Esto significa que HandRefiner puede aprender muchos aspectos diferentes de las manos, de modo que, por muy extraña que sea una mano, siempre encontrará una forma adecuada de corregirla.

- Versatilidad: aunque HandRefiner se centra principalmente en imágenes de manos, sus principios y técnicas básicos pueden aplicarse a otras tareas de generación de imágenes que requieran correcciones precisas. Por ejemplo, este método también puede emplearse para corregir otras partes, como pies u orejas.

Principio de funcionamiento de HandRefiner: 

1. Identificación y reconstrucción de la mano: Identificación del problema: en primer lugar, HandRefiner identifica las manos con formas anormales en la imagen generada. Reconstrucción de la mano: utilizando un modelo de reconstrucción de malla de la mano, HandRefiner redibuja una mano correcta basándose en cómo debería ser una mano humana. Es capaz de reconstruir la forma y el gesto correctos de la mano. Esto es posible gracias a que el modelo se entrena con datos de manos normales, lo que permite generar resultados de reconstrucción razonables incluso en imágenes de manos deformes.

2. Inpainting condicional: Proceso de corrección: HandRefiner emplea un método de inpainting condicional para tratar las manos problemáticas identificadas. Genera un mapa de profundidad que contiene información esencial sobre la forma y la posición de la mano. Integración y corrección: a continuación, este mapa de profundidad se utiliza como guía y se integra en el modelo de difusión mediante ControlNet. HandRefiner vuelve a colocar la mano redibujada en la obra original, sustituyendo la mano mal representada, pero sin modificar el resto, manteniendo el estilo y el contenido de la imagen original.