DDColor: colorización realista de imágenes mediante doble decodificador 223

La colorización de imágenes (Image Colorization) es una tarea clásica de visión por computadora con un enorme potencial en muchas aplicaciones del mundo real, como la restauración de fotografías antiguas, el remasterizado de películas y la creación artística. Dada una imagen en escala de grises, la colorización de imágenes busca restaurar los dos canales de color que le faltan. Este problema presenta una incertidumbre multimodal, ya que un objeto puede tener múltiples colores plausibles. Por ello, la colorización de imágenes siempre ha sido un problema desafiante.

Con la llegada de DDColor, el campo de la colorización de imágenes ha sido testigo de un salto transformador, un nuevo enfoque que utiliza un decodificador doble. DDColor es el algoritmo de colorización de imágenes más reciente del modelo grande de ModelScope: toma una imagen en blanco y negro como entrada y devuelve una imagen en color con un resultado de colorización natural y vívido.

DDColor fue desarrollado por Xiaoyang Kang, Tao Yang, Wenqi Ouyang, Peiran 任, Lingzhi Li y Xuansong Xie del Instituto DAMO de Alibaba Group, y destaca por generar colores realistas, especialmente en escenas complejas con múltiples objetos y contextos variados.

DDColor utiliza una técnica de doble decodificador que puede considerar simultáneamente la distribución del color y la información detallada a nivel de píxel, logrando efectos de colorización de imágenes altamente realistas.

DDColor no solo puede dar color a fotografías históricas en blanco y negro, sino que también permite aplicar un coloreado de estilo realista a escenas de anime o videojuegos, transformando escenas animadas en un estilo de la vida real.

DDColor utiliza un doble decodificador para procesar las imágenes:

Uno restaura la estructura de la imagen, mientras que el otro determina el color de cada parte de la imagen.

La innovación de esta tecnología radica en que no depende de reglas establecidas manualmente como los métodos anteriores, sino que es capaz de aprender por sí misma el contenido de la imagen y decidir los colores adecuados.

De esta manera, DDColor puede colorear con mayor precisión las imágenes de escenas complejas, reduciendo el problema de aplicar incorrectamente los colores y logrando que la imagen final presente colores más ricos y naturales.

Instalación de DDColor:

Paso 1: Configurar el entorno

Primero, configure el entorno de Python. Asegúrese de tener PyTorch instalado, ya que la implementación de la red neuronal de DDColor depende en gran medida de este framework.

Paso 2: Preparación de los datos

Prepare los conjuntos de datos para el entrenamiento y las pruebas. DDColor es aplicable tanto a imágenes en escala de grises como a imágenes en color. Para el entrenamiento, utilice un conjunto de datos que contenga diversas imágenes con el fin de capturar distintos espacios de color y escenas.

Paso 3: Arquitectura del modelo

Defina la arquitectura de DDColor, incluyendo el decodificador de píxeles y el decodificador de color. Asegúrese de que la arquitectura de su modelo esté alineada con la complejidad del conjunto de datos.

¿Cómo usar DDColor?

Sobre el framework de ModelScope, basta con proporcionar la imagen de entrada para utilizar el modelo de colorización de imágenes mediante una sencilla llamada a través del Pipeline.

En resumen, DDColor utiliza características visuales multiescala para optimizar los tokens de color aprendibles (es decir, las consultas de color) y alcanza un rendimiento de vanguardia en la colorización automática de imágenes.

Artículo & Código

Enlace al artículo: https://arxiv.org/abs/2212.11613

Aplicación en ModelScope: https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

Código open source: https://github.com/piddnad/DDColor