DDColor: реалистичная колоризация изображений с помощью двойного декодера 225

Колоризация изображений (Image Colorization) — это классическая задача компьютерного зрения, обладающая огромным потенциалом во многих реальных приложениях, таких как восстановление старых фотографий, ремастеринг фильмов и создание произведений искусства. Получая на вход изображение в оттенках серого, колоризация изображений направлена на восстановление двух недостающих цветовых каналов. Эта задача характеризуется многомодальной неопределённостью, поскольку один и тот же объект может иметь несколько правдоподобных цветов. Поэтому колоризация изображений всегда оставалась сложной проблемой.

С появлением DDColor в области колоризации изображений произошёл трансформационный скачок — это новый метод, использующий двойной декодер.DDColor — это новейший алгоритм колоризации изображений от команды魔搭大模型 (ModelScope). На вход подаётся чёрно-белое изображение, а на выходе возвращается раскрашенное цветное изображение с естественным и ярким результатом колоризации.

DDColor был разработан Xiaoyang Kang, Tao Yang, Wenqi Ouyang, Peiran 任, Lingzhi Li и Xuansong Xie из Института DAMO академии Alibaba Group. Он превосходно справляется с генерацией правдоподобных цветов, особенно в сложных сценах с множеством объектов и различным контекстом.

DDColor использует технологию двойного декодера, позволяющую одновременно учитывать распределение цветов и попиксельные детали, что обеспечивает высокореалистичную колоризацию изображений.

DDColor способен не только раскрашивать исторические чёрно-белые фотографии, но и выполнять реалистичную колоризацию пейзажей из аниме или игр, превращая анимационные сцены в реалистичный стиль.

DDColor использует двойной декодер для обработки изображений:

один восстанавливает структуру изображения, а другой определяет цвета для каждой его части.

Инновационность этой технологии заключается в том, что она не зависит от заданных вручную правил, как предыдущие методы, а способна самостоятельно изучать содержимое изображения и определять подходящие цвета.

Благодаря такому подходу DDColor может более точно раскрашивать изображения сложных сцен, уменьшать проблему ошибочного наложения цветов и делать итоговое изображение визуально более насыщенным и естественным.

Установка DDColor:

Шаг 1: Настройка окружения

Сначала настройте окружение Python. Убедитесь, что PyTorch установлен, поскольку нейросетевая реализация DDColor в значительной степени зависит от этого фреймворка.

Шаг 2: Подготовка данных

Подготовьте наборы данных для обучения и тестирования. DDColor работает как с изображениями в оттенках серого, так и с цветными. Для обучения используйте набор данных, содержащий разнообразные изображения, чтобы охватить различные цветовые пространства и сцены.

Шаг 3: Архитектура модели

Определите архитектуру DDColor, включая пиксельный декодер и цветовой декодер. Убедитесь, что архитектура вашей модели соответствует сложности набора данных.

Как использовать DDColor?

На фреймворке ModelScope можно использовать модель колоризации изображений, передав входное изображение через простой вызов Pipeline.

Подводя итог, DDColor использует многомасштабные визуальные признаки для оптимизации обучаемых цветовых меток (т.е. цветовых запросов) и достигает передовых результатов в автоматической колоризации изображений.

Статья & код

Ссылка на статью: https://arxiv.org/abs/2212.11613

Приложение ModelScope: https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

Открытый исходный код: https://github.com/piddnad/DDColor