DDColor: realistische Bildkolorierung mit Dual-Decoder 222

Bildkolorierung (Image Colorization) ist eine klassische Computer-Vision-Aufgabe, die in vielen realen Anwendungen enormes Potenzial besitzt, wie z. B. der Restaurierung alter Fotos, der Bearbeitung von Filmen und künstlerischen Kreationen. Bei einem gegebenen Graustufenbild zielt die Bildkolorierung darauf ab, die beiden fehlenden Farbkanäle wiederherzustellen. Dieses Problem ist multimodal unsicher, da ein Objekt mehrere plausibel erscheinende Farben haben kann. Daher war die Bildkolorierung schon immer eine anspruchsvolle Aufgabe.

Mit der Einführung von DDColor erlebte der Bereich der Bildkolorierung einen transformativen Sprung – eine neue Methode, die zwei Decoder verwendet. DDColor ist der neueste Bildkolorierungsalgorithmus der ModelScope-Modelle. Man gibt ein Schwarz-Weiß-Bild ein und erhält ein farbig koloriertes Bild zurück, das einen natürlichen und lebendigen Kolorierungseffekt erzielen kann.

DDColor wurde von Xiaoyang Kang, Tao Yang, Wenqi Ouyang, Peiran 任, Lingzhi Li und Xuansong Xie vom DAMO Academy der Alibaba Group entwickelt und zeichnet sich durch die Erzeugung realistischer Farben aus, insbesondere in komplexen Szenen mit mehreren Objekten und unterschiedlichen Kontexten.

DDColor verwendet eine Dual-Decoder-Technik, die gleichzeitig die Farbverteilung und detaillierte Informationen auf Pixelebene berücksichtigt und so hochrealistische Bildkolorierungseffekte erzielt.

DDColor kann nicht nur historische Schwarz-Weiß-Fotos kolorieren, sondern auch Landschaften in Anime oder Spielen in einen realistischen Stil einfärben. Es wandelt animierte Szenen in einen Stil um, der dem realen Leben entspricht.

DDColor verwendet zwei Decoder, um die Bilder zu verarbeiten:

Der eine stellt die Struktur des Bildes wieder her, der andere bestimmt die Farbe jedes Teils des Bildes.

Die Innovation dieser Technik besteht darin, dass sie nicht auf manuell festgelegte Regeln wie frühere Methoden angewiesen ist, sondern den Inhalt des Bildes selbst erlernen und passende Farben bestimmen kann.

Auf diese Weise kann DDColor Bilder komplexer Szenen genauer kolorieren, das Problem der fehlerhaften Farbauftragung reduzieren und dafür sorgen, dass das endgültige Bild farblich reichhaltiger und natürlicher wirkt.

Installation von DDColor:

Schritt 1: Umgebung einrichten

Richten Sie zunächst die Python-Umgebung ein. Stellen Sie sicher, dass PyTorch installiert ist, da die neuronale Netzimplementierung von DDColor stark auf diesem Framework basiert.

Schritt 2: Datenvorbereitung

Bereiten Sie die Datensätze für Training und Tests vor. DDColor ist sowohl für Graustufen- als auch für Farbbilder geeignet. Verwenden Sie für das Training einen Datensatz mit vielfältigen Bildern, um unterschiedliche Farbräume und Szenen zu erfassen.

Schritt 3: Modellarchitektur

Definieren Sie die Architektur von DDColor, einschließlich des Pixel-Decoders und des Farb-Decoders. Stellen Sie sicher, dass Ihre Modellarchitektur mit der Komplexität des Datensatzes übereinstimmt.

Wie verwendet man DDColor?

Auf dem ModelScope-Framework kann man durch einfache Pipeline-Aufrufe ein Eingabebild bereitstellen und das Bildkolorierungsmodell verwenden.

Zusammenfassend nutzt DDColor mehrskalige visuelle Merkmale, um lernbare Farbtoken (d. h. Farb-Abfragen) zu optimieren, und erreicht eine state-of-the-art Leistung bei der automatischen Bildkolorierung.

Paper & Code

Paper-Link: https://arxiv.org/abs/2212.11613

ModelScope-Anwendung: https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

Open-Source-Code: https://github.com/piddnad/DDColor