DDColor：デュアルデコーダによるリアルな画像彩色 224

画像彩色化（Image Colorization）は古典的なコンピュータビジョンタスクであり、古い写真の修復、映画リマスター、芸術制作など、多くの実世界アプリケーションで大きな可能性を秘めています。グレースケール画像が与えられた場合、画像彩色化はその欠落した2つのカラーチャンネルを復元することを目的としますが、物体には複数のもっともらしい色がある可能性があるため、この問題は多モーダルな不確実性を持っています。そのため、画像彩色化は常に困難な課題となっています。

DDColorの登場により、画像彩色化の分野は変革的な飛躍を遂げました。これはデュアルデコーダーを使用する新しい手法です。DDColorは魔搭大規模モデルの最新の画像彩色化アルゴリズムで、白黒画像を入力すると、彩色処理されたカラー画像が返され、自然で生き生きとした彩色効果を実現できます。

DDColorは、アリババグループのDAMOアカデミー（達摩院）所属のXiaoyang Kang、Tao Yang、Wenqi Ouyang、Peiran Ren、Lingzhi Li、Xuansong Xieによって開発され、特に複数のオブジェクトと異なるコンテキストを持つ複雑なシーンにおいて、リアルな色の生成に優れています。

DDColorはデュアルデコーダー技術を使用しており、色の分布とピクセルレベルの詳細情報を同時に考慮することで、高度にリアルな画像彩色化を実現できます。

DDColorは歴史的な白黒写真を彩色化するだけでなく、アニメやゲームの風景に対してもリアルなスタイルで彩色化を行うことができます。アニメーションのシーンを現実の生活スタイルに変換します。

DDColorはデュアルデコーダーによって画像を処理します：

1つは画像構造を復元する役割を担い、もう1つは画像の各部分の色を決定します。

この技術の革新点は、従来の手法のように人手による設定ルールに依存せず、画像の内容を自ら学習して適切な色を決定できる点にあります。

この方法により、DDColorは複雑なシーンの画像に対してより正確に彩色化を行い、色の誤った塗りつぶしの問題を軽減し、最終的な画像をより豊かで自然な色彩にすることができます。

DDColorのインストール：

ステップ1：環境のセットアップ

まずPython環境をセットアップします。DDColorのニューラルネットワーク実装はこのフレームワークに大きく依存しているため、PyTorchがインストールされていることを確認してください。

ステップ2：データの準備

トレーニングとテスト用のデータセットを準備します。DDColorはグレースケール画像とカラー画像の両方に対応しています。トレーニングには、さまざまな色空間とシーンを捉えるために多様な画像を含むデータセットを使用してください。

ステップ3：モデルアーキテクチャ

ピクセルデコーダーとカラーデコーダーを含め、DDColorのアーキテクチャを定義します。モデルのアーキテクチャがデータセットの複雑性と一致していることを確認してください。

DDColorの使用方法：

ModelScopeフレームワーク上で入力画像を提供することで、シンプルなパイプライン呼び出しによって画像彩色化モデルを使用することができます。

要するに、DDColorはマルチスケールの視覚特徴を使用して学習可能なカラートークン（すなわちカラークエリ）を最適化し、自動画像彩色化において最先端の性能を実現します。

論文 & コード

論文リンク：https://arxiv.org/abs/2212.11613

ModelScopeアプリケーション：https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

オープンソースコード：https://github.com/piddnad/DDColor