MagicColor:香港科技大学チームが開発した拡散モデルベースの多インスタンス線画自動着色フレームワーク

MagicColor:香港科技大学チームが開発した拡散モデルベースの多インスタンス線画自動着色フレームワーク 86

香港科技大学チームが開発した、単一フォワードパスでの多インスタンス統合に対応する初の線画着色フレームワーク。ユーザーは白黒線画と数枚の参照画像をアップロードするだけで、数秒で精確かつ自然な色付けを自動で完了できます。

#创作工具 #调色配色

MagicColor:香港科技大学チームが開発した拡散モデルベースの多インスタンス線画自動着色フレームワーク紹介

MagicColorとは?

MagicColorは、香港科技大学(広州)が提案した拡散モデルに基づくマルチインスタ스線画着彩フレームワーク입니다。사용자는 黑白線画と複数の参照画像をアップロードするだけで、システムが数秒で精確かつ自然な塗り우け을 완성하고、複数の 인스턴스 간の一체性を 유지할 수 있습니다. 기존 방법과 비교하여 MagicColor는 한 번의 단계로 채색을 완성하여 디자인 효율성을 크게 향상시킵니다.

MagicColor:香港科技大学チームが拡散モデルに基づく 멀티 인스턴스 線画自動着彩 프레임워크 개발.web50407/1-25040G55923H1.web50407/1-25040G55923H1.web50407/1-25040G55923H1.webp

MagicColor 核心機能

  • ワンクリック着色:ユーザーは線画画像と参照画像を提供するだけで、システムが自動で着色を行います。

  • マルチインスタンス処理:線画内の複数のインスタンス(複数のキャラクターなど)を自動的に識別・区別し、各インスタンスに適切な色を割り当てます。

  • 効率的な生成:アップロードから結果生成までわずか数秒で、迅速な制作シーンに適しています。

MagicColor 技術原理

  • 自己訓練戦略:マルチインスタンス訓練データの不足問題を解決します。

  • インスタンスガイダー:各インスタンスに色情報を提供します。

  • エッジ損失と細粒度色マッチング:視覚品質と色マッチングの精度を向上させます。

MagicColor 技術原理.webp

MagicColor 応用シーン

  • アニメ制作:カラーキャラクター画像を迅速に生成し、創作効率を向上させます。

  • ゲームキャラクターデザイン:スタイルに合致したキャラクター画像を効率的に制作します。

  • 広告イラスト:高品質なイラストを迅速に生成します。

MagicColor 応用シーン.webp

MagicColor 優位性

  • ディテール処理:画像のエッジの鮮明さを維持し、色の混同を回避する点で優れた性能を発揮します。

  • 柔軟性:実写写真、アニメスクリーンショットなど、多種多様なスタイルの参照画像をサポートします。

  • 高速生成:アップロードから完了までわずか数秒で、大幅な時間節約を実現します。

MagicColorインストール・使用方法

一、環境構築

1. Python 環境の作成:

conda create -n MagicColor python=3.10
pip install -r requirements.txt

2. リポジトリのクローン:

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

二、データ準備

データセットを以下の形式で準備します:

data/
├── dir_name
├── masks/
├── dir_name.jpg  # 線画画像
├── dir_name_1.jpg  # 参照画像 1
├── ...

事前学習済み重みをダウンロードします(GitHubの説明を参照)。

三、推論

推論スクリプトを実行します:

cd scripts
bash multi_ref_infer.sh

四、訓練

訓練スクリプトを実行します:

cd scripts
bash multi_ref_train.sh

五、インターフェース

Gradio アプリケーションを起動します:

cd inference
python gradio_app.py

MagicColorは白黒線画を色彩鮮やかな画像に自動変換でき、実写写真やアニメスクリーンショットなど多種多様なスタイルの参照画像をサポートし、PNG および JPG 形式に対応しています。アニメデザインやゲームキャラクター制作の効率を大幅に向上させます。

MagicColor:香港科技大学チームが開発した拡散モデルベースの多インスタンス線画自動着色フレームワーク に関連するツール