MagicColor: Framework zur automatischen Färbung von Multi-Instanz-Strichzeichnungen auf Basis von Diffusionsmodellen, entwickelt von einem Team der HKUST 84

Was ist MagicColor?

MagicColor ist ein auf Diffusionsmodellen basierendes Multi-Instanz-Line-Art-Kolorierungsframework, das von der Hong Kong University of Science and Technology (Guangzhou) entwickelt wurde. Die Nutzer müssen lediglich eine Schwarz-Weiß-Line-Art-Vorlage sowie einige Referenzbilder hochladen, und das System erledigt innerhalb weniger Sekunden automatisch eine präzise und natürliche Farbgestaltung – und gewährleistet dabei die Konsistenz zwischen mehreren Instanzen. Im Vergleich zu herkömmlichen Methoden ermöglicht MagicColor eine Kolorierung in einem einzigen Schritt und steigert so die Designeffizienz erheblich.

Kernfunktionen von MagicColor

• One-Click-Kolorierung: Die Nutzer müssen lediglich die Line-Art-Vorlage sowie Referenzbilder bereitstellen; das System führt die Kolorierung automatisch durch.

• Multi-Instanz-Verarbeitung: Erkennt und unterscheidet automatisch mehrere Instanzen in der Line-Art (z. B. mehrere Charaktere) und weist jeder Instanz passende Farben zu.

• Effiziente Erzeugung: Vom Hochladen bis zum Ergebnis dauert es nur wenige Sekunden – ideal für schnelle Kreativszenarien.

Technische Grundlagen von MagicColor

• Selbsttrainingsstrategie: Löst das Problem der unzureichenden Trainingsdaten für mehrere Instanzen.

• Instanz-Guidance: Liefert Farbinformationen für jede Instanz.

• Edge-Verlust und feinkörnige Farbabstimmung: Verbessert die visuelle Qualität und die Genauigkeit der Farbabstimmung.

Anwendungsszenarien für MagicColor

• Anime-Produktion: Schnelle Erzeugung farbiger Charakterbilder zur Steigerung der Kreationseffizienz.

• Spielcharakter-Design: Effiziente Erstellung stilgerechter Charakterbilder.

• Werbe-Illustrationen: Schnelle Erzeugung hochwertiger Illustrationen.

Vorteile von MagicColor

• Detailverarbeitung: Hervorragende Leistung bei der Erhaltung klarer Bildkanten und der Vermeidung von Farbverwirrungen.

• Flexibilität: Unterstützt verschiedene Arten von Referenzbildern, wie z. B. reale Fotos, Anime-Screenshots usw.

• Schnelle Erzeugung: Vom Hochladen bis zum Abschluss dauert es nur wenige Sekunden und spart somit viel Zeit.

Installation und Verwendung von MagicColor

1. Umgebungseinrichtung

1. Erstellen einer Python-Umgebung:

conda create -n MagicColor python=3.10
pip install -r requirements.txt

2. Repository klonen:

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

2. Datenvorbereitung

Bereiten Sie den Datensatz im folgenden Format vor:

data/
├── dir_name
├── masks/
├── dir_name.jpg  # Line-Art-Bild
├── dir_name_1.jpg  # Referenzbild 1
├── ...

Laden Sie die vortrainierten Gewichte herunter (siehe GitHub-Anleitung).

3. Inferenz

Führen Sie das Inferenz-Skript aus:

cd scripts
bash multi_ref_infer.sh

4. Training

Führen Sie das Trainingsskript aus:

cd scripts
bash multi_ref_train.sh

5. Interaktive Oberfläche

Starten Sie die Gradio-Anwendung:

cd inference
python gradio_app.py

MagicColor kann Schwarz-Weiß-Line-Art-Vorlagen automatisch in farbenfrohe Bilder umwandeln, unterstützt verschiedene Stilreferenzen wie reale Fotos und Anime-Screenshots und akzeptiert die Formate PNG und JPG. Dadurch wird die Effizienz bei Anime-Design und der Erstellung von Spielcharakteren deutlich gesteigert.