Помощник сценариста▸ 
AI Приложения 
AI Новости 
MagicColor: фреймворк автоматической раскраски множественных контурных рисунков на основе диффузионных моделей от команды HKUST
MagicColor: фреймворк автоматической раскраски множественных контурных рисунков на основе диффузионных моделей от команды HKUSTОписание
Что такое MagicColor?
MagicColor — это фреймворк для многократной раскраски линейных рисунков на основе диффузионной модели, разработанный Гонконгским университетом науки и технологий (Гуанчжоу). Пользователю достаточно загрузить одно черно-белое изображение контура и несколько референсных изображений, после чего система за несколько секунд автоматически выполнит точное и естественное заполнение цветом, сохраняя при этом согласованность между несколькими экземплярами. По сравнению с традиционными методами MagicColor обеспечивает раскраску в один шаг, что значительно повышает эффективность проектирования.
Основные функции MagicColor
Раскраска в один клик: пользователю достаточно предоставить изображение контура и референсные изображения, система автоматически выполнит раскраску.
Обработка нескольких экземпляров: способна автоматически распознавать и различать несколько экземпляров на контуре (например, нескольких персонажей) и назначать каждому экземпляру подходящий цвет.
Высокая скорость генерации: от загрузки до получения результата требуется всего несколько секунд, что подходит для сценариев быстрого создания контента.
Технические принципы MagicColor
Стратегия самообучения: решает проблему нехватки обучающих данных для нескольких экземпляров.
Экземплярный навигатор (Instance Guider): предоставляет информацию о цвете для каждого экземпляра.
Потери на границах и точное сопоставление цветов: повышают визуальное качество и точность цветового соответствия.
Сценарии применения MagicColor
Производство анимации: быстрое создание цветных изображений персонажей, повышение эффективности творческого процесса.
Дизайн игровых персонажей: эффективное создание изображений персонажей в нужном стиле.
Рекламные иллюстрации: быстрое создание высококачественных иллюстраций.
Преимущества MagicColor
Обработка деталей: превосходные результаты в поддержании чёткости краёв изображения и предотвращении смешения цветов.
Гибкость: поддержка референсных изображений в различных стилях, таких как真人ные фотографии, скриншоты аниме и т. д.
Быстрая генерация: от загрузки до завершения требуется всего несколько секунд, что экономит значительное количество времени.
Установка и использование MagicColor
I. Настройка окружения
1. Создание среды Python:
conda create -n MagicColor python=3.10 pip install -r requirements.txt
2. Клонирование репозитория:
git clone https://github.com/YinHan-Zhang/MagicColor.git cd MagicColor
II. Подготовка данных
Подготовьте набор данных в следующем формате:
data/ ├── dir_name ├── masks/ ├── dir_name.jpg # 线稿图像 ├── dir_name_1.jpg # 参考图像 1 ├── ...
Скачайте предобученные веса (см. инструкции на GitHub).
III. Вывод (инференс)
Запустите скрипт вывода:
cd scripts bash multi_ref_infer.sh
IV. Обучение
Запустите скрипт обучения:
cd scripts bash multi_ref_train.sh
V. Интерактивный интерфейс
Запустите приложение Gradio:
cd inference python gradio_app.py
MagicColor может автоматически преобразовывать чёрно-белые контурные рисунки в яркие цветные изображения, поддерживает референсные изображения в различных стилях, таких как真人 фотографии, скриншоты аниме и т. д., а также поддерживает форматы PNG и JPG, что значительно повышает эффективность создания аниме-дизайна и игровых персонажей.
