Asistente de guiones▸ 
Apps AI 
Noticias AI 
MagicColor: framework de coloreado automático de bocetos multiinstancia basado en modelos de difusión, desarrollado por un equipo de HKUST
MagicColor: framework de coloreado automático de bocetos multiinstancia basado en modelos de difusión, desarrollado por un equipo de HKUSTIntroducción
¿Qué es MagicColor?
MagicColor es un marco de coloreado de bocetos lineales con múltiples instancias basado en modelos de difusión, propuesto por la Universidad de Ciencia y Tecnología de Hong Kong (Campus de Guangzhou). Los usuarios solo necesitan subir un boceto lineal en blanco y negro y varias imágenes de referencia, y el sistema puede completar automáticamente un rellenado de color preciso y natural en pocos segundos, manteniendo al mismo tiempo la coherencia entre múltiples instancias. En comparación con los métodos tradicionales, MagicColor logra un coloreado en un solo paso, mejorando enormemente la eficiencia del diseño.
Funciones principales de MagicColor
Coloreado con un solo clic: los usuarios solo necesitan proporcionar la imagen del boceto lineal y las imágenes de referencia, y el sistema completará automáticamente el coloreado.
Procesamiento de múltiples instancias: capaz de identificar y distinguir automáticamente múltiples instancias en el boceto lineal (como varios personajes) y asignar colores apropiados a cada instancia.
Generación eficiente: desde la carga hasta la generación del resultado solo se necesitan unos segundos, ideal para escenarios de creación rápida.
Principio técnico de MagicColor
Estrategia de autoentrenamiento: resuelve el problema de la escasez de datos de entrenamiento con múltiples instancias.
Guía de instancias: proporciona información de color para cada instancia.
Pérdida de bordes y coincidencia de color de grano fino: mejora la calidad visual y la precisión de la coincidencia de colores.
Escenarios de aplicación de MagicColor
Producción de anime: genera rápidamente imágenes de personajes coloreadas, mejorando la eficiencia creativa.
Diseño de personajes para videojuegos: produce eficientemente imágenes de personajes que se ajustan al estilo.
Ilustraciones publicitarias: genera rápidamente ilustraciones de alta calidad.
Ventajas de MagicColor
Procesamiento de detalles: excelente rendimiento en el mantenimiento de la nitidez de los bordes de la imagen y la prevención de la confusión de colores.
Flexibilidad: admite imágenes de referencia de varios estilos, como fotos reales, capturas de pantalla de anime, etc.
Generación rápida: desde la carga hasta la finalización solo se necesitan unos segundos, ahorrando mucho tiempo.
Cómo instalar y usar MagicColor
1. Configuración del entorno
1. Crear un entorno Python:
conda create -n MagicColor python=3.10 pip install -r requirements.txt
2. Clonar el repositorio:
git clone https://github.com/YinHan-Zhang/MagicColor.git cd MagicColor
2. Preparación de datos
Prepare el conjunto de datos con el siguiente formato:
data/ ├── dir_name ├── masks/ ├── dir_name.jpg # 线稿图像 ├── dir_name_1.jpg # 参考图像 1 ├── ...
Descargue los pesos preentrenados (consulte las instrucciones en GitHub).
3. Inferencia
Ejecute el script de inferencia:
cd scripts bash multi_ref_infer.sh
4. Entrenamiento
Ejecute el script de entrenamiento:
cd scripts bash multi_ref_train.sh
5. Interfaz interactiva
Inicie la aplicación Gradio:
cd inference python gradio_app.py
MagicColor puede transformar automáticamente bocetos lineales en blanco y negro en imágenes con colores vibrantes, admite imágenes de referencia de varios estilos como fotos reales y capturas de pantalla de anime, es compatible con los formatos PNG y JPG, y mejora enormemente la eficiencia en el diseño de anime y la creación de personajes para videojuegos.
