Ghibli-Diffusion: modelo de generación de imágenes con IA al estilo Studio Ghibli 278

¿Qué es Ghibli-Diffusion?

Ghibli-Diffusion es un modelo de generación de texto a imagen ajustado mediante fine-tuning sobre el modelo Stable Diffusion, creado específicamente para generar imágenes animadas con el estilo del Studio Ghibli. Este modelo fue desarrollado por el artista de AI nitrosocke, y los datos de entrenamiento provienen de las películas animadas modernas del Studio Ghibli.

Funciones principales de Ghibli-Diffusion

• Generación de texto a imagen: los usuarios pueden generar imágenes con estilo Ghibli introduciendo prompts de texto (como "ghibli style").

• Conversión de imagen a imagen: los usuarios pueden subir imágenes existentes y transformarlas en imágenes con estilo Ghibli.

• Soporte para múltiples escenas y objetos: el modelo es capaz de generar diversas escenas (como playas, superficies heladas, auroras boreales, etc.) y objetos específicos (como stormtroopers, el Volkswagen Beetle, etc.).

Características técnicas de Ghibli-Diffusion

• Tecnología de modelo de difusión: se basa en los procesos directo e inverso de los modelos de difusión, reconstruyendo progresivamente una imagen clara a partir del ruido.

• Método de entrenamiento: emplea el método de entrenamiento dreambooth, combinando la pérdida de preservación previa (prior-preservation loss) y los marcadores de entrenamiento del codificador de texto, para garantizar la alta calidad de las imágenes generadas.

• Optimización del rendimiento: la versión más reciente introduce más detalles y elementos personalizados manteniendo el estilo Ghibli, con una velocidad de generación más rápida.

Casos de uso de Ghibli-Diffusion

• Diseño creativo: artistas y diseñadores pueden generar rápidamente arte conceptual, fondos de pantalla, pósters, etc.

• Creación de historias: ayuda a los creadores a convertir escenas y personajes imaginados en arte visual.

• Contenido personalizado: los usuarios pueden transformar sus propias fotos al estilo Ghibli para usarlas en redes sociales o proyectos artísticos personales.

Tutorial de uso de Ghibli-Diffusion

• Prompt de texto: añade "ghibli style" en el prompt y describe el contenido de la imagen que deseas generar.

• Ajuste de parámetros: ajusta según sea necesario el sampler, el CFG scale y el número de pasos para optimizar el resultado de la generación.

• Negative prompts: utiliza negative prompts para excluir los elementos que no deseas que aparezcan y mejorar la calidad de la imagen generada.

Ventajas y limitaciones

Ventajas:

• Imágenes de alta calidad con estilo Ghibli.

• Generación rápida: una imagen tarda en promedio solo 5 segundos.

• Gran flexibilidad, compatible con múltiples necesidades creativas.

Limitaciones:

• Las imágenes generadas pueden no ser perfectas en ciertas escenas complejas.

• Requiere bastantes recursos de cómputo, por lo que necesita una GPU potente.

Código de ejemplo

from diffusers import StableDiffusionPipeline
import torch
model_id = "nitrosocke/Ghibli-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "ghibli style magical princess with golden hair"
image = pipe(prompt).images[0]
image.save("./magical_princess.png")

Demo en Hugging Face:https://huggingface.co/nitrosocke/Ghibli-Diffusion