Assistant scénario▸ 
Apps AI 
Actualités AI Ghibli-Diffusion : un modèle de génération d'images IA de style Studio Ghibli
小编 ·
Ghibli-Diffusion : un modèle de génération d'images IA de style Studio Ghibli
Qu'est-ce que Ghibli-Diffusion ?
Ghibli-Diffusion est un modèle de génération de texte à image, affiné à partir du modèle Stable Diffusion, spécialement conçu pour produire des images animées dans le style du Studio Ghibli. Ce modèle a été développé par l'artiste IA nitrosocke, et ses données d'entraînement proviennent des films d'animation modernes du Studio Ghibli.
Fonctionnalités principales de Ghibli-Diffusion
Génération de texte à image : les utilisateurs peuvent générer des images de style du Ghibli en saisissant des invites textuelles (comme « ghibli style »).
Conversion d'image à image : les utilisateurs peuvent télécharger une image existante et la convertir en une image de style du Ghibli.
Prise en charge de scènes et d'objets variés : le modèle est capable de générer diverses scènes (comme des plages, des banquises, des aurores boréales, etc.) et des objets spécifiques (comme des stormtroopers, des Volkswagen Coccinelle, etc.).
Caractéristiques techniques de Ghibli-Diffusion
Technique de modèle de diffusion : basée sur les processus direct et inverse des modèles de diffusion, l'image nette est progressivement reconstruite à partir du bruit.
Méthode d'entraînement : utilise la méthode d'entraînement dreambooth, combinée à la perte de préservation a priori (prior-preservation loss) et aux marqueurs d'entraînement de l'encodeur de texte, afin de garantir une haute qualité des images générées.
Optimisation des performances : la dernière version préserve le style du Ghibli tout en introduisant davantage de détails et d'éléments personnalisés, avec une génération plus rapide.
Cas d'utilisation de Ghibli-Diffusion
Design créatif : les artistes et les designers peuvent générer rapidement des concepts art, des fonds d'écran, des affiches, etc.
Création d'histoires : aide les créateurs à transformer en art visuel les scènes et personnages qu'ils imaginent.
Contenu personnalisé : les utilisateurs peuvent convertir leurs propres photos en style du Ghibli, pour les médias sociaux ou des projets artistiques personnels.
Tutoriel d'utilisation de Ghibli-Diffusion
Invite textuelle : ajoutez « ghibli style » à l'invite et décrivez le contenu de l'image que vous souhaitez générer.
Réglage des paramètres : ajustez selon vos besoins le sampler, le CFG scale et le nombre d'étapes pour optimiser le rendu.
Invites négatives : utilisez des invites négatives pour exclure les éléments indésirables et améliorer la qualité des images générées.
Avantages et limites
Avantages :
Images de style du Ghibli de haute qualité.
Génération rapide : en moyenne, une image est générée en seulement 5 secondes.
Grande flexibilité, adaptée à de nombreux besoins créatifs.
Limites :
Les images générées peuvent ne pas être parfaites dans certaines scènes complexes.
Exigences élevées en ressources de calcul, nécessitant un GPU performant.
Exemple de code
from diffusers import StableDiffusionPipeline
import torch
model_id = "nitrosocke/Ghibli-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "ghibli style magical princess with golden hair"
image = pipe(prompt).images[0]
image.save("./magical_princess.png")Démo huggingface :https://huggingface.co/nitrosocke/Ghibli-Diffusion
