Помощник сценариста▸ 
AI Приложения 
AI Новости Ghibli-Diffusion: модель генерации изображений в стиле Studio Ghibli
小编 ·
Ghibli-Diffusion: модель генерации изображений в стиле Studio Ghibli
Что такое Ghibli-Diffusion?
Ghibli-Diffusion — это модель генерации изображений по тексту, дообученная на базе модели Stable Diffusion, специально разработанная для создания анимационных изображений в стиле студии Ghibli. Эта модель разработана AI-художником nitrosocke, а обучающие данные взяты из современных анимационных фильмов студии Ghibli.
Основные функции Ghibli-Diffusion
Генерация изображений по тексту: пользователи могут вводить текстовые подсказки (например, «ghibli style») для создания изображений в стиле Ghibli.
Преобразование изображения в изображение: пользователи могут загружать существующие изображения и преобразовывать их в изображения в стиле Ghibli.
Поддержка различных сцен и объектов: модель способна генерировать разнообразные сцены (такие как пляж, ледяная равнина, северное сияние и т.д.) и конкретные объекты (такие как штурмовики, автомобили Volkswagen Beetle и т.д.).
Технические особенности Ghibli-Diffusion
Технология диффузионной модели: основана на прямом и обратном процессе диффузионной модели, постепенно восстанавливая чёткое изображение из шума.
Метод обучения: использует метод обучения dreambooth в сочетании с потерей сохранения приора (prior-preservation loss) и маркерами обучения текстового кодировщика, что обеспечивает высокое качество генерируемых изображений.
Оптимизация производительности: последняя версия сохраняет стиль Ghibli, добавляя больше деталей и элементов персонализации, при этом обеспечивая более быструю генерацию.
Сценарии использования Ghibli-Diffusion
Творческий дизайн: художники и дизайнеры могут быстро генерировать концепт-арт, обои, плакаты и т.д.
Создание историй: помогает авторам преобразовывать воображаемые сцены и персонажей в визуальное искусство.
Персонализированный контент: пользователи могут преобразовывать свои фотографии в стиль Ghibli для использования в социальных сетях или личных творческих проектах.
Руководство по использованию Ghibli-Diffusion
Текстовая подсказка: добавьте в подсказку «ghibli style» и опишите содержание изображения, которое вы хотите сгенерировать.
Настройка параметров: при необходимости настройте сэмплер, CFG scale и количество шагов для оптимизации результата генерации.
Негативные подсказки: используйте негативные подсказки, чтобы исключить нежелательные элементы и повысить качество генерируемых изображений.
Преимущества и ограничения
Преимущества:
Высококачественные изображения в стиле Ghibli.
Быстрая генерация — в среднем одно изображение создаётся всего за 5 секунд.
Высокая гибкость, поддержка различных творческих задач.
Ограничения:
Сгенерированные изображения могут быть не идеальными в некоторых сложных сценах.
Высокие требования к вычислительным ресурсам, необходима мощная видеокарта (GPU).
Пример кода
from diffusers import StableDiffusionPipeline
import torch
model_id = "nitrosocke/Ghibli-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "ghibli style magical princess with golden hair"
image = pipe(prompt).images[0]
image.save("./magical_princess.png")Демонстрация на huggingface: https://huggingface.co/nitrosocke/Ghibli-Diffusion
