Stable Diffusion 3: какие улучшения и нововведения? 186

В четверг Stability AI объявила о выпуске Stable Diffusion 3 — новейшей и самой мощной версии своей модели генерации изображений на основе ИИ. Модель использует архитектуру диффузионного трансформера, что значительно улучшает производительность при работе с многосубъектными подсказками, качество изображений и возможности правописания.

Stable Diffusion 3 использует обновлённый «диффузионный трансформер» — технологию, впервые представленную в 2022 году и доработанную в 2023 году, которая теперь стала масштабируемой. Впечатляющий видеогенератор Sora от OpenAI, по всей видимости, также следует аналогичному принципу (соавтор той статьи, Уилл Пиблз, продолжает совместно руководить проектом Sora). Модели серии Stable Diffusion 3 (принимающие текстовое описание, называемое «подсказкой», и преобразующие его в соответствующее изображение) варьируются по размеру от 800 миллионов до 8 миллиардов параметров. Диапазон размеров позволяет различным версиям модели работать локально на самых разных устройствах — от смартфонов до серверов.

Улучшения производительности и доработки Stable Diffusion 3:

1. Улучшенная обработка нескольких субъектов: новая модель значительно улучшила понимание и обработку подсказок, содержащих несколько субъектов или элементов. Это позволяет пользователям описывать в одной подсказке более сложные сцены, а модель способна точнее генерировать изображения на основе этих описаний.

2. Повышенное качество изображений: Stable Diffusion 3 обеспечивает значительное повышение качества генерируемых изображений, включая более тонкую детализацию, более точное соответствие цветов и более естественные световые эффекты. Эти улучшения делают сгенерированные изображения более реалистичными и лучше отражающими творческий замысел пользователя.

3. Улучшенное правописание и обработка текста: данная версия демонстрирует улучшенные возможности правописания и понимания текста при работе с изображениями, содержащими текстовые элементы (например, слоганы, подписи и т. д.). Это означает, что модель может точнее распознавать и отображать текст из подсказки, даже на сложном визуальном фоне.

4. Применение новой технологии диффузионного трансформера: Stable Diffusion 3 представляет новую технологию диффузионного трансформера, аналогичную той, что используется в Sora, что придаёт модели более мощные возможности генерации изображений. Трансформер — это модель глубокого обучения, специально разработанная для пошагового построения деталей изображения с целью получения высококачественного визуального контента.

5. Согласование потоков и другие технические улучшения: модель интегрирует технологию согласования потоков и другие технические усовершенствования для дальнейшего повышения качества и разнообразия генерируемых изображений. Технология согласования потоков помогает модели лучше понимать и моделировать динамические элементы и структуры в изображении, делая сгенерированные изображения визуально более связными и естественными.

6. Использование достижений технологии трансформеров: Stable Diffusion 3 в полной мере использует последние достижения в технологии трансформеров, что не только расширяет возможности модели, но и позволяет ей обрабатывать мультимодальные входные данные. Это означает, что модель способна работать с более сложными и разнообразными типами данных, например, комбинируя текстовые и графические входные данные, обеспечивая большую гибкость и точность в понимании и генерации визуального контента.

Несмотря на то, что уже были упомянуты некоторые ключевые технические инновации, Stability AI планирует вскоре опубликовать更多 технических подробностей. Эти подробности предоставят техническому сообществу и заинтересованным пользователям глубокое понимание технической основы и инноваций Stable Diffusion 3.

Несмотря на то, что Stable Diffusion 3 пока не получила широкого распространения, Stability заявляет, что после завершения тестирования пользователи смогут бесплатно загрузить её веса и запустить её локально. В своём заявлении Stability отметила: «Как и в случае с предыдущими моделями, этап предварительного просмотра чрезвычайно важен для сбора отзывов, оптимизации производительности и повышения безопасности перед официальным релизом».

В последнее время Stability исследует различные технологии синтеза изображений. Помимо SDXL и SDXL Turbo, компания на прошлой неделе также представила Stable Cascade — технологию синтеза текста в изображение, работающую через трёхэтапный процесс. Кроме того, ещё один продукт Stability AI для генерации видео из текста и генерации видео из изображения — Stable Video — также был запущен в рамках этого открытого бета-тестирования, предоставляя пользователям更多 возможностей.