Seedream 3.0: высокопроизводительная двуязычная модель генерации изображений от ByteDance 234

Что такое Seedream 3.0?

Seedream 3.0 — это новейшая фундаментальная модель генерации изображений, выпущенная командой Seed компании ByteDance, поддерживающая нативное высокое разрешение и двуязычность (китайский и английский). Она способна генерировать изображения с разрешением 2K всего за 3 секунды, а также поддерживает мелкий шрифт и многострочную текстовую вёрстку, при этом уровень пригодности символов как на китайском, так и на английском языке достигает 94%. Seedream 3.0 уже доступен на собственных платформах компании, таких как Jimeng (即梦) и Doubao (豆包), и подходит для различных сценариев, включая дизайн плакатов, рекламное творчество, графический дизайн и генерацию сцен для кино и телевидения.

Повышение производительности

Генерация в высоком разрешении: Seedream 3.0 способен напрямую создавать изображения с разрешением 2K без какой-либо последующей обработки, удовлетворяя визуальные потребности — от экранов мобильных устройств до крупноформатных плакатов.

Сверхбыстрая генерация: данная модель отличается чрезвычайно высокой скоростью генерации изображений — высококачественное изображение с разрешением 1K создаётся всего примерно за 3 секунды. По сравнению с более чем 10 секундами (а иногда и дольше) у аналогичных моделей в отрасли, а также со средним временем в 77 секунд у предыдущей SOTA-модели для генерации изображений по тексту GPT-4o, преимущество очевидно.

Возможности обработки текста

Генерация мелкого шрифта с высокой точностью: решает отраслевую проблему генерации мелкого шрифта, позволяя создавать чёткое и точное содержимое с мелким шрифтом.

Многострочная текстовая вёрстка: модель демонстрирует превосходные результаты в многострочной текстовой вёрстке, повышая естественность расположения текста и семантическую связность.

Двуязычная поддержка: обеспечивается мощная поддержка как китайского, так и английского языков; уровень пригодности текста для символов на китайском и английском языках достигает 94%, что в основном решает проблему ограничений, связанных с рендерингом текста при генерации изображений.

Качество и эстетичность изображений

Оптимизация эстетики и структуры: создаваемые изображения отличаются дальнейшим улучшением эстетики и структуры, повышенным следованием инструкциям и большей выразительностью, что позволяет получать высококачественные композиции и цветовые сочетания.

Генерация реалистичных портретов: модель выделяется в создании реалистичных портретов и может генерировать текстуру кожи с такими достоверными деталями, как морщины, пушковые волосы и шрамы; уровень реалистичности фактически приблизился к профессиональной фотографии.

Технические инновации

Оптимизация данных: расширение набора данных с учётом воспринимаемых дефектов изображений, использование стратегии совместной выборки визуальных и семантических признаков, а также собственной системы поиска изображение-текст для улучшения распределения данных.

Предварительное и последующее обучение: на этапе предварительного обучения используется кросс-модальное ротационное позиционное кодирование для усиления возможностей рендеринга текста; многоразрешающее смешанное обучение обеспечивает прямую генерацию изображений 2K, а новая функция потерь повышает эффективность обучения. На этапе последующего обучения с использованием RLHF разработаны многоуровневые описания эстетики, расширена масштабируемость модели вознаграждения, что повышает производительность модели.

Ускорение инференса: применяется согласованное предсказание шума и стабильный процесс выборки; используется выборка по важным временным шагам для ускорения дистилляции модели, что позволяет осуществлять сквозную генерацию изображений с разрешением 1K всего за 3 секунды.

Сценарии применения

• Профессиональный дизайн плакатов: решает задачи многострочной текстовой вёрстки и генерации мелкого шрифта с высокой точностью

• Создание спецэффектов для кино и телевидения: поддерживает генерацию деталей кожи персонажей (таких как морщины, волосы и т. д.)

• Создание цифрового искусства: позволяет создавать художественные работы с точной цветопередачей и богатой текстурой

Подробное описание:https://team.doubao.com/zh/tech/seedream3_0