OmniGen2: open-source альтернатива Flux.1 Kontext 69

OmniGen2 — это мультимодальная генеративная модель, выпущенная Институтом BAAI (智源研究院). Подобно Flux.1 Kontext, она позволяет редактировать изображения с помощью текста, объединяя визуальное понимание, синтез изображений из текста, редактирование изображений на основе инструкций и контекстную генерацию с учётом субъекта в единой структуре. Модель использует декаплированную архитектуру, которая при сохранении возможностей языкового моделирования обеспечивает вывод визуально детализированных и стилистически единообразных изображений. Кроме того, она включает механизм мультимодальной рефлексии, который позволяет анализировать, оценивать и итеративно улучшать сгенерированные результаты, интегрируя логический вывод и самокоррекцию в процесс генерации изображений. Это обеспечивает выдающуюся производительность как в задачах генерации, так и понимания, устанавливая новый стандарт среди легковесных моделей с открытым исходным кодом.

Основные функции

• Генерация изображений из текста: пользователи могут создавать изображения различных сцен и персонажей по текстовому описанию, например: «кот в короне, лежащий на бархатном троне» или «тёмный маг, творящий заклинание в древней пещере».

• Редактирование изображений: поддерживает множество видов модификаций сгенерированных изображений, таких как изменение цвета одежды, замена фона, добавление или удаление элементов сцены.

• Преобразование стилей: позволяет преобразовывать изображения в различные художественные стили, такие как аниме или масляная живопись.

• Композиция персонажей и сцен: может объединять персонажей или элементы из разных изображений в новые сцены, например: «девушка с первого изображения и юноша со второго изображения играют свадьбу в церкви».

Особенности

• Высококачественный результат: сгенерированные изображения отличаются богатой детализацией и превосходным визуальным качеством.

• Гибкие возможности редактирования: предоставляет множество вариантов редактирования, позволяя пользователям настраивать изображения в соответствии со своими потребностями.

• Открытый исходный код: будучи проектом с открытым исходным кодом, предоставляет разработчикам и исследователям больше возможностей для изучения и разработки.

Сценарии использования

• Креативный дизайн: дизайнеры могут с помощью OmniGen2 быстро генерировать концепции и эскизы.

• Создание контента: создатели контента могут генерировать изображения различных сцен и героев для использования в написании историй, создании видео и других сценариях.

• Образование и исследования: педагоги и исследователи могут использовать её в качестве учебного и исследовательского инструмента для изучения применения мультимодальных генеративных технологий.

Примеры применения

• Генерация изображений: создание изображений различных сцен и героев по текстовому описанию, например: «кот в короне, лежащий на бархатном троне».

• Редактирование изображений: внесение изменений в сгенерированные изображения, например изменение цвета одежды, замена фона и другие операции.

• Композиция изображений: объединение элементов из разных изображений в новую сцену, например: «девушка с первого изображения и юноша со второго изображения играют свадьбу в церкви».

Ключевые вопросы

1. В чём заключается ключевая инновация OmniGen2?

Ключевая инновация OmniGen2 заключается в использовании двухпутевой декаплированной архитектуры для интеграции возможностей мультимодальной генерации, внедрении механизма мультимодальной рефлексии для самооптимизации выходных данных, а также в разработке позиционного вложения Omni-RoPE для повышения согласованности при редактировании изображений и контекстной генерации. Эти инновации позволили установить новый стандарт среди легковесных моделей с открытым исходным кодом.

2. Какие конкретные операции редактирования изображений способен выполнять OmniGen2?

OmniGen2 способен выполнять множество тонких операций редактирования изображений, включая работу с объектами (например, добавление или удаление объектов — надеть на персонажа шляпу рыбака, убрать кота из сцены), преобразование стилей (например, заменить фон на классную комнату, изменить стиль на стиль студии Ghibli), корректировку цветов (например, изменить цвет платья на синий), изменение выражений лица (например, заставить персонажа улыбнуться), редактирование действий (например, заставить персонажа поднять руку) и многое другое, при этом сохраняя визуальную реалистичность и согласованность неотредактированных областей.

3. Как механизм мультимодальной рефлексии повышает качество генерации OmniGen2?

Механизм мультимодальной рефлексии позволяет OmniGen2 оценивать собственные выходные результаты и выявлять несоответствия между описанием и содержимым изображения (например, при описании «три пиццы», когда на изображении только одна, модель предложит добавить), ошибки в цвете или расположении (например, если жёлтая брокколи сгенерирована зелёной — предложит изменить цвет, если собака появляется на стуле вместо жёлтого обеденного стола — предложит скорректировать положение) и другие проблемы, а затем посредством итеративной оптимизации генерировать результаты, в большей степени соответствующие требованиям, тем самым повышая контролируемость, надёжность и качество вывода.

Домашняя страница проекта:https://vectorspacelab.github.io/OmniGen2/

Технический документ:https://github.com/VectorSpaceLab/OmniGen2

Онлайн-тестирование:https://huggingface.co/OmniGen2/OmniGen2

Примечание:Flux.1 Kontext — это инструмент для генерации и редактирования изображений, разработанный немецкой лабораторией Black Forest Labs. Он позволяет создавать и редактировать изображения на основе текстовых и графических подсказок, включая модификацию объектов, преобразование стилей, замену фона, сохранение согласованности персонажей и редактирование текста. В отличие от традиционных моделей преобразования текста в изображение, он поддерживает контекстную генерацию изображений, позволяя одновременно комбинировать текстовые и графические подсказки, напрямую извлекать и модифицировать визуальные концепции для создания новых связных изображений.