Nexus-Gen: открытая мультимодальная модель для работы с изображениями на уровне GPT-4o 90

小编 · 2025-05-12

Nexus-Gen — открытая модель для работы с изображениями от команды ModelScope, возможности понимания, генерации и редактирования изображений которой сопоставимы с GPT-4o. Она объединяет текстовое моделирование MLLM с рендерингом изображений на основе диффузии и применяет уникальный подход к моделированию в многомерном пространстве признаков, эффективно решая проблему накопления ошибок, характерную для традиционных авторегрессионных моделей. Благодаря раздельному обучению авторегрессионной и диффузионной составляющих качество генерации заметно выросло. Для обучения также использован датасет из 25 млн примеров, предоставленный сообществом open-source.

Nexus-Gen: открытая мультимодальная модель для работы с изображениями на уровне GPT-4o

Nexus-Gen — это модель для работы с изображениями с открытым исходным кодом от команды ModelScope, возможности которой в понимании, генерации и редактировании изображений сопоставимы с GPT-4o. Эта модель объединяет текстовое моделирование MLLM и технологию рендеринга изображений с помощью диффузионных моделей, а также использует уникальный подход к моделированию в пространстве признаков высокой размерности, что эффективно решает проблему накопления ошибок, характерную для традиционных авторегрессионных моделей во время вывода. Благодаря раздельному обучению авторегрессионной и диффузионной моделей качество генерации изображений Nexus-Gen значительно улучшилось. Кроме того, для обучения использовались 25M данных, предоставленных сообществом открытого исходного кода, что способствует развитию моделей типа All-to-All.

Nexus-Gen：开源全能图像模型，具备GPT-4o相媲美的图像理解、生成和编辑能力.webp

Функциональные особенности Nexus-Gen

1. Понимание изображений

Точное распознавание и анализ: Nexus-Gen способен точно понимать различные элементы на изображении, включая объекты, сцены, текст и т.д. Например, в задачах оптического распознавания символов (OCR) он может с высокой точностью распознавать текстовое содержимое на изображении и понимать его семантику.
Адаптивность к множеству областей: модель демонстрирует отличные результаты во многих областях, включая общие визуальные вопросы и ответы, понимание языка, подсчёт объектов, разбор кода, математические и научные задачи. Например, в задачах визуальных вопросов и ответов она может отвечать на сложные вопросы по содержимому изображения, такие как «Какие животные на картинке и что они делают?».
Понимание контекста: Nexus-Gen обращает внимание не только на само изображение, но и способен учитывать контекст изображения в сочетании с текстовым описанием. Например, при получении изображения с пояснительным текстом модель может более точно интерпретировать содержимое изображения, опираясь на сочетание текста и изображения.

2. Генерация изображений

Высококачественный синтез изображений: Nexus-Gen может генерировать высококачественные изображения как простых объектов, так и сложных сцен. Например, по текстовому описанию «золотистый ретривер, бегущий по траве» он способен создать чёткое и реалистичное изображение.
Креативность и детализация: модель способна генерировать креативные и детализированные изображения на основе текстовых подсказок. Например, по описанию «ночной пейзаж города будущего с мерцающими неоновыми огнями и летающими автомобилями» она может создать изображение с ощущением футуризма и технологичности.
Стилизованная генерация: Nexus-Gen поддерживает генерацию изображений в различных стилях, включая реалистичный, мультипликационный, масляной живописи и др. Пользователи могут указать стиль для получения нужного изображения.

3. Редактирование изображений

Разнообразные операции редактирования: Nexus-Gen поддерживает множество операций редактирования изображений, включая изменение объектов, добавление объектов, удаление объектов, изменение цвета и преобразование стиля. Например, пользователь может попросить «изменить красные цветы на этой фотографии на синие» или «добавить бабочку на изображение».
Точный контроль: модель способна точно выполнять операции редактирования в соответствии с текстовыми инструкциями. Например, пользователь может попросить «заменить небо на изображении закатным фоном», и Nexus-Gen точно распознает и заменит фон.
Многоэтапный процесс редактирования: Nexus-Gen может справляться со сложными многоэтапными задачами редактирования. Например, пользователь может попросить «сначала заменить старую машину на изображении на новую, а затем изменить фон на городскую улицу», и модель последовательно выполнит эти действия.

Сценарии применения Nexus-Gen

1. Создание контента

Креативный дизайн: дизайнеры могут использовать Nexus-Gen для быстрой генерации креативных изображений в качестве отправной точки или источника вдохновения. Например, при разработке рекламного плаката можно сгенерировать предварительный визуальный образ на основе текста.
Иллюстрация и живопись: художники могут использовать эту модель для создания эскизов иллюстраций или картин, а затем дорабатывать их. Например, создание эскизов иллюстраций по описанию сюжета позволяет сэкономить время.

2. Реклама и маркетинг

Создание рекламных материалов: рекламные агентства могут использовать Nexus-Gen для быстрого создания изображений, необходимых для рекламы. Например, генерация изображений продуктов или сцен по рекламному тексту.
Персонализированная реклама: создание персонализированных рекламных изображений с учётом потребностей и предпочтений пользователей. Например, генерация изображений с рекомендациями продуктов, соответствующих интересам пользователя.

3. Разработка игр

Генерация игровых сцен и персонажей: разработчики игр могут использовать Nexus-Gen для создания сцен и персонажей в игре. Например, генерация игровых карт или образов персонажей по описанию игрового сюжета.
Расширение библиотеки игровых материалов: быстрая генерация большого количества игровых материалов для обогащения игрового контента. Например, создание зданий, предметов и других элементов в различных стилях.

4. Образование и обучение

Учебные пособия: преподаватели могут использовать Nexus-Gen для создания изображений, необходимых в учебном процессе, помогая учащимся лучше понять материал. Например, генерация изображений животных и растений на уроках естествознания.
Виртуальные лаборатории: создание изображений виртуальных экспериментальных сцен и пошаговых инструкций для проведения виртуальных экспериментов учащимися. Например, создание изображений химических экспериментов для демонстрации процесса.

5. Развлечения и социальные сети

Персонализированные аватары и изображения: пользователи могут создавать персонализированные аватары или изображения для социальных сетей в соответствии со своими предпочтениями. Например, создание мультипликационных аватаров с индивидуальным стилем.
Креативное редактирование фотографий: публикация в социальных сетях креативно отредактированных фотографий. Например, преобразование обычных фотографий в изображения с художественным стилем для повышения их выразительности.

Установка и использование

Шаги установки

Установите DiffSynth-Studio: клонируйте из исходного кода и установите командой git clone https://github.com/modelscope/DiffSynth-Studio.git, перейдите в каталог и выполните pip install -e. .
Установка зависимостей: выполните pip install -r requirements.txt.
Для выполнения дообучения установите ms-swift: pip install ms-swift -U.
Подготовьте модель: запустите python download_models.py.

Использование функциональных скриптов

Понимание изображений: запустите python image_understanding.py.

Генерация изображений

Генерация изображений с подробными подсказками: запустите python image_generation.py.
Использование Nexus-Gen для улучшения подсказок и генерации изображений: запустите python image_generation_with_selfpolish.py.

Редактирование изображений: запустите python image_editing.py.