JanusFlow: мультимодальная ИИ-модель от DeepSeek 238

DeepSeek команда выпустила передовую мультимодальную модель искусственного интеллекта, целью которой является объединение задач визуального понимания и генерации. Благодаря сочетанию авторегрессионной языковой модели (LLM) и технологии Rectified Flow, она обеспечивает возможность одновременной обработки понимания изображений и генерации изображений по тексту в рамках одной модели.

Ключевые функции

• Понимание изображений: способность анализировать содержимое изображений и генерировать соответствующие описания, поддержка задач визуального вопросно-ответного взаимодействия, аннотирования изображений и других.

• Генерация изображений по тексту: создание высококачественных изображений на основе текстового описания, применимо в творческом дизайне, рекламе и других областях.

• Единая мультимодальная задача: объединение задач понимания и генерации в одной модели, что избавляет от необходимости поддерживать несколько отдельных моделей, как в традиционных подходах.

• Сквозное обучение: модель достигает сквозного обучения за счёт прямого слияния визуального кодировщика с архитектурой понимания на основе авторегрессионной языковой модели и генеративной архитектурой на основе Rectified Flow.

Технические особенности

• Сочетание авторегрессионной языковой модели и Rectified Flow: благодаря слиянию авторегрессионной языковой модели с технологией Rectified Flow, JanusFlow обеспечивает эффективные возможности генерации и понимания изображений. Rectified Flow — это метод генеративного моделирования, основанный на обыкновенных дифференциальных уравнениях (ODE), который упрощает процесс обучения и повышает качество генерации.

• Разделённый визуальный кодировщик: JanusFlow использует отдельные визуальные кодировщики для задач понимания и генерации, что исключает взаимные помехи между задачами и одновременно повышает семантическую согласованность за счёт стратегии выравнивания представлений.

• Безклассификаторное управление (CFG): в процессе генерации изображений JanusFlow применяет технологию CFG для управления соответствием генерируемых изображений текстовому условию, тем самым повышая качество изображений.

Показатели производительности

• Генерация изображений: в тестах GenEval и DPG-Bench JanusFlow превосходит Stable Diffusion v1.5 и SDXL, демонстрируя лидирующий уровень семантической точности и визуального качества генерируемых изображений29.

• Понимание изображений: в задачах визуального понимания, таких как MMBench, SeedBench и GQA, JanusFlow набирает 74,9, 70,5 и 60,3 балла соответственно, превосходя ряд специализированных моделей аналогичного масштаба.

Технические преимущества

• Концепция дизайна JanusFlow заключается в достижении сложных функций за счёт минималистичной архитектуры. Сочетание предварительно обученного визуального кодировщика и большой языковой модели повышает общую производительность и эффективность модели. Такая инновационная архитектура выводит JanusFlow на лидирующие позиции в области мультимодального ai и обеспечивает широкий потенциал применения.

Стратегия обучения

• Этап адаптации: компоненты инициализируются случайным образом и проходят первичное обучение, что позволяет новым модулям эффективно взаимодействовать с предварительно обученной моделью.

• Единое предварительное обучение: обучение проводится на данных мультимодального понимания, генерации изображений и чисто текстовых данных с постепенным увеличением доли генеративных данных.

• Контролируемое тонкое обучение (SFT): модель дообучается с использованием данных инструктивной настройки, что дополнительно повышает её способность реагировать и качество генерации.

Сценарии применения

• Творческий дизайн: генерация высококачественных изображений по текстовому описанию для рекламы, разработки игр и других сценариев.

• Визуальное вопросно-ответное взаимодействие: интеллектуальные вопросно-ответные сервисы на основе изображений в таких областях, как образование и экскурсии в музеях.

• Мультимодальное создание контента: создание нового медиаконтента с использованием текста и изображений, применимое в социальных сетях, новостных репортажах и других областях.

Открытый исходный код и ресурсы

JanusFlow — это проект с открытым исходным кодом, включающий следующие ресурсы:

Репозиторий на GitHub: https://github.com/deepseek-ai/Janus

Скачать модель:Hugging Face

Онлайн-демо: Demo

Техническая статья: arXiv

Связанные материалы:

Чем отличаются и что общего у Janus-Pro и JanusFlow?

DeepSeek поздно ночью представила новые мультимодальные модели ИИ: Janus-Pro и JanusFlow