DeepSeek поздно ночью представила новые мультимодальные модели AI: Janus-Pro и JanusFlow 262

DeepSeek выпустил Janus-Pro и JanusFlow — значительный прорыв в области мультимодального искусственного интеллекта. Обе модели разработаны для повышения возможностей понимания и генерации изображений, особенно демонстрируя выдающиеся результаты в задачах генерации изображений по тексту.

Модель Janus-Pro

Janus-Pro — это унифицированная мультимодальная платформа для понимания и генерации. Её архитектура за счёт разделения визуального кодирования значительно улучшает адаптируемость и производительность модели в различных задачах. Согласно отчёту DeepSeek, Janus-Pro показывает отличные результаты в нескольких бенчмарках, особенно в генерации изображений по тексту, где её точность достигает 80% и 84,2%, превосходя таких конкурентов, как DALL-E 3 от OpenAI.

Кроме того, конструкция Janus-Pro делает акцент на гибкости и эффективности, что позволяет адаптировать её к различным мультимодальным сценариям, таким как визуальные вопросы-ответы и аннотирование изображений. Это открывает широкие перспективы практического применения, особенно в областях, требующих высококачественной генерации изображений, таких как реклама, игры и художественное творчество.

Модель JanusFlow

Дополняя Janus-Pro, JanusFlow представляет собой платформу, объединяющую генеративный поток с авторегрессионной языковой моделью. Её концепция заключается в обеспечении единства визуального понимания и генерации, позволяя превосходно справляться с задачами понимания и одновременно генерировать высококачественные изображения. Минималистичная архитектура JanusFlow делает её более эффективной при обучении и логическом выводе, что подходит для крупномасштабных приложений.

Технические особенности и инновации

Janus-Pro:

• Разделение визуального кодирования: путём разделения процесса визуального кодирования на независимые пути для обработки задач мультимодального понимания и генерации решается конфликт функций визуального кодировщика в традиционных моделях при выполнении двух типов задач, что значительно повышает адаптируемость и производительность модели.

• Единая архитектура Transformer: использование единой архитектуры Transformer для обработки мультимодальных задач упрощает конструкцию модели и улучшает возможности масштабирования.

• Высокая производительность: в бенчмарках GenEval и DPG-Bench точность Janus-Pro-7B достигает 80% и 84,2% соответственно, превосходя DALL-E 3 от OpenAI и Stable Diffusion.

JanusFlow:

• Слияние генеративного потока и языковой модели: путём объединения генеративного потока (Rectified Flow) с авторегрессионной языковой моделью JanusFlow реализует минималистичную, но мощную мультимодальную платформу, способную генерировать высококачественные изображения без сложных модификаций.

• Высокая гибкость и масштабируемость: поддерживает расширение для множества задач, что делает её отличным выбором в качестве единой мультимодальной платформы.

Показатели производительности

Возможности генерации изображений: Janus-Pro и JanusFlow поддерживают генерацию изображений с разрешением 384x384, обеспечивая высокое качество и адаптируемость к различным сценариям применения.

Возможности мультимодального понимания: в таких задачах, как визуальные вопросы-ответы и аннотирование изображений, обе модели превосходят специализированные модели, демонстрируя высокую универсальность.

Результаты бенчмарков: в тестах GenEval и DPG-Bench Janus-Pro-7B значительно превосходит DALL-E 3 и Stable Diffusion, становясь лидером в современной мультимодальной области.

Выпуск моделей Janus-Pro и JanusFlow не только демонстрирует технологические инновации, но и показывает значительные преимущества в производительности.