PaliGemma 2 Mix: open-source визуально-языковая модель для описания, OCR, VQA, детекции и сегментации 199

Google выпустила PaliGemma 2 Mix — открытую мультимодальную модель «зрения и языка», объединяющую в себе возможности описания изображений, оптического распознавания символов (OCR), ответов на вопросы, обнаружения объектов и сегментации. Цель состоит в том, чтобы способствовать развитию задач визуально-языкового понимания благодаря её многозадачности и гибкому выбору моделей. Модель PaliGemma 2 Mix сочетает поддержку нескольких входных разрешений и предоставляет удобные варианты тонкой настройки, что делает её пригодной для применения в самых разных реальных сценариях.

Функциональные особенности PaliGemma 2 Mix

• Мультимодальная обработка: PaliGemma 2 Mix способна решать множество задач, включая создание коротких и длинных текстовых описаний, оптическое распознавание символов (OCR), ответы на вопросы по изображениям, обнаружение объектов и сегментацию изображений.

• Гибкость в размере модели и разрешении: доступны модели с различным числом параметров — 3B, 10B и 28B, а также выбор разрешения 224px и 448px, что позволяет удовлетворить потребности различных задач.

• Удобство для разработчиков: совместимость с популярными фреймворками, такими как Hugging Face Transformers, Keras, PyTorch, JAX и Gemma.cpp, что облегчает использование и тонкую настройку для разработчиков.

• Готовность к прямому применению: пользователи могут сразу использовать модель для решения задач без сложного процесса тонкой настройки, что обеспечивает удобство «из коробки».

• Межмодальное слияние признаков: сочетание визуального кодировщика SigLIP и языковой модели Gemma-2B с линейным проекционным слоем обеспечивает эффективное слияние признаков изображения и текста, повышая мультимодальную способность модели к пониманию.

Сценарии применения PaliGemma 2 Mix

• Распознавание и описание изображений: автоматическое создание подробных описаний изображений, подходящих для социальных сетей, управления контентом и поисковой оптимизации.

• Визуальный ответ на вопросы (VQA): в образовательных и развлекательных приложениях — ответы на вопросы пользователей о содержимом изображений.

• Оптическое распознавание символов (OCR): распознавание текста на изображениях для оцифровки документов, архивирования исторических материалов и автоматического извлечения данных.

• Ответы на научные вопросы: в научной сфере PaliGemma 2 Mix способна понимать и отвечать на сложные научные вопросы.

• Задачи, связанные с текстом: включая обнаружение и распознавание текста, распознавание структуры таблиц, распознавание молекулярных структур, распознавание нотных записей и т. д.

• Электронная коммерция и генерация контента: автоматическое создание описаний для изображений товаров, повышающее привлекательность карточек продуктов.
  

Способ использования PaliGemma 2 Mix

• Установка зависимостей: прежде всего необходимо установить библиотеку transformers версии 4.47 или выше.

• Загрузка модели: используйте классы AutoProcessor и PaliGemmaForConditionalGeneration для загрузки предобученной модели.

• Обработка изображений: используйте библиотеку PIL для загрузки и обработки изображений.

• Логический вывод (инференс): передайте модели изображение и текстовую подсказку, чтобы получить результат.

После выхода PaliGemma 2 Mix станет мощным и гибким инструментом в руках разработчиков и будет демонстрировать отличные результаты во множестве задач визуально-языкового понимания. Будь то распознавание изображений, генерация их описаний или ответы на научные вопросы — модель обладает большим потенциалом применения и удобна в использовании.

Демонстрация на Hugging Face: https://huggingface.co/spaces/google/paligemma2-10b-mix

Технический отчёт (статья): https://arxiv.org/abs/2412.03555