PaliGemma: открытая визуально-языковая модель от Google 197

PaliGemma — это разработанная и выпущенная компанией Google мультимодальная языковая модель (VLM) с функциями компьютерного зрения. В отличие от других VLM, таких как GPT-4o от Openai, Google Gemini и Claude 3 от Anthropic, PaliGemma обладает широкими возможностями и может быть дообучена под конкретные задачи для повышения производительности.

PaliGemma была представлена вместе с другими продуктами на мероприятии Google I/O 2024 года и представляет собой мультимодальную модель, объединяющую две другие модели Google Research: SigLIP (модель компьютерного зрения) и Gemma (большая языковая модель). Это означает, что модель представляет собой комбинацию декодера Transformer и кодировщика изображений Vision Transformer. На вход она принимает изображения и текст, а на выходе генерирует текст, поддерживая множество языков.

Что умеет PaliGemma?

PaliGemma — это однопроходная языковая модель компьютерного зрения, которая лучше всего работает при дообучении под конкретные сценарии использования. Это означает, что вы можете подать на вход изображение и текстовую строку, например подсказку или вопрос для составления подписи к изображению, а PaliGemma выдаст текстовый ответ, такой как подпись к изображению, ответ на вопрос или список координат ограничивающих рамок объектов.

PaliGemma подходит для выполнения задач, связанных со следующими результатами тестов, опубликованными Google:

• Дообучение под одну задачу

• Ответы на вопросы по изображениям и создание подписей

• Ответы на вопросы по видео и создание подписей

• Сегментация

Это означает, что PaliGemma очень полезна для простых и конкретных вопросов, связанных с визуальными данными.

Мы составили таблицу, показывающую результаты PaliGemma по сравнению с другими моделями на основе результатов, опубликованных в общепринятых бенчмарках.

Хотя бенчмарки — полезная точка отсчёта, они не рассказывают всей истории. PaliGemma предназначена для дообучения, тогда как другие модели являются проприетарными. Чтобы показать, какие варианты доступны, мы сравниваем её с другими моделями, которые нельзя дообучать (как правило, более крупными).

Стоит поэкспериментировать, чтобы выяснить, даст ли дообучение на ваших данных лучшие результаты для конкретного случая использования по сравнению с производительностью других моделей «из коробки».

Далее в этой статье мы сравним PaliGemma с другими открытыми VLM и LMM, используя набор стандартных тестов. Читайте дальше, чтобы узнать о её производительности.

Как дообучить PaliGemma

Одна из захватывающих особенностей PaliGemma — возможность дообучения на данных для конкретных сценариев использования. Команда Google PaliGemma опубликовала ноутбук, демонстрирующий, как выполнить дообучение на небольшом наборе данных.

Следует отметить, что в этом примере дообучались только слои внимания, поэтому улучшение производительности может быть ограниченным.

Применения PaliGemma

Используете ли вы PaliGemma «из коробки» или дообучаете её на своих данных — существуют конкретные сценарии использования, созданные с учётом преимуществ PaliGemma, которые откроют двери для новых применений ИИ. Рассмотрим два из них.

Пользовательские приложения

Такие модели, как Claude 3, Gemini 1.5 Pro и GPT-4o, можно использовать «из коробки» и применять к задачам, для которых они подходят. PaliGemma привносит мультимодальные возможности в сценарии, которые проприетарные модели всё ещё не могут решить, поскольку вы можете дообучить PaliGemma на собственных данных, относящихся к вашей задаче. Это особенно полезно в таких отраслях, как производство, потребительские товары, здравоохранение и безопасность. Если вы столкнулись с уникальной задачей, которую проприетарные модели не видели и никогда не увидят из-за их закрытого характера, PaliGemma станет отличной отправной точкой для создания индивидуального решения на основе ИИ.

OCR

Как было показано ранее в этой статье, PaliGemma — это мощная модель OCR, не требующая дополнительного дообучения. При создании приложений OCR, масштабируемых до миллиардов прогнозов, баланс между задержкой, стоимостью и точностью может быть сложно соблюсти. До появления PaliGemma лучшими по производительности были проприетарные модели, но их стоимость и отсутствие владения моделью затрудняли обоснование их использования в продакшене. PaliGemma может обеспечить мгновенную производительность и со временем улучшаться за счёт дообучения на конкретных данных.