Какие улучшения у Gemma 3 по сравнению с Gemma 2? 197

Только что Google выпустила Gemma 3 — четыре варианта с параметрами 1B, 4B, 12B и 27B, которые могут работать на одном GPU/TPU! При этом Gemma 3 всего с 27B параметрами превзошла модель DeepSeek 671B, став лучшей открытой моделью сразу после DeepSeek R1. По сравнению с Gemma 2, Gemma 3 была улучшена в следующих аспектах:

Мультимодальные возможности

Gemma 3 получила поддержку смешанного ввода текста, изображений и коротких видео, что позволяет решать сложные мультимодальные задачи, такие как вопросы по изображениям и анализ видеоконтента. В то время как Gemma 2 была в основном сосредоточена на обработке текста.

Повышение производительности

Gemma 3 называется «самой мощной в мире моделью для одного ускорителя» и демонстрирует значительно лучшую производительность по сравнению с Gemma 2 на одном GPU или TPU — скорость вывода при обработке коротких видео увеличилась на 47%.

Расширенная языковая поддержка

Gemma 3 поддерживает предварительное обучение для более чем 140 языков и напрямую поддерживает более 35 языков. Для сравнения, языковая поддержка Gemma 2 была значительно уже.

Расширение контекстного окна

Контекстное окно Gemma 3 расширено до 128k токенов, что позволяет обрабатывать гораздо больший объём информации, например 30 изображений в высоком разрешении или 1 час видеоконтента. Это существенное улучшение по сравнению с контекстным окном Gemma 2.

Возможности визуальной обработки

Gemma 3 внедрила технологию динамической нарезки изображений и комбинированный подход с выборкой кадров и анализом оптического потока, поддерживает изображения в высоком разрешении и нестандартных пропорциях, а также способна извлекать ключевые кадры из 1 часа видео за 20 секунд. Возможности Gemma 2 в визуальной обработке были значительно слабее.

Повышенная безопасность

Gemma 3 оснащена классификатором безопасности изображений ShieldGemma 2, который способен обнаруживать и маркировать опасный, неприемлемый и жестокий контент, что дополнительно повышает безопасность модели.

Аппаратная оптимизация

Gemma 3 была глубоко оптимизирована для GPU Nvidia и Google Cloud TPU, что обеспечивает эффективную работу на различных аппаратных платформах. Кроме того, она поддерживает множество вариантов развёртывания, включая Vertex ai, Cloud Run и локальные среды.

Улучшения в обучении и дообучении

Gemma 3 использует такие методы, как дистилляция знаний, обучение с подкреплением (включая обратную связь от человека и от машины), а также слияние моделей, что повысило возможности модели в математике, кодировании и следовании инструкциям. Одновременно она предлагает более гибкие инструменты для дообучения, позволяя разработчикам настраивать её под свои потребности.

Расширение сообщества и экосистемы

Выпуск Gemma 3 дополнительно обогатил экосистему «Gemmaverse», позволяя разработчикам создавать больше инновационных приложений на основе её мощных возможностей.

В целом, Gemma 3 демонстрирует заметные улучшения в мультимодальной обработке, производительности, языковой поддержке, визуальной обработке и безопасности, что делает её мощной моделью ИИ, более подходящей для развёртывания и использования на различных устройствах.