Google выпускает Gemma 3: превосходит DeepSeek V3 и o3-mini и становится второй по силе открытой моделью в мире 206

Что такое Gemma 3?

Gemma 3 — это новейшая модель с открытым исходным кодом, выпущенная Google, которая превзошла DeepSeek V3 и o3mini и стала второй по мощности моделью с открытым исходным кодом в мире. Gemma 3 обладает широкими мультимодальными возможностями, способна понимать текст, изображения и короткие видео, а также поддерживает предварительное обучение более чем на 140 языках с прямой поддержкой более 35 языков. Она оснащена контекстным окном в 128K токенов, что позволяет обрабатывать большие объёмы информации, а также поддерживает вызов функций и разработку ai-агентов для автоматизации сложных задач. Gemma 3 предлагается в четырёх размерах (1B, 4B, 12B и 27B) для удовлетворения различных аппаратных и производительных требований, а также эффективно работает на различных устройствах — от смартфонов до компьютеров, что обеспечивает широкое развёртывание от мобильных устройств до рабочих станций.

Особенности и возможности Gemma 3

• Мультимодальные возможности: поддержка смешанного ввода текста, изображений и коротких видео для решения сложных мультимодальных задач.

• Мощная языковая поддержка: предварительное обучение на более чем 140 языках с прямой поддержкой более 35 языков.

• Большое контекстное окно: поддержка контекстного окна в 128k токенов, позволяющая обрабатывать большие объёмы информации, например, 30 изображений высокого разрешения или 1 час видео.

• Высокая производительность: на одном GPU или TPU превосходит другие аналогичные модели, такие как Llama, DeepSeek и o3-mini от OpenAI.

• Оптимизация и квантование: доступны официальные квантованные версии, уменьшающие размер модели и вычислительные требования при сохранении высокой точности.

• Безопасность: оснащена классификатором безопасности изображений ShieldGemma 2 для обнаружения и маркировки опасного контента.

Особенности моделей Gemma 3 четырёх размеров

• 1B: лёгкая версия, подходящая для устройств с ограниченными ресурсами, таких как смартфоны или ноутбуки.

• 4B: подходит для мультимодальных задач с улучшенной обработкой изображений и текста.

• 12B: более высокая производительность для сложного анализа изображений и видео.

• 27B: самая большая версия с наивысшей производительностью для высокопроизводительных вычислительных сценариев.

Сценарии применения Gemma 3

• Обработка естественного языка: используется для чат-ботов, интеллектуальных ассистентов, классификации текста, анализа тональности и машинного перевода.

• Распознавание и анализ изображений: поддержка распознавания лиц, обнаружения объектов, визуального вопросно-ответного взаимодействия и сравнения изображений.

• Анализ видео: возможность обработки коротких видео для анализа и генерации видеоконтента.

• Интеллектуальная поддержка клиентов: объединение мультимодального ввода для более интеллектуального обслуживания клиентов.

• Промышленный контроль качества: использование возможностей анализа изображений для выявления проблем с качеством продукции.

• Генерация кода и помощь в программировании: поддержка генерации кода и автоматического исправления кода.

Как использовать Gemma 3

1. Быстрые эксперименты: используйте Gemma 3 прямо в браузере через Google AI Studio без какой-либо настройки.

2. Загрузка и дообучение: загрузите модель с Hugging Face, Ollama или Kaggle и выполните дообучение с помощью Hugging Face Transformers или других инструментов.

3. Варианты развёртывания: поддержка нескольких способов развёртывания, включая Vertex AI, Cloud Run, Google GenAI API, локальную среду и NVIDIA GPU.

4. Поддержка инструментов разработки: совместимость с Hugging Face Transformers, Ollama, JAX, Keras, PyTorch и другими инструментами разработки.

Технология Gemma 3

• Базовая архитектура: основана на той же технологической архитектуре, что и Gemini.

• Обучение и оптимизация: применяются дистилляция знаний, обучение с подкреплением (включая обратную связь от человека и от машины), а также слияние моделей для повышения производительности.

• Обработка визуальной информации: используется технология динамической нарезки изображений в сочетании с выборкой кадров и анализом оптического потока, поддерживающая изображения высокого разрешения и нестандартной формы.

• Аппаратная оптимизация: глубокая оптимизация для NVIDIA GPU и Google Cloud TPU обеспечивает эффективную работу.

Какие улучшения Gemma 3 по сравнению с Gemma 2?

• Мультимодальные возможности: добавлена поддержка смешанного ввода текста, изображений и коротких видео для сложных задач, таких как визуальное вопросно-ответное взаимодействие и анализ видео.

• Повышение производительности: более высокая производительность на одном GPU, скорость вывода увеличена на 47%.

• Языковая поддержка: предварительное обучение на более чем 140 языках с прямой поддержкой 35 языков, улучшенные возможности языковой обработки.

• Расширенное контекстное окно: поддержка 128k токенов для обработки информации в большем объёме.

• Возможности обработки визуальной информации: поддержка анализа изображений высокого разрешения и видео, время извлечения ключевых кадров из 1-часового видео сокращено до 20 секунд.

• Усиленная безопасность: оснащена классификатором безопасности изображений ShieldGemma 2 для обнаружения опасного контента.

• Аппаратная оптимизация: глубокая оптимизация для GPU и TPU с поддержкой нескольких вариантов развёртывания.

• Обучение и дообучение: использование технологий обучения с подкреплением и предоставление более гибких инструментов дообучения.

Подробнее:https://blog.google/technology/developers/gemma-3/