Quelles sont les améliorations de Gemma 3 par rapport à Gemma 2 ? 194

À l'instant, Google a lancé Gemma 3, disponible en quatre tailles de paramètres : 1B, 4B, 12B et 27B, pouvant fonctionner sur un seul GPU/TPU ! Et Gemma 3, avec seulement 27B de paramètres, a surclassé le modèle DeepSeek 671B, devenant le meilleur modèle open source juste après DeepSeek R1. Par rapport à Gemma 2, Gemma 3 a été améliorée sur les aspects suivants :

Capacités multimodales

Gemma 3 introduit la prise en charge d'entrées mixtes de texte, d'images et de courtes vidéos, capable de gérer des tâches multimodales complexes telles que la réponse à des questions sur les images et l'analyse de contenu vidéo. Gemma 2, en revanche, se concentrait principalement sur les capacités de traitement de texte.

Amélioration des performances

Gemma 3 est qualifié de « modèle à accélérateur unique le plus puissant au monde », offrant des performances nettement supérieures à Gemma 2 dans un environnement à GPU ou TPU unique, avec une vitesse d'inférence améliorée de 47 % lors du traitement de contenu vidéo court.

Prise en charge linguistique renforcée

Gemma 3 prend en charge le pré-entraînement dans plus de 140 langues et prend directement en charge plus de 35 langues. En comparaison, la prise en charge linguistique de Gemma 2 était beaucoup plus limitée.

Extension de la fenêtre de contexte

La fenêtre de contexte de Gemma 3 a été étendue à 128k tokens, permettant de traiter des quantités d'informations bien plus importantes, telles que 30 images haute résolution ou 1 heure de contenu vidéo. Cela représente une amélioration significative par rapport à la fenêtre de contexte de Gemma 2.

Capacités de traitement visuel

Gemma 3 introduit une technologie de découpage dynamique d'images ainsi qu'une solution combinant l'échantillonnage de frames et l'analyse de flux optique, prenant en charge les images haute résolution et non carrées, et capable de réaliser l'extraction des images clés d'une heure de vidéo en 20 secondes. Gemma 2, quant à elle, avait des capacités plus faibles en matière de traitement visuel.

Sécurité renforcée

Gemma 3 est équipée du classificateur de sécurité d'images ShieldGemma 2, capable de détecter et de signaler les contenus dangereux, pornographiques et violents, améliorant ainsi la sécurité du modèle.

Optimisation matérielle

Gemma 3 a été profondément optimisée pour les GPU Nvidia et les TPU de Google Cloud, garantissant un fonctionnement efficace sur différentes plateformes matérielles. De plus, elle prend en charge plusieurs options de déploiement, notamment Vertex ai, Cloud Run et les environnements locaux.

Améliorations de l'entraînement et du fine-tuning

Gemma 3 utilise des techniques telles que la distillation des connaissances, l'apprentissage par renforcement (y compris le feedback humain et le feedback machine) ainsi que la fusion de modèles, améliorant les capacités du modèle en mathématiques, en codage et en suivi d'instructions. En parallèle, elle offre des outils de fine-tuning plus flexibles, permettant aux développeurs de personnaliser le modèle selon leurs besoins.

Extension de la communauté et de l'écosystème

La sortie de Gemma 3 enrichit davantage l'écosystème « Gemmaverse », permettant aux développeurs de créer des applications encore plus innovantes grâce à ses puissantes fonctionnalités.

En résumé, Gemma 3 a connu des améliorations notables en matière de traitement multimodal, de performances, de prise en charge linguistique, de traitement visuel et de sécurité, ce qui en fait un puissant modèle d'IA plus adapté au déploiement et à l'utilisation sur une grande variété d'appareils.