Welche Verbesserungen bietet Gemma 3 gegenüber Gemma 2? 191

Soeben hat Google Gemma 3 veröffentlicht – mit vier Parametergrößen: 1B, 4B, 12B und 27B, die auf einer einzigen GPU/TPU laufen können! Und Gemma 3 schlägt mit nur 27B das DeepSeek-671B-Modell und ist damit das beste Open-Source-Modell direkt nach DeepSeek R1. Im Vergleich zu Gemma 2 wurde Gemma 3 in folgenden Bereichen verbessert:

Multimodale Fähigkeiten

Gemma 3 unterstützt gemischte Eingaben aus Text, Bildern und kurzen Videos und kann komplexe multimodale Aufgaben wie Bildfragenbeantwortung und Videoinhaltsanalyse bewältigen. Gemma 2 konzentrierte sich hingegen hauptsächlich auf Textverarbeitungsfähigkeiten.

Leistungssteigerung

Gemma 3 wird als „leistungsstärkstes Einzelbeschleuniger-Modell der Welt" bezeichnet und übertrifft Gemma 2 auf einer einzelnen GPU oder TPU deutlich – die Inferenzgeschwindigkeit ist bei der Verarbeitung kurzer Videoinhalte um 47 % gestiegen.

Erweiterte Sprachunterstützung

Gemma 3 unterstützt Vortraining in über 140 Sprachen und bietet direkte Unterstützung für mehr als 35 Sprachen. Im Vergleich dazu war der Sprachumfang von Gemma 2 deutlich eingeschränkter.

Erweitertes Kontextfenster

Das Kontextfenster von Gemma 3 wurde auf 128k Tokens erweitert und kann damit deutlich mehr Informationen verarbeiten, z. B. 30 hochauflösende Bilder oder 1 Stunde Videomaterial. Dies ist eine deutliche Steigerung gegenüber dem Kontextfenster von Gemma 2.

Fähigkeiten zur Bildverarbeitung

Gemma 3 führt dynamisches Image-Tiling sowie eine Kombination aus Frame-Sampling und optischer Flussanalyse ein, unterstützt hochauflösende und nicht quadratische Bilder und kann innerhalb von 20 Sekunden die Schlüsselbilder aus einer Stunde Video extrahieren. Gemma 2 hingegen verfügte nur über schwächere Bildverarbeitungsfähigkeiten.

Erhöhte Sicherheit

Gemma 3 ist mit dem Bildsicherheitsklassifikator ShieldGemma 2 ausgestattet, der gefährliche, pornografische und gewaltverherrlichende Inhalte erkennen und kennzeichnen kann – was die Sicherheit des Modells weiter erhöht.

Hardware-Optimierung

Gemma 3 wurde für Nvidia-GPUs und Google-Cloud-TPUs tiefgreifend optimiert, um eine effiziente Ausführung auf verschiedenen Hardware-Plattformen sicherzustellen. Darüber hinaus werden zahlreiche Bereitstellungsoptionen unterstützt, darunter Vertex AI, Cloud Run und lokale Umgebungen.

Verbesserungen bei Training und Feinabstimmung

Gemma 3 nutzt Techniken wie Wissensdestillation, bestärkendes Lernen (einschließlich menschlichem und maschinellem Feedback) sowie Modell-Merging, um die Fähigkeiten des Modells in Mathematik, Codierung und Befolgung von Anweisungen zu verbessern. Gleichzeitig werden flexiblere Tools zur Feinabstimmung bereitgestellt, damit Entwickler das Modell nach Bedarf anpassen können.

Erweiterung von Community und Ökosystem

Die Veröffentlichung von Gemma 3 bereichert das „Gemmaverse"-Ökosystem weiter, sodass Entwickler auf Basis seiner leistungsstarken Funktionen innovative Anwendungen entwickeln können.

Insgesamt zeigt Gemma 3 deutliche Verbesserungen in multimodaler Verarbeitung, Leistung, Sprachunterstützung, Bildverarbeitung und Sicherheit und ist somit ein leistungsstarkes KI-Modell, das sich besser auf verschiedenen Geräten bereitstellen und nutzen lässt.