Gemma 3はGemma 2から何が進化したのか？ 195

つい先ほど、GoogleがGemma 3を発表しました。パラメータサイズは1B、4B、12B、27Bの4種類で、1台のGPU/TPUで動作します。そしてGemma 3は、わずか27BのパラメータでDeepSeek 671Bモデルを凌駕し、DeepSeek R1に次ぐ最高のオープンソースモデルとなりました。Gemma 2と比較して、Gemma 3では以下の点が改善されています。

マルチモーダル能力

Gemma 3はテキスト、画像、短い動画の混合入力サポートを導入し、画像質問応答、動画内容分析などの複雑なマルチモーダルタスクを処理できます。一方、Gemma 2は主にテキスト処理能力に集中していました。

パフォーマンスの向上

Gemma 3は「世界最強の単一アクセラレータモデル」と呼ばれ、単一のGPUまたはTPU環境でGemma 2を大きく上回る性能を発揮し、短い動画コンテンツを処理する際の推論速度が47%向上しました。

言語サポートの強化

Gemma 3は140以上の言語での事前学習をサポートし、35以上の言語を直接サポートします。それに対し、Gemma 2の言語サポート範囲はより狭いものでした。

コンテキストウィンドウの拡張

Gemma 3のコンテキストウィンドウは128kトークンに拡張され、30枚の高解像度画像や1時間の動画コンテンツなど、より大量の情報を処理できるようになりました。これはGemma 2のコンテキストウィンドウから大幅に進化しています。

視覚処理能力

Gemma 3は動的画像スライス技術とフレームサンプリングとオプティカルフロー分析を組み合わせたソリューションを導入し、高解像度および非正方形画像をサポートし、20秒以内に1時間の動画からキーフレーム抽出を完了できます。一方、Gemma 2は視覚処理能力が弱いものでした。

セキュリティの強化

Gemma 3にはShieldGemma 2画像安全性分類器が搭載されており、危険コンテンツ、性的コンテンツ、暴力コンテンツを検出してフラグ付けし、モデルの安全性をさらに向上させています。

ハードウェア最適化

Gemma 3はNvidia GPUとGoogle Cloud TPU向けに深く最適化されており、さまざまなハードウェアプラットフォーム上での効率的な動作を保証しています。さらに、Vertex ai、Cloud Run、ローカル環境など、複数のデプロイメントオプションをサポートしています。

学習とファインチューニングの改善

Gemma 3は知識蒸留、強化学習（人間のフィードバックと機械的フィードバックを含む）、モデルマージなどの技術を採用し、数学、コーディング、指示追従の能力を向上させています。また、開発者のニーズに応じてカスタマイズするためのより柔軟なファインチューニングツールも提供しています。

コミュニティとエコシステムの拡大

Gemma 3のリリースは「Gemmaverse」エコシステムをさらに豊かにし、開発者はその強力な機能をベースにさらに多くの革新的アプリケーションを開発できます。

総じて、Gemma 3はマルチモーダル処理、パフォーマンス、言語サポート、視覚処理、セキュリティなどの面で顕著な向上を遂げており、さまざまなデバイスへのデプロイと利用に適した強力なAIモデルとなっています。