PaliGemma：Googleが発表したオープンソースの視覚言語モデル 201

PaliGemmaは、Googleが開発・公開したマルチモーダル機能を備えた視覚言語モデル（VLM）です。 OpenaiのGPT-4o、Google Gemini、AnthropicのClaude 3などの他のVLMとは異なり、PaliGemmaは幅広い機能を持ち、特定のタスクでファインチューニングを行うことでより高いパフォーマンスを発揮することができます。

PaliGemmaは、2024年のGoogle I/Oイベントで他の製品とともに発表された、Google研究の2つのモデル（視覚モデルのSigLIPと大規模言語モデルのGemma）を組み合わせたマルチモーダルモデルです。つまり、このモデルはTransformerデコーダーとVision Transformer画像エンコーダーを組み合わせたものです。画像とテキストを入力として受け取り、テキストを出力として生成し、複数の言語をサポートします。

PaliGemmaで何ができるのか？

PaliGemmaは単一ターンの視覚言語モデルであり、特定のユースケースに合わせてファインチューニングを行った場合に最高のパフォーマンスを発揮します。つまり、画像とテキスト文字列（画像のキャプションを生成するプロンプトや質問など）を入力として与えることができ、PaliGemmaは入力に応じてテキストを出力します。例えば、画像のキャプション、質問の回答、またはオブジェクトのバウンディングボックス座標のリストなどが得られます。

PaliGemmaは、Googleが公開した以下のタスクのベンチマークテスト結果に関連するタスクの実行に適しています。

• 単一タスクのファインチューニング

• 画像に関する質問応答とキャプション生成

• 動画に関する質問応答とキャプション生成

• セグメンテーション

これは、視覚データに関連するシンプルで具体的な問題に対してPaliGemmaが非常に有用であることを意味します。

私たちは、一般的なベンチマークで報告された結果に基づき、PaliGemmaが他のモデルと比較してどのような結果を示すかをまとめた表を作成しました。

ベンチマークは有用なデータポイントではありますが、全体像を示すものではありません。PaliGemmaはファインチューニングを前提として設計されており、他のモデルはクローズドソースです。利用可能なオプションを示すために、ファインチューニングできない（通常はより大きな）他のモデルと比較を行いました。

カスタムデータでファインチューニングすることが、特定のユースケースにおいて他のモデルのそのまま使える性能よりも優れた結果をもたらすかどうか、試してみる価値はあります。

この記事の後半では、標準的なテストを用いてPaliGemmaを他のオープンソースのVLMおよびLMMと比較します。その性能について引き続きお読みください。

PaliGemmaのファインチューニング方法

PaliGemmaのエキサイティングな点の一つは、カスタムのユースケースデータに対してファインチューニングを行えることです。Google PaliGemmaチームが公開したノートブックでは、小規模なデータセットでファインチューニングを行う方法が紹介されています。

注意すべき点として、この例ではアテンション層のみがファインチューニングされているため、性能向上は限定的かもしれません。

PaliGemmaの応用

PaliGemmaをゼロショットで使用する場合でも、カスタムデータでファインチューニングする場合でも、PaliGemmaの強みに合わせた特定のユースケースがあり、新たなAIのユースケースへの扉を開くことになります。そのうちの2つを見てみましょう。

カスタムアプリケーション

Claude 3、Gemini 1.5 Pro、GPT-4oなどのモデルはそのまま使用でき、適切な課題に適用できます。PaliGemmaは、クローズドソースのモデルではまだ解決できないユースケースにマルチモーダル機能をもたらします。なぜなら、問題に関連する独自のデータを使用してPaliGemmaをファインチューニングできるからです。これは、製造、消費財、医療、安全保障などの業界で非常に有用です。クローズドモデルが、見たことのない、あるいはその独自の性質上決して見ることがない独自の問題に遭遇した場合、PaliGemmaはカスタムAIソリューションを構築するための優れた出発点となります。

OCR

この記事の前半で示したように、PaliGemmaは追加のファインチューニングなしで強力なOCRモデルです。数十億規模の予測を行うOCRアプリケーションを構築する場合、遅延、コスト、精度のバランスの確保が難しい場合があります。PaliG登場以前は、クローズドソースモデルが同種のタスクで最高性能の選択肢でしたが、そのコストとモデル所有権の欠如は本番環境での採用を困難にしていました。このモデルは即座に性能を提供し、特定のデータでファインチューニングを行うことで時間とともに改善していくことが可能です。