PaliGemma 2 Mix：画像キャプション・OCR・VQA・物体検出・セグメンテーションを統合したオープンソース視覚言語モデル 196

GoogleはPaliGemma 2 Mixを発表しました。これは、画像キャプショニング、OCR、質疑応答、物体検出、セグメンテーションを統合したオープンソースの視覚言語モデルです。多タスク処理能力と柔軟なモデル選択により、視覚言語タスクの進歩を推進することを目的としています。PaliGemma 2 Mixモデルは、複数の入力解像度のサポートを組み合わせ、利便性の高いファインチューニングオプションを提供することで、さまざまな実世界のシナリオでの応用に適しています。

PaliGemma 2 Mixの機能と特徴

• マルチモーダル処理能力：PaliGemma 2 Mixは、短いテキストと長いテキストのキャプション、光学文字認識（OCR）、画像質疑応答、物体検出、画像セグメンテーションなど、さまざまなタスクを処理できます。

• モデル規模と解像度の柔軟性：3B、10B、28Bパラメータの異なるモデル規模と、224pxと448pxの解像度選択肢を提供し、さまざまなタスクのニーズに対応します。

• 開発者フレンドリー：Hugging Face Transformers、Keras、PyTorch、JAX、Gemma.cppなどの主要なフレームワークと互換性があり、開発者の利用とファインチューニングを容易にします。

• 直接的な適用性：ユーザーは複雑なファインチューニングプロセスを必要とせず、直接的にタスクにモデルを利用でき、「すぐに使える」利便性を実現しています。

• モダリティを横断する特徴融合：SigLIP画像エンコーダーとGemma-2B言語モデルを組み合わせ、線形投影層によって画像とテキストの特徴の効果的な融合を実現し、モデルのマルチモーダル理解能力を向上させました。

PaliGemma 2 Mixの応用シナリオ

• 画像認識とキャプション：画像の詳細な説明を自動生成し、ソーシャルメディア、コンテンツ管理、検索エンジン最適化に適しています。

• 視覚的質疑応答（VQA）：教育やエンターテイメントのアプリケーションにおいて、画像の内容に関するユーザーの質問に答えます。

• 光学文字認識（OCR）：画像内のテキストを認識し、文書のデジタル化、歴史的文献のアーカイブ、自動データ抽出に使用されます。

• 科学的な問題解決：科学の分野において、PaliGemma 2 Mixは複雑な科学的な問題を理解し、回答することができます。

• テキスト関連タスク：テキスト検出、認識、表構造認識、分子構造認識、楽譜認識などが含まれます。

• Eコマースとコンテンツ生成：商品画像を自動的に説明文を生成し、商品リストの魅力を向上させます。
  

PaliGemma 2 Mixの使用方法

• 依存関係のインストール：まずtransformersライブラリのバージョン4.47以降をインストールする必要があります。

• モデルのロード：AutoProcessorとPaliGemmaForConditionalGenerationクラスを使用して事前学習済みモデルをロードします。

• 画像処理：PILライブラリを使用して画像をロードおよび処理します。

• 推論：画像とテキストプロンプトをモデルに入力し、出力結果を取得します。

PaliGemma 2 Mixのリリースは、開発者にとって強力で柔軟なツールとなり、多くの視覚言語タスクで優れたパフォーマンスを発揮することでしょう。画像の認識、画像キャプションの生成、科学的な問題への解答など、その応用可能性は非常に大きく、実用的に利用することができます。

Hugging Face デモ：https://huggingface.co/spaces/google/paligemma2-10b-mix

技術論文レポート：https://arxiv.org/abs/2412.03555