UniversalRAG：モダリティを横断する検索の新フレームワーク 66

UniversalRAGとは？

UniversalRAGは、テキスト、画像、動画など複数の種類のコンテンツを検索できる新しい検索拡張生成（RAG）フレームワークです。また、必要に応じて、段落、文書、動画クリップ、完全な動画など、異なるサイズの情報ブロックを選択することもできます。このフレームワークには「モーダリティ認識ルーター」が搭載されており、ニーズに応じて最も適切なコンテンツタイプを自動的に選択し、特定のタイプに偏ることを回避します。さらに、異なるタスクのニーズに応じて、検索効果を最適化するために訓練が必要かどうかを柔軟に選択できます。テストの結果、UniversalRAGは複数のテストシナリオで従来のシステムよりも優れたパフォーマンスを示し、検索結果がより正確で効果的であることが確認されました。

主な特徴

• モーダリティ認識ルーティングメカニズム：従来のRAG手法では、すべてのモーダリティのデータを統一された表現空間に強制的に埋め込むことが一般的ですが、これにより「モーダリティギャップ」問題が発生します。つまり、検索がクエリと同じモーダリティのコンテンツに偏る傾向があります。UniversalRAGは、モーダリティ認識ルーティングメカニズムを導入することで、最も適切なモーダリティ固有のコーパスを動的に識別し、その中でターゲットを絞った検索を実行します。

• 複数粒度検索：モーダリティの違いに加えて、UniversalRAGはデータの粒度（コーパス内の各エントリのサイズまたは単位）も考慮します。各モーダリティを複数の粒度レベルに細分化します。例えば、テキストは段落レベルと文書レベル、動画は短いクリップと完全な動画に分けられます。この設計により、クエリの複雑さや範囲に応じたきめ細かな検索が可能です。

• マルチモーダル対応：UniversalRAGは、テキスト、画像、動画など複数のモーダリティの検索をサポートし、クエリのニーズに応じて最も適切なモーダリティを動的に選択できます。

主な目標

• マルチモーダル知識検索：すべてのモーダリティを統一された表現空間に強制的に統合することで生じるモーダリティギャップ問題を回避するモーダリティ認識ルーティングメカニズムを設計し、最も適切なモーダリティ固有のコーパスを動的に識別してターゲットを絞った検索を行います。

• 複数粒度の知識統合：各モーダリティを段落レベル、文書レベル、画像レベル、クリップレベル、動画レベルなど複数の粒度レベルに整理することで、クエリの複雑さや範囲に応じて検索を微調整し、さまざまなクエリニーズに柔軟に対応できます。

研究方法

• モーダリティ認識ルーティングメカニズム：各モーダリティの独立した埋め込み空間を維持し、ルーティングモジュールを導入します。このモジュールは、クエリのモーダリティ要件に応じて、最も適切なモーダリティ固有のコーパスを動的に選択して検索し、モーダリティギャップを回避します。

• 複数粒度コーパスの構築：データの粒度を考慮し、各モーダリティを複数の粒度レベルに整理することで、システムはクエリの複雑さや範囲に応じて適切な粒度の知識ソースを選択し、より正確で包括的な回答を提供できます。

• ルーティングモジュールの実装：

• 学習なしルーティング：事前学習済みの大規模言語モデル（例：GPT - 4o）の知識と推論能力を活用し、指示とコンテキスト内の例を提供することで、クエリを分類し、検索タイプを選択します。追加の訓練は必要ありませんが、事前学習済みモデルのバイアスや知識の限界に制約を受ける可能性があります。

• 学習ありルーティング：構築した訓練データセットを用いてルーティングモジュールを訓練することで、与えられたクエリに対する最適な検索タイプをより正確に予測し、特定のタスクやデータセットの要件によりよく適応できるようにします。

実験設定と結果

実験設定

• 異なるモーダリティ（テキスト、画像、動画）と検索設定を網羅する複数のベンチマークデータセットで実験を行い、複数の大規模視覚言語モデル（LVLMs）をジェネレーターとして使用し、比較のために複数のベースライン手法を設定しました。

実験結果

• UniversalRAGは、すべてのベンチマークデータセットにおいて、すべてのベースライン手法を上回る平均得点を達成し、マルチモーダル知識を必要とするクエリで特に優れたパフォーマンスを示しました。

• 学習ありルーティングモデルは、ルーティングモジュールの性能において学習なしルーティングモデルを上回りましたが、学習なしルーティングモデルも他のベースライン手法を上回っており、UniversalRAGフレームワーク内でのゼロショットルーティングの有効性が示されました。

• 異なる粒度のテキストおよび動画コーパスをサポートすることで、UniversalRAGの性能が大幅に向上しました。粒度制御のないモデルと比較して、クエリに応じて適切な粒度レベルを選択し、より正確な回答を生成できます。

• 分野横断データセットでは、学習なしルーティングモデルとしてのGPT - 4oが最高のルーティング精度と平均質問応答得点を達成しましたが、学習ありルーティングモデルは訓練データ内のクエリの多様性不足により過学習の問題を抱えていました。学習ありルーティングと学習なしルーティングの利点を組み合わせたアンサンブルルーティング手法を導入することで、分野横断データセットにおいてより優れたパフォーマンスを実現しました。

利点

• 事実の正確性の向上：複数のモーダリティと粒度の知識ソースから情報を検索することで、UniversalRAGはモデルの応答をより包括的にサポートでき、単一のモーダリティや粒度の不足によるエラーを削減できます。

• 柔軟性：このフレームワークは、単純な事実に関する質問から複雑な分析に関する質問まで、さまざまなタイプのクエリに柔軟に対応できます。

• 拡張性：ルーティングロジックを拡張することで、UniversalRAGは既存のモーダリティ固有の検索器を変更することなく、新しいモーダリティをシームレスに統合できます。

プロジェクトホームページ：https://universalrag.github.io/

論文：https://arxiv.org/abs/2504.20734