UniversalRAG: Ein neues Framework für cross-modale Suche 61

Was ist UniversalRAG?

UniversalRAG ist ein neuartiges Retrieval-Augmented-Generation-Framework (RAG), das Inhalte verschiedener Typen wie Texte, Bilder und Videos abrufen kann und je nach Bedarf Informationsblöcke unterschiedlicher Größe auswählt, etwa Absätze, Dokumente, Videoclips oder komplette Videos. Das Framework enthält einen „modalitätsbewussten Router", der automatisch den am besten geeigneten Inhaltstyp auswählen kann und so eine Bevorzugung eines bestimmten Typs vermeidet. Es kann je nach Anforderung der Aufgabe flexibel entscheiden, ob ein Training zur Optimierung der Abrufgenauigkeit erforderlich ist. In Tests hat UniversalRAG in mehreren Testszenarien eine bessere Leistung als herkömmliche Systeme gezeigt, mit genaueren und effektiveren Abfrageergebnissen.

Kernmerkmale

• Modalitätsbewusster Routing-Mechanismus: Herkömmliche RAG-Methoden betten Daten aller Modalitäten typischerweise zwangsweise in einen einheitlichen Repräsentationsraum ein, was zu dem Problem der „Modalitätslücke" führt – der Abruf tendiert dazu, Inhalte derselben Modalität wie die Anfrage zu bevorzugen. UniversalRAG führt einen modalitätsbewussten Routing-Mechanismus ein, der dynamisch den am besten geeigneten modalspezifischen Korpus identifiziert und darin gezielte Suchvorgänge durchführt.

• Mehrgranulare Suche: Neben den Modalitätsunterschieden berücksichtigt UniversalRAG auch die Datengranularität (d. h. die Größe oder Einheit jedes Eintrags im Korpus). Es unterteilt jede Modalität in mehrere Granularitätsebenen, z. B. Text in Absatz- und Dokumentebene, Video in kurze Clips und vollständige Videos. Dieses Design ermöglicht eine feinabgestimmte Suche je nach Komplexität und Umfang der Anfrage.

• Multimodale Unterstützung: UniversalRAG unterstützt den Abruf mehrerer Modalitäten wie Text, Bild und Video und kann je nach Anfrage dynamisch die am besten geeignete Modalität auswählen.

Hauptziele

• Multimodaler Wissensabruf: Entwicklung eines modalitätsbewussten Routing-Mechanismus, um das Problem der Modalitätslücke zu vermeiden, das entsteht, wenn alle Modalitäten zwangsweise in einen einheitlichen Repräsentationsraum gezwungen werden. Dadurch kann der am besten geeignete modalspezifische Korpus dynamisch identifiziert und gezielt durchsucht werden.

• Mehrgranulare Wissensintegration: Organisation jeder Modalität in mehrere Granularitätsebenen, wie z. B. Absatz-, Dokument-, Bild-, Clip- und Videoebene, um je nach Komplexität und Umfang der Anfrage eine feinjustierte Suche zu ermöglichen und flexibler auf unterschiedliche Anfrageanforderungen einzugehen.

Forschungsmethodik

• Modalitätsbewusster Routing-Mechanismus: Für jede Modalität wird ein eigener Embedding-Raum gepflegt und ein Routing-Modul eingeführt. Dieses Modul kann je nach modaler Anforderung der Anfrage dynamisch den am besten geeigneten modalspezifischen Korpus für den Abruf auswählen und so die Modalitätslücke vermeiden.

• Aufbau mehrgranularer Korpora: Berücksichtigung der Datengranularität, indem jede Modalität in mehrere Granularitätsebenen organisiert wird. Dadurch kann das System je nach Komplexität und Umfang der Anfrage die passende Granularität der Wissensquelle auswählen und genauere sowie umfassendere Antworten liefern.

• Implementierung des Routing-Moduls:

• Trainingfreies Routing: Nutzung des Wissens und der Schlussfolgerungsfähigkeiten vortrainierter großer Sprachmodelle (z. B. GPT-4o), um durch Bereitstellung von Anweisungen und Kontextbeispielen Anfragen zu klassifizieren und den Abfragetyp auszuwählen. Kein zusätzliches Training erforderlich, jedoch möglicherweise durch die Verzerrungen und Wissensgrenzen des vortrainierten Modells eingeschränkt.

• Trainiertes Routing: Training des Routing-Moduls durch Konstruktion eines Trainingsdatensatzes, sodass es genauer den optimalen Abfragetyp für eine gegebene Anfrage vorhersagen kann und besser an spezifische Aufgaben- und Datensatzanforderungen angepasst ist.

Experimentelle Einrichtung und Ergebnisse

Experimentelle Einrichtung

• Es wurden Experimente auf mehreren Benchmark-Datensätzen durchgeführt, die verschiedene Modalitäten (Text, Bild, Video) und Abfragekonfigurationen abdecken. Dabei wurden mehrere große visuelle Sprachmodelle (LVLMs) als Generatoren eingesetzt und mehrere Baseline-Methoden zum Vergleich herangezogen.

Experimentelle Ergebnisse

• UniversalRAG übertraf alle Baseline-Methoden in den durchschnittlichen Bewertungen über alle Benchmark-Datensätze hinweg und zeigte besonders starke Leistungen bei Anfragen, die multimodales Wissen erfordern.

• Das trainierte Routing-Modell schnitt bei der Routing-Modul-Leistung besser ab als das trainingfreie Routing-Modell, jedoch übertraf das trainingfreie Routing-Modell weiterhin andere Baseline-Methoden, was zeigt, dass Zero-Shot-Routing innerhalb des UniversalRAG-Frameworks effektiv ist.

• Die Unterstützung von Text- und Videokorpora mit unterschiedlicher Granularität konnte die Leistung von UniversalRAG deutlich verbessern. Im Vergleich zu Modellen ohne Granularitätssteuerung kann es je nach Anfrage die passende Granularitätsebene auswählen und genauere Antworten generieren.

• Auf bereichsübergreifenden Datensätzen erzielte GPT-4o als trainingfreies Routing-Modell die höchste Routing-Genauigkeit und die höchsten durchschnittlichen Frage-Antwort-Bewertungen, während trainierte Routing-Modelle aufgrund unzureichender Vielfalt der Anfragen in den Trainingsdaten unter Overfitting litten. Die Einführung einer Ensemble-Routing-Methode, die die Vorteile von trainiertem und trainingfreiem Routing kombiniert, erzielte auf bereichsübergreifenden Datensätzen eine bessere Leistung.

Vorteile

• Verbesserte faktische Genauigkeit: Durch den Abruf von Informationen aus Wissensquellen unterschiedlicher Modalitäten und Granularitäten kann UniversalRAG die Antworten des Modells umfassender unterstützen und Fehler reduzieren, die durch eine einzelne Modalität oder unzureichende Granularität entstehen.

• Flexibilität: Das Framework kann flexibel unterschiedliche Arten von Anfragen verarbeiten, sowohl einfache faktische Fragen als auch komplexe analytische Fragestellungen.

• Skalierbarkeit: Durch die Erweiterung der Routing-Logik kann UniversalRAG nahtlos neue Modalitäten integrieren, ohne bestehende modalspezifische Abrufmodule ändern zu müssen.

Projekt-Website:https://universalrag.github.io/

Paper:https://arxiv.org/abs/2504.20734