ViDoRAG: Ein Retrieval-Augmented-Generation-System (RAG) für das Verstehen visueller Dokumente 190

Was ist ViDoRAG?

ViDoRAG ist ein Retrieval-Augmented-Generation-System (RAG) für das visuelle Dokumentenverständnis, das vom Tongyi-Labor von Alibaba in Zusammenarbeit mit der Universität für Wissenschaft und Technologie China und der Shanghai Jiao Tong Universität entwickelt wurde. Es nutzt multimodalhybride Suche und einen iterativen Multi-Agent-Reasoning-Mechanismus, um sowohl die Genauigkeit als auch die Effizienz der visuellen Dokumentenverarbeitung deutlich zu verbessern. Mit anderen Worten: Es unterstützt die Suche in bildbasierten Dokumenten, sodass du in einem Stapel dokumentspezifischer Bilder beispielsweise Fragen stellen kannst wie „Welche Farbe hat dieses Produkt?" oder „Worum geht es in diesem Artikel?".

ViDoRAG-Framework

Der Kern des ViDoRAG-Frameworks liegt in der Multi-Agent-Zusammenarbeit und dem dynamisch iterativen Reasoning. Die wichtigsten Bestandteile sind:

Multimodale Hybridsuche: Visuelle und textuelle Merkmale werden kombiniert, und mithilfe eines Gaußschen Mischmodells (GMM) wird die Suchstrategie dynamisch angepasst, um wichtige Informationen präziser zu finden.

Multi-Agent-Zusammenarbeit:

• Seeker Agent: Kann relevante Bild- oder Dokumentfragmente schnell herausfiltern und globale Hinweise liefern.

• Inspector Agent: Überprüft die herausgefilterten Ergebnisse im Detail und erstellt eine vorläufige Antwort.

• Answer Agent: Integriert die vorläufige Antwort, prüft deren Genauigkeit und Konsistenz und generiert die endgültige Antwort.

Dynamische Suchstrategie: Mithilfe von GMM wird die Anzahl der Suchergebnisse dynamisch angepasst, wodurch der Rechenaufwand reduziert und die Sucheffizienz gesteigert wird.

Funktionsmerkmale

1. Multimodale Hybridsuche:

• Visuelle und textuelle Zweikanalsuche: ViDoRAG kann visuelle (Bild-) und textuelle Informationen gleichzeitig für die Suche verarbeiten und so Dokumentinhalte umfassender verstehen.

• Gaußsches Mischmodell (GMM)-Fusion: Mithilfe von GMM werden die Gewichte der visuellen und textuellen Suchergebnisse dynamisch angepasst. Abhängig von den Eigenschaften der Anfrage wird die optimale Suchstrategie ausgewählt, um Rauschen und Rechenaufwand zu reduzieren.

2. Multi-Agent-Collaborative-Reasoning:

• Seeker Agent: Filtert relevante Dokumente oder Bildfragmente schnell heraus und grenzt den Suchbereich ein.

• Inspector Agent: Überprüft die herausgefilterten Fragmente im Detail, extrahiert wichtige Informationen und erstellt eine vorläufige Antwort.

• Answer Agent: Integriert die vorläufige Antwort und validiert sie, um die endgültige Antwort zu generieren.

• Dynamisch iteratives Reasoning: Mehrere Agenten arbeiten kontinuierlich zusammen und iterieren, sodass die Antworten immer besser werden.

3. Dynamische Suchstrategie:

• Adaptive Suchanzahl: ViDoRAG passt die Anzahl der Suchergebnisse mithilfe von GMM dynamisch an und vermeidet so die Probleme einer fixen Suchanzahl.

• Effizienter Suchablauf: Die Suchstrategie wird basierend auf der Ähnlichkeitsverteilung zwischen Anfrage und Dokumentmenge automatisch optimiert, um die Sucheffizienz zu steigern.

4. Fähigkeit zum Verständnis komplexer Dokumente:

• Unterstützung visuell reichhaltiger Dokumente: Es kann Dokumente verarbeiten, die Text, Diagramme, Tabellen und komplexe Layouts enthalten.

• Multi-Hop-Reasoning-Fähigkeit: Es kann Single-Hop- und Multi-Hop-Reasoning-Aufgaben bewältigen und ist für komplexe Anfragen geeignet, die ein Verständnis über mehrere Dokumente hinweg erfordern.

5. Hohe Genauigkeit und Leistung:

• Hohe Genauigkeit: Auf dem ViDoSeek-Benchmark-Datensatz erreicht ViDoRAG eine Genauigkeit von 79,4 % und übertrifft damit andere Baseline-Methoden bei Weitem.

• Robustheit: Dank der Multi-Agent-Zusammenarbeit und der dynamischen Suchstrategie zeigt ViDoRAG eine stabile Leistung bei verrauschten Daten und komplexen Szenarien.

Anwendungsszenarien

• Visuelle Dokumentenverarbeitung: Geeignet für Szenarien, in denen visuell reichhaltige Dokumente wie wissenschaftliche Literatur, Berichte und Handbücher verarbeitet werden.

• Frage-Antwort-Systeme: Kann als Kernmodul von Frage-Antwort-Systemen dienen, um Fragen schnell und präzise zu beantworten.

• Intelligentes Büro: Kann Benutzern helfen, wichtige Informationen aus Dokumenten schnell zu extrahieren und so die Arbeitseffizienz zu steigern.

GitHub-Repository: https://github.com/Alibaba-NLP/ViDoRAG