ViDoRAG : système de génération augmentée par récupération (RAG) pour la compréhension de documents visuels 192

Qu'est-ce que ViDoRAG ?

ViDoRAG est un système de génération augmentée par récupération (RAG) pour la compréhension de documents visuels, lancé par le laboratoire Tongyi d'Alibaba en collaboration avec l'Université des sciences et technologies de Chine et l'Université Jiao Tong de Shanghai. Il exploite la recherche multimodale hybride et un mécanisme de raisonnement itératif multi-agents, améliorant considérablement la précision et l'efficacité du traitement des documents visuels. En langage clair, cela signifie qu'il prend en charge la recherche dans des documents contenant des images, vous permettant de trouver par exemple « de quelle couleur est ce produit » ou « de quoi parle cet article ? ».

Cadre ViDoRAG

Le cadre ViDoRAG met l'accent sur la collaboration multi-agents et le raisonnement itératif dynamique. Il comprend principalement les éléments clés suivants :

Recherche multimodale hybride : combine les caractéristiques visuelles et textuelles, et ajuste dynamiquement la stratégie de recherche à l'aide d'un modèle de mélange gaussien (GMM), afin de localiser plus précisément les informations clés.

Collaboration multi-agents :

• Seeker Agent : capable de filtrer rapidement les images ou extraits de documents pertinents pour fournir des indices globaux.

• Inspector Agent : examine en détail les résultats filtrés et génère une réponse préliminaire.

• Answer Agent : intègre les réponses préliminaires, vérifie leur exactitude et leur cohérence, puis génère la réponse finale.

Stratégie de recherche dynamique : utilise le GMM pour ajuster dynamiquement le nombre de résultats de recherche, réduisant ainsi la charge de calcul et améliorant l'efficacité de la recherche.

Fonctionnalités

1. Recherche multimodale hybride :

• Recherche à double canal visuel et textuel : ViDoRAG peut traiter simultanément des informations visuelles (images) et textuelles pour la recherche, permettant une compréhension plus complète du contenu des documents.

• Fusion par modèle de mélange gaussien (GMM) : utilise le GMM pour ajuster dynamiquement les poids des résultats de recherche visuelle et textuelle, sélectionnant la stratégie de recherche optimale selon les caractéristiques de la requête, ce qui réduit le bruit et la charge de calcul.

2. Raisonnement collaboratif multi-agents :

• Seeker Agent : filtre rapidement les extraits de documents ou d'images pertinents, réduisant ainsi la portée de la recherche.

• Inspector Agent : examine en détail les extraits filtrés, extrait les informations clés et génère une réponse préliminaire.

• Answer Agent : intègre les réponses préliminaires et les valide pour produire la réponse finale.

• Raisonnement itératif dynamique : les agents collaborent et itèrent en continu, améliorant progressivement la qualité des réponses.

3. Stratégie de recherche dynamique :

• Nombre de résultats adaptatif : ViDoRAG ajuste dynamiquement le nombre de résultats de recherche via le GMM, évitant les problèmes liés à un nombre fixe de résultats.

• Processus de recherche efficace : optimise automatiquement la stratégie de recherche en fonction de la distribution de similarité entre la requête et la collection de documents, améliorant ainsi l'efficacité de la recherche.

4. Capacité de compréhension de documents complexes :

• Prise en charge de documents visuellement riches : capable de traiter des documents contenant du texte, des graphiques, des tableaux et des mises en page complexes.

• Capacité de raisonnement à plusieurs sauts : peut gérer des tâches de raisonnement à un ou plusieurs sauts, répondant à des requêtes complexes nécessitant une compréhension inter-documents.

5. Haute précision et performance :

• Haute précision : atteint un taux de précision de 79,4 % sur le jeu de données de référence ViDoSeek, surpassant largement les autres méthodes de référence.

• Robustesse : la collaboration multi-agents et la stratégie de recherche dynamique permettent à ViDoRAG de rester stable face aux données bruitées et aux scénarios complexes.

Cas d'utilisation

• Traitement de documents visuels : convient aux scénarios impliquant des documents visuellement riches tels que la littérature académique, les rapports et les manuels.

• Systèmes de questions-réponses : peut servir de module central d'un système de questions-réponses pour fournir des réponses rapides et précises.

• Bureau intelligent : aide les utilisateurs à extraire rapidement les informations clés des documents, améliorant ainsi l'efficacité du travail.

Dépôt GitHub :https://github.com/Alibaba-NLP/ViDoRAG