UniversalRAG : un nouveau cadre pour la recherche cross-modale 63

Qu'est-ce qu'UniversalRAG ?

UniversalRAG est un nouveau type de cadre de génération augmentée par récupération (RAG) capable de récupérer divers types de contenus tels que du texte, des images et des vidéos, et peut sélectionner des blocs d'information de différentes tailles selon les besoins, comme des paragraphes, des documents, des extraits vidéo ou des vidéos complètes. Ce cadre intègre un « routeur sensible à la modalité » qui sélectionne automatiquement le type de contenu le plus approprié selon les besoins, évitant ainsi toute partialité envers un type particulier. Il peut également choisir de manière flexible, selon les exigences des différentes tâches, s'il est nécessaire d'entraîner le système pour optimiser l'efficacité de la récupération. Après des tests, UniversalRAG a obtenu de meilleures performances que les systèmes traditionnels dans plusieurs scénarios de test, avec des résultats de récupération plus précis et plus efficaces.

Caractéristiques principales

• Mécanisme de routage sensible à la modalité :les méthodes RAG traditionnelles intègrent généralement de force les données de toutes les modalités dans un espace de représentation unifié, ce qui entraîne un problème « d'écart modal », c'est-à-dire que la récupération tend à favoriser les contenus du même modality que la requête. UniversalRAG introduit un mécanisme de routage sensible à la modalité, qui identifie dynamiquement le corpus spécifique à la modalité la plus appropriée et y effectue une récupération ciblée.

• Récupération multi-niveaux de granularité :en plus des différences de modalités, UniversalRAG prend également en compte la granularité des données (c'est-à-dire la taille ou l'unité de chaque entrée dans le corpus). Il subdivise chaque modalité en plusieurs niveaux de granularité, par exemple le texte est divisé en niveau paragraphe et niveau document, la vidéo en extraits courts et vidéos complètes. Cette conception permet une récupération fine en fonction de la complexité et de la portée de la requête.

• Prise en charge multimodale :UniversalRAG prend en charge la récupération à partir de plusieurs modalités telles que le texte, les images et les vidéos, et peut sélectionner dynamiquement la modalité la plus appropriée en fonction des besoins de la requête.

Objectifs principaux

• Récupération de connaissances multimodales : concevoir un mécanisme de routage sensible à la modalité pour éviter le problème d'écart modal causé par l'intégration forcée de toutes les modalités dans un espace de représentation unifié, et identifier dynamiquement le corpus spécifique à la modalité le plus approprié pour effectuer une récupération ciblée.

• Intégration de connaissances multi-granularité : organiser chaque modalité en plusieurs niveaux de granularité, tels que le niveau paragraphe, le niveau document, le niveau image, le niveau clip et le niveau vidéo, afin d'ajuster finement la recherche selon la complexité et la portée de la requête, et de s'adapter plus souplement aux différents besoins des requêtes.

Méthodologie de recherche

• Mécanisme de routage sensible à la modalité :maintenir un espace d'intégration indépendant pour chaque modalité et introduire un module de routage. Ce module peut sélectionner dynamiquement le corpus spécifique à la modalité le plus approprié pour la récupération en fonction des besoins en modalités de la requête, évitant ainsi l'écart modal.

• Construction de corpus multi-granularité :prendre en compte la granularité des données, organiser chaque modalité en plusieurs niveaux de granularité, afin que le système puisse choisir la source de connaissances de granularité appropriée en fonction de la complexité et de la portée de la requête, et fournir des réponses plus précises et complètes.

• Implémentation du module de routage :

• Routage sans entraînement : exploiter les connaissances et les capacités de raisonnement de grands modèles de langage pré-entraînés (comme GPT-4o) en fournissant des instructions et des exemples contextuels pour classifier les requêtes et sélectionner le type de récupération. Aucun entraînement supplémentaire n'est nécessaire, mais cela peut être limité par les biais et les limites de connaissances du modèle pré-entraîné.

• Routage avec entraînement : entraîner le module de routage en construisant un jeu de données d'entraînement, lui permettant de prédire plus précisément le type de récupération optimal pour une requête donnée, et de mieux s'adapter aux besoins spécifiques d'une tâche et d'un jeu de données.

Configuration expérimentale et résultats

Configuration expérimentale

• Des expériences ont été menées sur plusieurs ensembles de données de référence couvrant différentes modalités (texte, image, vidéo) et configurations de récupération, en utilisant divers grands modèles vision-langage (LVLM) comme générateurs, et plusieurs méthodes de référence ont été mises en place pour comparaison.

Résultats expérimentaux

• UniversalRAG a obtenu un score moyen supérieur à toutes les méthodes de référence sur tous les ensembles de données de référence, avec des performances particulièrement remarquables sur les requêtes nécessitant des connaissances multimodales.

• Le modèle de routage avec entraînement surpasse le modèle de routage sans entraînement en termes de performances du module de routage, mais le modèle de routage sans entraînement surpasse néanmoins les autres méthodes de référence, ce qui indique que le routage zero-shot est efficace dans le cadre d'UniversalRAG.

• La prise en charge de corpus textuels et vidéo à différentes granularités améliore considérablement les performances d'UniversalRAG. Par rapport aux modèles sans contrôle de granularité, il peut choisir le niveau de granularité approprié en fonction de la requête, générant des réponses plus précises.

• Sur les ensembles de données inter-domaines, GPT-4o en tant que modèle de routage sans entraînement présente la plus grande précision de routage et le meilleur score moyen de questions-réponses, tandis que le modèle de routage avec entraînement souffre de surapprentissage en raison d'une diversité insuffisante des requêtes dans les données d'entraînement. L'introduction d'une méthode de routage ensembliste, combinant les avantages du routage avec et sans entraînement, permet d'obtenir de meilleures performances sur les ensembles de données inter-domaines.

Avantages

• Amélioration de l'exactitude factuelle : en récupérant des informations à partir de sources de connaissances de modalités et de granularités diverses, UniversalRAG peut soutenir plus complètement les réponses du modèle, réduisant ainsi les erreurs causées par une modalité unique ou une granularité insuffisante.

• Flexibilité : ce cadre peut traiter de manière flexible différents types de requêtes, qu'il s'agisse de simples questions factuelles ou de questions analytiques complexes.

• Extensibilité : en étendant la logique de routage, UniversalRAG peut intégrer de manière transparente de nouvelles modalités sans avoir à modifier les récupérateurs spécifiques aux modalités existantes.

Page du projet :https://universalrag.github.io/

Article :https://arxiv.org/abs/2504.20734