Hyper-RAG : méthode de génération augmentée par récupération pilotée par hypergraphes des universités Tsinghua et Xi'an Jiaotong 69

小编 ·

Hyper-RAG : méthode de génération augmentée par récupération pilotée par hypergraphes des universités Tsinghua et Xi'an Jiaotong

Hyper-RAG est une méthode de génération augmentée par récupération pilotée par hypergraphes proposée par les universités Tsinghua et Xi'an Jiaotong. Elle exploite la technologie des hypergraphes pour améliorer la précision des grands modèles de langage (LLM) dans la modélisation des connaissances de domaines spécialisés et réduire les « hallucinations ». Les expériences montrent qu'Hyper-RAG obtient une amélioration moyenne de la précision de 12,3 % par rapport aux méthodes classiques basées sur les graphes sur plusieurs jeux de données, avec des performances stables pour les requêtes complexes—idéal pour des domaines à haute fiabilité comme la santé et la finance.

Hyper-RAG : méthode de génération augmentée par récupération pilotée par hypergraphes des universités Tsinghua et Xi'an Jiaotong

Qu'est-ce que Hyper-RAG ?

Hyper-RAG est une méthode de génération augmentée par récupération pilotée par hypergraphes, proposée par l'Université Tsinghua et l'Université Jiaotong de Xi'an. Elle utilise la technologie des hypergraphes pour améliorer la précision des grands modèles de langage (LLM) dans la modélisation des connaissances dans des domaines spécialisés, réduisant ainsi le phénomène d'« hallucinations » lors de la génération de contenu par les modèles. Les expériences montrent qu'Hyper-RAG améliore la précision moyenne de 12,3 % par rapport aux méthodes traditionnelles basées sur les graphes sur plusieurs ensembles de données, et maintient des performances stables face à des requêtes complexes, ce qui le rend adapté aux domaines à forte exigence de fiabilité tels que la médecine et la finance.

Hyper-RAG:清华大学和西安交通大学提出的超图驱动的检索增强生成方法.webp

Principe fondamental d'Hyper-RAG

Le cœur d'Hyper-RAG réside dans l'utilisation d'hypergraphes pour capturer simultanément les associations d'ordre inférieur (relations par paires) et les associations d'ordre supérieur (relations multi-entités) dans les données brutes. Les méthodes RAG traditionnelles basées sur les graphes (telles que Graph RAG et Light RAG) ne peuvent représenter que des relations par paires et sont incapables de traiter efficacement les relations multi-entités complexes, ce qui entraîne une perte d'information et affecte la précision des sorties du LLM. Les hypergraphes, en revanche, peuvent représenter des relations complexes entre plusieurs entités grâce aux hyperarêtes, offrant ainsi une représentation des connaissances plus complète.

Fonctionnalités d'Hyper-RAG :

  • Représentation des connaissances par hypergraphes : capturer les relations complexes multi-entités grâce à la structure d'hypergraphe, réduisant la perte d'information et permettant une représentation des connaissances plus complète et précise.

  • Génération augmentée par récupération : combiner la recherche par hypergraphe pour extraire avec précision les connaissances pertinentes, optimiser les réponses générées, réduire les hallucinations et améliorer la fiabilité des réponses.

  • Traitement des requêtes complexes : capable de gérer efficacement les requêtes impliquant plusieurs entités et des relations complexes, avec des performances stables, adapté à la résolution de problèmes complexes.

  • Efficacité de recherche élevée : recherche légère et rapide, conciliant rapidité et précision, adaptée aux scénarios exigeant un traitement en temps réel.

  • Forte adaptabilité aux domaines : applicable à de multiples domaines tels que la médecine, la finance et le droit, personnalisable et hautement polyvalent.

  • Réduction des hallucinations : grâce à l'étalonnage des connaissances, réduction des erreurs de génération dues à des connaissances insuffisantes du modèle.

  • Forte évolutivité : base de connaissances mise à jour dynamiquement, pouvant être combinée avec des modèles de langage de différentes tailles, offrant une grande adaptabilité.

Flux de travail d'Hyper-RAG

  1. Construction de la base de connaissances : extraire les entités et les relations d'un corpus spécifique à un domaine pour construire une base de connaissances sous forme d'hypergraphe.

  2. Augmentation par récupération : grâce à la technologie de recherche par hypergraphe, extraire de la base de connaissances les connaissances pertinentes par rapport à la requête.

  3. Génération de la réponse : fournir les connaissances récupérées ainsi que la question de l'utilisateur au LLM pour générer une réponse plus précise.

Résultats expérimentaux

  • Sur les tâches de neurosciences, la précision d'Hyper-RAG est améliorée en moyenne de 12,3 % par rapport à l'utilisation directe du LLM, et dépasse respectivement Graph RAG et Light RAG de 6,3 % et 6,0 %.

  • Lorsque la complexité des requêtes augmente, les performances d'Hyper-RAG restent stables, alors que celles des autres méthodes ont tendance à diminuer.

  • Sur neuf ensembles de données issus de domaines différents, les performances d'Hyper-RAG sont améliorées de 35,5 % par rapport à Light RAG.

  • De plus, la variante légère d'Hyper-RAG, Hyper-RAG-Lite, atteint une vitesse de récupération deux fois supérieure à celle de Light RAG, avec une amélioration des performances de 3,3 %.

Hyper-RAG:清华大学和西安交通大学提出的超图驱动的检索增强生成方法.webp

Scénarios d'application d'Hyper-RAG

  • Aide au diagnostic : Hyper-RAG peut être combiné à une base de connaissances médicales pour aider les médecins à analyser rapidement et précisément les dossiers médicaux, les symptômes et les résultats d'examens, fournir des suggestions de diagnostic et réduire le taux d'erreurs diagnostiques.

  • Évaluation des risques : grâce à la structure d'hypergraphe capturant les relations complexes dans les données financières (telles que les liens entre entreprises, la dynamique du marché, etc.), Hyper-RAG peut évaluer plus précisément les risques financiers et apporter un soutien aux décisions d'investissement.

L'avantage d'Hyper-RAG réside dans sa capacité à traiter des relations multi-entités complexes et à réduire la perte d'information grâce à la structure d'hypergraphe. Il offre un potentiel très large dans les domaines nécessitant un soutien précis des connaissances et des sorties à haute fiabilité.

Article :https://arxiv.org/abs/2504.08758

Github :https://github.com/iMoonLab/Hyper-RAG