Hyper-RAG: метод retrieval-augmented generation на основе гиперграфов от Цинхуа и Сианьского транспортного университета 65

Что такое Hyper-RAG?

Hyper-RAG — это метод Retrieval-Augmented Generation на основе гиперграфов, предложенный Университетом Цинхуа и Сианьским транспортным университетом. Он использует технологию гиперграфов для повышения точности крупных языковых моделей (LLM) при моделировании знаний в профессиональных областях и уменьшает явление «галлюцинаций» при генерации контента моделью. Эксперименты показывают, что Hyper-RAG повышает среднюю точность на нескольких наборах данных на 12,3% по сравнению с традиционными графовыми методами, сохраняет стабильную производительность при сложных запросах и подходит для областей с высокими требованиями к надёжности, таких как медицина и финансы.

Основные принципы Hyper-RAG

Суть Hyper-RAG заключается в использовании гиперграфов для одновременного захвата низкоуровневых связей (парных отношений) и высокоуровневых связей (многосущностных отношений) в исходных данных. Традиционные графовые методы RAG (такие как Graph RAG и Light RAG) могут представлять только парные отношения и не способны эффективно обрабатывать сложные многосущностные отношения, что приводит к потере информации и, как следствие, снижает точность вывода LLM. Гиперграф же способен представлять сложные отношения между несколькими сущностями через гиперрёбра, обеспечивая тем самым более полное представление знаний.

Функциональные особенности Hyper-RAG:

• Представление знаний на основе гиперграфов: структура гиперграфа позволяет фиксировать сложные отношения между многими сущностями, сокращая потерю информации и обеспечивая более полное и точное представление знаний.

• Генерация с дополненным поиском: сочетание поиска по гиперграфу обеспечивает точное извлечение релевантных знаний, оптимизирует генерацию ответов, снижает явление галлюцинаций и повышает достоверность ответов.

• Обработка сложных запросов: эффективная обработка запросов с множеством сущностей и сложными отношениями при стабильной производительности, адаптация к решению комплексных задач.

• Высокая эффективность поиска: лёгкий поиск с высокой скоростью при сохранении точности, подходит для сценариев с высокими требованиями к оперативности.

• Сильная адаптивность к предметной области: применим во многих областях, таких как медицина, финансы, право; возможна кастомизация и высокая универсальность.

• Уменьшение галлюцинаций: калибровка знаний снижает количество ошибочных генераций, вызванных недостатком знаний модели.

• Высокая масштабируемость: динамическое обновление базы знаний, возможность интеграции с языковыми моделями различного масштаба, высокая адаптивность.

Рабочий процесс Hyper-RAG

1. Построение базы знаний: извлечение сущностей и отношений из предметного корпуса и формирование базы знаний в виде гиперграфа.

2. Дополненный поиск: извлечение из базы знаний релевантной запросу информации с помощью технологии поиска по гиперграфу.

3. Генерация ответа: передача извлечённых знаний вместе с вопросом пользователя в LLM для формирования более точного ответа.

Результаты экспериментов

• В задачах из области нейронаук точность Hyper-RAG в среднем на 12,3% выше, чем при прямом использовании LLM, и на 6,3% и 6,0% выше, чем у Graph RAG и Light RAG соответственно.

• При увеличении сложности запросов производительность Hyper-RAG остаётся стабильной, тогда как у других методов она снижается.

• На девяти наборах данных из различных предметных областей производительность Hyper-RAG на 35,5% выше, чем у Light RAG.

• Кроме того, лёгкая версия Hyper-RAG — Hyper-RAG-Lite — обеспечивает вдвое большую скорость поиска по сравнению с Light RAG при улучшении производительности на 3,3%.

Сценарии применения Hyper-RAG

• Вспомогательная диагностика: Hyper-RAG может интегрироваться с медицинскими базами знаний, помогая врачам быстро и точно анализировать истории болезни, симптомы и результаты обследований, предоставлять диагностические рекомендации и снижать частоту ошибочных диагнозов.

• Оценка рисков: благодаря структуре гиперграфа, фиксирующей сложные связи в финансовых данных (например, связи между компаниями, рыночную динамику и т. д.), Hyper-RAG позволяет более точно оценивать финансовые риски и поддерживать принятие инвестиционных решений.

Преимущество Hyper-RAG заключается в способности обрабатывать сложные многосущностные отношения и сокращать потерю информации за счёт структуры гиперграфа, что открывает широкие перспективы в областях, где требуется точная поддержка знаниями и высокая надёжность вывода.

Статья:https://arxiv.org/abs/2504.08758

Github:https://github.com/iMoonLab/Hyper-RAG