UniversalRAG: новая платформа для кросс-модального поиска 62

Что такое UniversalRAG?

UniversalRAG — это новая платформа для генерации с дополненной поисковой выдачей (RAG), которая способна извлекать контент различных типов, включая текст, изображения и видео, а также выбирать информационные блоки разного размера в зависимости от потребностей, например абзацы, документы, видеоклипы или целые видео. В этой платформе используется «модально-осведомлённый маршрутизатор», который автоматически подбирает наиболее подходящий тип контента в соответствии с запросом, избегая смещения в сторону какого-либо конкретного типа. Кроме того, она может гибко решать, требуется ли обучение для оптимизации эффективности поиска, в зависимости от задачи. По результатам тестирования UniversalRAG показала лучшие результаты по сравнению с традиционными системами в нескольких тестовых сценариях, обеспечивая более точные и эффективные результаты поиска.

Ключевые особенности

• Механизм модально-осведомлённой маршрутизации: традиционные методы RAG обычно принудительно встраивают данные всех модальностей в единое пространство представлений, что приводит к проблеме «модального разрыва», когда поиск смещается в сторону контента той же модальности, что и запрос. UniversalRAG решает эту проблему за счёт введения механизма модально-осведомлённой маршрутизации, который динамически определяет наиболее подходящий модально-специфический корпус и выполняет в нём целенаправленный поиск.

• Многогранулярный поиск: помимо различий между модальностями, UniversalRAG также учитывает гранулярность данных (то есть размер или единицу каждой записи в корпусе). Каждая модальность разделяется на несколько уровней гранулярности, например текст делится на уровень абзаца и уровень документа, а видео — на короткие клипы и полные видео. Такая конструкция позволяет выполнять детализированный поиск в зависимости от сложности и охвата запроса.

• Поддержка нескольких модальностей: UniversalRAG поддерживает поиск по тексту, изображениям, видео и другим модальностям, динамически выбирая наиболее подходящую модальность в зависимости от потребностей запроса.

Основные цели

• Многомодальный поиск знаний: разработка механизма модально-осведомлённой маршрутизации, позволяющего избежать проблемы модального разрыва, возникающей при принудительном включении всех модальностей в единое пространство представлений; возможность динамического определения наиболее подходящего модально-специфического корпуса и выполнения целенаправленного поиска.

• Многогранулярная интеграция знаний: организация каждой модальности на нескольких уровнях гранулярности, таких как уровень абзаца, документа, изображения, клипа и видео, что позволяет точно настраивать его в зависимости от сложности и охвата запроса и более гибко адаптироваться к различным запросам.

Методология исследования

• Механизм модально-осведомлённой маршрутизации: поддерживаются независимые пространства эмбеддингов для каждой модальности, а также вводится модуль маршрутизации. Этот модуль может динамически выбирать наиболее подходящий модально-специфический корпус для поиска в соответствии с модальными требованиями запроса, избегая модального разрыва.

• Построение многогранулярного корпуса: учитывается гранулярность данных, и каждая модальность организуется на нескольких уровнях гранулярности, что позволяет системе выбирать источник знаний с подходящей гранулярностью в зависимости от сложности и охвата запроса и предоставлять более точные и исчерпывающие ответы.

• Реализация модуля маршрутизации:

• Маршрутизация без обучения: используются знания и возможности рассуждения предобученных больших языковых моделей (например, GPT-4o), которые путём предоставления инструкций и контекстных примеров классифицируют запросы и выбирают тип поиска. Дополнительное обучение не требуется, но метод может быть ограничен предвзятостями и границами знаний предобученной модели.

• Маршрутизация с обучением: модуль маршрутизации обучается на сконструированном обучающем наборе данных, что позволяет ему более точно предсказывать оптимальный тип поиска для данного запроса и лучше адаптироваться к требованиям конкретной задачи и набора данных.

Настройка эксперимента и результаты

Настройка эксперимента

• Эксперименты проводились на нескольких эталонных наборах данных, охватывающих различные модальности (текст, изображения, видео) и настройки поиска, с использованием различных крупных визуально-языковых моделей (LVLM) в качестве генераторов и нескольких базовых методов для сравнения.

Результаты экспериментов

• UniversalRAG превосходит все базовые методы по среднему баллу на всех эталонных наборах данных, демонстрируя выдающиеся результаты на запросах, требующих многомодальных знаний.

• Модель маршрутизации с обучением превосходит модель без обучения по производительности модуля маршрутизации, однако модель без обучения по-прежнему превосходит другие базовые методы, что свидетельствует об эффективности маршрутизации с нулевым обучением в рамках UniversalRAG.

• Поддержка корпусов текста и видео с различной гранулярностью значительно повышает производительность UniversalRAG: по сравнению с моделями без управления гранулярностью она позволяет выбирать подходящий уровень гранулярности в зависимости от запроса и генерировать более точные ответы.

• На междисциплинарных наборах данных GPT-4o в качестве модели маршрутизации без обучения демонстрирует наивысшую точность маршрутизации и средний балл ответов на вопросы, тогда как модели с обучением страдают от переобучения из-за недостаточного разнообразия запросов в обучающих данных. Введение ансамблевого метода маршрутизации, сочетающего преимущества маршрутизации с обучением и без обучения, обеспечивает лучшую производительность на междисциплинарных наборах данных.

Преимущества

• Повышение фактической точности: извлекая информацию из источников знаний различных модальностей и гранулярностей, UniversalRAG обеспечивает более полную поддержку ответов модели, снижая количество ошибок, вызванных单一 модальностью или недостаточной гранулярностью.

• Гибкость: платформа способна гибко обрабатывать различные типы запросов — как простые фактологические вопросы, так и сложные аналитические задачи.

• Масштабируемость: за счёт расширения логики маршрутизации UniversalRAG позволяет беспрепятственно интегрировать новые модальности без изменения существующих модально-специфических поисковых модулей.

Домашняя страница проекта:https://universalrag.github.io/

Статья:https://arxiv.org/abs/2504.20734