ViDoRAG: система Retrieval-Augmented Generation (RAG) для понимания визуальных документов 195

Что такое ViDoRAG?

ViDoRAG — это система Retrieval-Augmented Generation (RAG) для визуального понимания документов, разработанная лабораторией Tongyi компании Alibaba совместно с Университетом науки и технологий Китая и Шанхайским университетом Цзяо Тун. Она использует мультимодальный гибридный поиск и механизм итеративного рассуждения с участием нескольких агентов, что значительно повышает точность и эффективность обработки визуальных документов. Проще говоря, она поддерживает поиск по документам с изображениями, позволяя находить нужную информацию в большом массиве таких документов, например, отвечать на вопросы «Какого цвета этот продукт?» или «О чём эта статья?».

Архитектура ViDoRAG

Архитектура ViDoRAG делает упор на взаимодействие нескольких агентов и динамическое итеративное рассуждение. Основные ключевые компоненты:

Мультимодальный гибридный поиск: объединяет визуальные и текстовые признаки, используя модель гауссовой смеси (GMM) для динамической настройки стратегии поиска, что позволяет более точно находить ключевую информацию.

Взаимодействие нескольких агентов:

• Seeker Agent: быстро отфильтровывает релевантные изображения или фрагменты документов, предоставляя глобальные подсказки.

• Inspector Agent: детально проверяет отобранные результаты и формирует предварительный ответ.

• Answer Agent: объединяет предварительные ответы, проверяет их точность и согласованность, после чего формирует окончательный ответ.

Динамическая стратегия поиска: с помощью GMM динамически регулирует количество возвращаемых результатов поиска, снижая вычислительную нагрузку и повышая эффективность поиска.

Функциональные особенности

1. Мультимодальный гибридный поиск:

• Двухканальный визуально-текстовый поиск: ViDoRAG способен одновременно обрабатывать визуальную (изображения) и текстовую информацию для поиска, обеспечивая более полное понимание содержимого документа.

• Слияние с помощью модели гауссовой смеси (GMM): GMM динамически регулирует веса результатов визуального и текстового поиска, выбирая оптимальную стратегию поиска в зависимости от характеристик запроса, что снижает уровень шума и вычислительную нагрузку.

2. Совместное рассуждение нескольких агентов:

• Seeker Agent: быстро отфильтровывает релевантные фрагменты документов или изображений, сужая область поиска.

• Inspector Agent: подробно проверяет отобранные фрагменты, извлекает ключевую информацию и формирует предварительный ответ.

• Answer Agent: объединяет предварительные ответы и проверяет их, формируя окончательный ответ.

• Динамическое итеративное рассуждение: агенты непрерывно взаимодействуют и итерируют, благодаря чему качество ответа постоянно улучшается.

3. Динамическая стратегия поиска:

• Адаптивное количество результатов поиска: ViDoRAG динамически регулирует количество возвращаемых результатов с помощью GMM, избегая проблем, связанных с фиксированным числом результатов.

• Эффективный процесс поиска: способен автоматически оптимизировать стратегию поиска на основе распределения сходства между запросом и набором документов, повышая эффективность поиска.

4. Возможности понимания сложных документов:

• Поддержка визуально насыщенных документов: возможность обработки документов, содержащих текст, диаграммы, таблицы и сложную вёрстку.

• Многошаговое рассуждение: способность обрабатывать задачи одношагового и многошагового рассуждения, справляясь со сложными запросами, требующими понимания информации из нескольких документов.

5. Высокая точность и производительность:

• Высокая точность: на基准 датасете ViDoSeek достигает точности 79,4%, что значительно превосходит другие базовые методы.

• Устойчивость: взаимодействие нескольких агентов и динамическая стратегия поиска обеспечивают стабильную работу ViDoRAG при обработке зашумлённых данных и в сложных сценариях.

Сценарии применения

• Обработка визуальных документов: подходит для работы с визуально насыщенными документами, такими как научные публикации, отчёты, руководства и т. п.

• Вопросно-ответные системы: может использоваться в качестве ключевого модуля问答 системы для быстрого и точного ответа на вопросы.

• Интеллектуальный офис: помогает пользователям быстро извлекать ключевую информацию из документов, повышая эффективность работы.

Репозиторий на GitHub: https://github.com/Alibaba-NLP/ViDoRAG