WeKnora: открытый LLM-фреймворк Tencent для понимания и поиска документов 261

WeKnora — это фреймворк для понимания и поиска документов с открытым исходным кодом от Tencent, построенный на базе больших языковых моделей и специально разработанный для работы с документами, имеющими сложную структуру и разнообразное содержание. Он использует модульную архитектуру, объединяющую мультимодальную предобработку, семантическое векторное индексирование, интеллектуальный поиск и генерацию ответов с использованием больших моделей, что позволяет создавать эффективные и управляемые процессы ответов на вопросы по документам. Основной процесс поиска основан на механизме RAG (Retrieval-Augmented Generation), который сочетает контекстно-релевантные фрагменты с языковой моделью для повышения качества семантических ответов.

Основные особенности

• Поддержка разбора различных форматов документов, таких как PDF, Word, изображения, и извлечения из них семантики.

• Использование механизма RAG, сочетающего контекстные фрагменты и языковую модель для генерации высококачественных ответов.

• Гибкая модульная архитектура, позволяющая разделить и расширить весь процесс: разбор, встраивание, поиск, генерация и т.д.

• Поддержка различных стратегий поиска: по ключевым словам, векторного, по графу знаний, а также предоставление веб-интерфейса и API.

• Возможность локального развёртывания и развёртывания в частном облаке, обеспечивающая безопасность и контроль данных.

Технические преимущества

• Мощный мультимодальный движок восприятия: WeKnora точно разбирает документы PDF, Word, изображения со смешанным текстово-графическим содержанием, извлекает семантическую информацию из текста, таблиц и изображений, объединяя технологии OCR и кросс-модального моделирования для построения единого структурированного хранилища знаний.

• Модульная конструкция конвейера RAG: возможность свободно комбинировать стратегии поиска, такие как BM25, векторный поиск, графы знаний, в сочетании с большими языковыми моделями Qwen, DeepSeek и векторными базами данных, гибко удовлетворяя индивидуальные потребности предприятий.

• Точный вывод и гарантия надёжных решений: сочетание частного развёртывания, глубокого понимания многоходового контекста и полноценной визуальной оценки всего конвейера обеспечивает безопасную и управляемую поддержку знаниями для высокочувствительных сценариев.

• Гибкая адаптация к различным производственным средам: WeKnora поддерживает локальное развёртывание, Docker-образы и среды частного облака, имеет встроенную систему мониторинга и логирования, что позволяет удовлетворять потребности автономных сценариев.

• Готовый к использованию интерактивный опыт: WeKnora предлагает интуитивно понятный веб-интерфейс и стандартный API, поддерживает загрузку документов перетаскиванием, многоходовые диалоги и визуализацию графов знаний, что позволяет быстро освоить систему даже нетехническим специалистам.

Сценарии применения

• Управление корпоративными знаниями: внутренний поиск документов, ответы на вопросы о регламентах, запросы к руководствам по эксплуатации и т.д.

• Анализ научной литературы: поиск научных статей, анализ исследовательских отчётов, систематизация академических материалов и т.д.

• Техническая поддержка продуктов: ответы на вопросы по руководствам к продуктам, поиск технической документации, поиск и устранение неисправностей и т.д.

• Юридическая и нормативная экспертиза: поиск положений договоров, запросы к нормативным актам и политикам, анализ прецедентов и т.д.

• Поддержка медицинских знаний: поиск медицинской литературы, запросы к клиническим рекомендациям, анализ историй болезни и т.д.

Как пользоваться WeKnora

• Развёртывание WeKnora: можно развернуть с помощью Docker-образа и быстро запустить сервис за несколько шагов; также возможно развёртывание в локальной среде из исходного кода, следуя инструкциям официальной документации.

• Клонировать репозиторий кода.

• Настроить переменные среды.

• Запустить сервис.

• Загрузка документов: после входа на платформу WeKnora загрузите документы, которые необходимо обработать, перетаскиванием или выбором файлов — система автоматически выполнит разбор и построит индекс.

• Поиск знаний: введите ключевые слова в поле поиска WeKnora для быстрого поиска релевантного контента. Поддерживается полнотекстовый, нечёткий и другие виды поиска, а также возможна точная фильтрация по условиям.

• Просмотр и анализ результатов: результаты поиска отображаются в виде списка, нажав на элемент можно просмотреть подробности. Для сложных документов можно использовать графы знаний и другие функции для углублённого анализа и понимания.

Адрес проекта WeKnora: https://github.com/Tencent/WeKnora