Proxyless LLM Websearch: веб-поисковик для LLM, не требующий прокси 87

Что такое Proxyless LLM Websearch?

Proxyless LLM Websearch — это поисковая система для LLM, работающая без прокси. Она поддерживает мультипоисковые движки, интеллектуальный парсинг и асинхронную обработку, разбор содержимого URL и веб-скрапинг, а также модульную архитектуру агентов на базе LangGraph. Система спроектирована специально для сценариев обращения больших языковых моделей к внешним источникам знаний.

Возможности Proxyless LLM Websearch

• Работа без прокси: благодаря настройке отечественных браузеров через Playwright сетевой поиск возможен без использования прокси.

• Поддержка нескольких поисковых систем: совместимость с популярными движками Bing, Quark, Baidu, Sogou и другими, что расширяет разнообразие источников информации.

• Распознавание намерений: система способна автоматически определять по вводу пользователя, требуется ли веб-поиск или разбор URL.

• Декомпозиция запроса: в соответствии с намерением пользователя запрос автоматически разбивается на несколько подзадач, которые выполняются последовательно, что повышает релевантность и эффективность поиска.

• Агентная архитектура: модули «web_search» и «link_parser», реализованные на базе LangGraph.

• Асинхронная параллельная обработка задач: поддержка асинхронного параллельного выполнения множества поисковых запросов.

• Оптимизированная обработка контента

• Разбиение контента: длинные веб-страницы разделяются на сегменты.

• Переранжирование контента: интеллектуальная пересортировка для повышения релевантности информации.

• Фильтрация контента: автоматическое удаление нерелевантной или повторяющейся информации.

• Поддержка нескольких клиентов

• Backend-интерфейс на FastAPI: возможность интеграции в любые системы.

• Веб-интерфейс на Gradio: быстрое развёртывание в виде визуального приложения.

• Поддержка браузерных расширений: совместимость с Edge, плагин для интеллектуального разбора URL позволяет напрямую из браузера инициировать запросы на парсинг и извлечение содержимого страниц.

Установка и использование

Клонирование репозитория:

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

Установка зависимостей:

pip install -r requirements.txt
python -m playwright install

Настройка переменных окружения:

Необходимо задать переменные окружения OPENai_API_KEY, OPENAI_BASE_URL, MODEL_NAME, EMBEDDING_MODEL_NAME, EMBEDDING_API_KEY, EMBEDDING_BASE_URL и другие.

Запуск примеров:

Запуск демо:

python demo.py

Запуск backend-интерфейса FastAPI:

python api_serve.py

Запуск веб-интерфейса Gradio:

python gradio_demo.py

Результаты тестирования

На сложном наборе вопросов и ответов WebWalkerQA от Alibaba система proxyless-llm-websearch показала наивысшую точность и наименьший процент ошибок по сравнению с известными онлайн-сервисами поиска, такими как Volcano Ark и Bailian.

Репозиторий на Github:https://github.com/itshyao/proxyless-llm-websearch