Proxyless LLM Websearch : moteur de recherche web pour LLM sans proxy 94

Qu'est-ce que Proxyless LLM Websearch ?

Proxyless LLM Websearch est un moteur de recherche web pour LLM qui ne nécessite pas de proxy. Il prend en charge la recherche multi-moteurs, l'analyse intelligente et le traitement asynchrone, ainsi que l'analyse de contenu d'URL et l'exploration de pages web. Combiné à LangGraph, il met en œuvre une chaîne d'agents modulaire et est spécialement conçu pour les scénarios d'appel de connaissances externes des grands modèles de langage.

Fonctionnalités de Proxyless LLM Websearch

• Sans proxy : grâce à la configuration de Playwright avec un navigateur national, la recherche web est possible sans proxy.

• Prise en charge de plusieurs moteurs de recherche : compatible avec Bing, Quark, Baidu, Sogou et d'autres moteurs de recherche majeurs, ce qui enrichit la diversité des sources d'information.

• Reconnaissance de l'intention : le système est capable de déterminer automatiquement, à partir de la saisie de l'utilisateur, s'il doit effectuer une recherche web ou analyser une URL.

• Décomposition des requêtes : selon l'intention de recherche de l'utilisateur, la requête est automatiquement décomposée en plusieurs sous-tâches exécutées séquentiellement, améliorant ainsi la pertinence et l'efficacité de la recherche.

• Architecture agentique : « web_search » et « link_parser » encapsulés sur la base de LangGraph.

• Traitement asynchrone et concurrent des tâches : prise en charge du traitement asynchrone et concurrent pour gérer efficacement plusieurs tâches de recherche.

• Optimisation du traitement du contenu

• Découpage du contenu : division des longs contenus web en segments.

• Réordonnancement du contenu : réorganisation intelligente pour améliorer la pertinence des informations.

• Filtrage du contenu : suppression automatique des contenus non pertinents ou redondants.

• Prise en charge multi-plateforme

• Interface backend FastAPI : peut être intégrée dans n'importe quel système.

• Interface web Gradio : permet un déploiement rapide en tant qu'application可视化.

• Prise en charge d'extensions de navigateur : compatible avec Edge, fournit une extension d'analyse d'URL intelligente permettant de lancer directement des requêtes d'analyse et d'extraction de contenu web dans le navigateur.

Installation et utilisation

Cloner le dépôt :

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

Installer les dépendances :

pip install -r requirements.txt
python -m playwright install

Configuration des variables d'environnement :

Il est nécessaire de configurer les variables d'environnement OPENai_API_KEY, OPENAI_BASE_URL, MODEL_NAME, EMBEDDING_MODEL_NAME, EMBEDDING_API_KEY, EMBEDDING_BASE_URL, etc.

Exemples d'exécution :

Lancer la démo :

python demo.py

Lancer l'interface backend FastAPI :

python api_serve.py

Lancer l'interface web Gradio :

python gradio_demo.py

Résultats des tests

Sur le jeu de données de questions-réponses difficiles WebWalkerQA d'Alibaba, et en comparaison avec des interfaces de recherche en ligne connues telles que Volcengine Ark et Bailian, proxyless-llm-websearch a obtenu le meilleur taux de précision et le plus faible taux d'erreur.

Dépôt Github :https://github.com/itshyao/proxyless-llm-websearch