Proxyless LLM Websearch: motor de búsqueda web para LLMs sin necesidad de proxy 89

¿Qué es Proxyless LLM Websearch?

Proxyless LLM Websearch es un motor de búsqueda web para LLM que no requiere proxy, compatible con búsqueda multi-motor, análisis inteligente y procesamiento asíncrono. Admite análisis de contenido de URL y rastreo de páginas web, y se combina con LangGraph para implementar cadenas de agentes modulares e inteligentes, diseñado específicamente para escenarios de invocación de conocimiento externo de modelos de lenguaje grandes.

Características de Proxyless LLM Websearch

• Sin necesidad de proxy: mediante la configuración de Playwright con navegadores nacionales, permite realizar búsquedas web sin necesidad de un proxy.

• Soporte multi-motor de búsqueda: compatible con motores de búsqueda populares como Bing, Quark, Baidu y Sogou, lo que aumenta la diversidad de las fuentes de información.

• Reconocimiento de intención: el sistema puede determinar automáticamente, según la entrada del usuario, si debe realizar una búsqueda web o analizar una URL.

• Descomposición de consultas: según la intención de búsqueda del usuario, descompone automáticamente la consulta en múltiples subtareas y las ejecuta de forma secuencial, mejorando así la relevancia y la eficiencia de la búsqueda.

• Arquitectura de agentes: basada en "web_search" y "link_parser" encapsulados con LangGraph.

• Procesamiento asíncrono y concurrente de tareas: admite el procesamiento asíncrono y concurrente de tareas, lo que permite gestionar de forma eficiente múltiples tareas de búsqueda.

• Optimización del procesamiento de contenido

• Segmentación de contenido: divide el contenido largo de las páginas web en fragmentos.

• Reordenamiento de contenido: reordenamiento inteligente para mejorar la relevancia de la información.

• Filtrado de contenido: elimina automáticamente el contenido irrelevante o duplicado.

• Soporte multiplataforma

• Interfaz backend FastAPI: integrable en cualquier sistema.

• Gradio Web UI: permite desplegar rápidamente una aplicación visual.

• Soporte para extensiones de navegador: compatible con Edge, ofrece una extensión de análisis de URL inteligente que permite iniciar solicitudes de análisis y extracción de contenido web directamente desde el navegador.

Instalación y uso

Clonar el repositorio:

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

Instalar dependencias:

pip install -r requirements.txt
python -m playwright install

Configuración de variables de entorno:

Es necesario configurar variables de entorno como OPENai_API_KEY, OPENAI_BASE_URL, MODEL_NAME, EMBEDDING_MODEL_NAME, EMBEDDING_API_KEY y EMBEDDING_BASE_URL.

Ejecutar el ejemplo:

Ejecutar el demo:

python demo.py

Ejecutar la interfaz backend FastAPI:

python api_serve.py

Ejecutar la Gradio Web UI:

python gradio_demo.py

Resultados de las pruebas

Basado en el conjunto de datos de preguntas y respuestas de alta dificultad WebWalkerQA de Alibaba, y en comparación con interfaces de búsqueda en línea conocidas como Volcengine Ark y Bailian, proxyless-llm-websearch logra la mayor tasa de acierto y la menor tasa de error.

Repositorio en Github:https://github.com/itshyao/proxyless-llm-websearch