Proxyless LLM Websearch: LLM-Websuchmaschine ohne Proxy-Bedarf 88

小编 · 2025-05-13

Proxyless LLM Websearch ist eine LLM-Websuchmaschine, die ohne Proxy auskommt. Sie unterstützt Multi-Engine-Suche, intelligentes Parsing und asynchrone Verarbeitung sowie das Auslesen von URL-Inhalten und Web-Crawling. In Kombination mit LangGraph entstehen modulare Agenten-Ketten – eine Lösung, die gezielt für Szenarien entwickelt wurde, in denen LLMs externes Wissen abrufen müssen.

Proxyless LLM Websearch: LLM-Websuchmaschine ohne Proxy-Bedarf

Was ist Proxyless LLM Websearch?

Proxyless LLM Websearch ist ein proxyloser LLM-Websuch-Engine, der Multi-Engine-Suche, intelligente Analyse und asynchrone Verarbeitung unterstützt. Er ermöglicht das Parsen von URL-Inhalten und Web-Crawling und kombiniert LangGraph zur Umsetzung modularer Agent-Workflows – speziell konzipiert für Szenarien, in denen große Sprachmodelle auf externes Wissen zugreifen müssen.

Proxyless LLM Websearch：无需代理的LLM网络搜索引擎.webp

Funktionen von Proxyless LLM Websearch

Kein Proxy erforderlich: Durch die Konfiguration von inländischen Browsern über Playwright ist Websuche auch ohne Proxy möglich.
Unterstützung mehrerer Suchmaschinen: Unterstützt gängige Suchmaschinen wie Bing, Quark, Baidu und Sogou und erhöht so die Vielfalt der Informationsquellen.
Intentionserkennung: Das System kann anhand der Benutzereingabe automatisch entscheiden, ob eine Websuche oder ein URL-Parsing durchgeführt werden soll.
Query-Dekomposition: Basierend auf der Suchintention des Nutzers wird die Anfrage automatisch in mehrere Teilaufgaben zerlegt und sequenziell ausgeführt, um die Relevanz und Effizienz der Suche zu verbessern.
Agent-Architektur: Auf LangGraph basierende, gekapselte „web_search“- und „link_parser“-Agenten.
Asynchrone und parallele Aufgabenverarbeitung: Unterstützt asynchrone, parallele Aufgabenverarbeitung und kann mehrere Suchaufgaben effizient bearbeiten.
Optimierte Inhaltsverarbeitung

Content-Slicing: Lange Webinhalte werden in Abschnitte unterteilt.
Content-Reranking: Intelligente Umsortierung zur Steigerung der inhaltlichen Relevanz.
Content-Filterung: Automatisches Entfernen irrelevanter oder doppelter Inhalte.

Plattformübergreifende Unterstützung

FastAPI-Backend-Schnittstelle: Kann in jedes beliebige System integriert werden.
Gradio Web UI: Ermöglicht die schnelle Bereitstellung als visuelle Anwendung.
Browser-Plugin-Unterstützung: Unterstützt Edge und stellt ein intelligentes URL-Parser-Plugin bereit, mit dem Webseiten-Parsing und Inhaltsextraktion direkt im Browser ausgelöst werden können.

Installation und Nutzung

Repository klonen:

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

Abhängigkeiten installieren:

pip install -r requirements.txt
python -m playwright install

Konfiguration der Umgebungsvariablen:

Es müssen Umgebungsvariablen wie OPENai_API_KEY, OPENAI_BASE_URL, MODEL_NAME, EMBEDDING_MODEL_NAME, EMBEDDING_API_KEY und EMBEDDING_BASE_URL konfiguriert werden.

Beispiel ausführen:

Demo ausführen:

python demo.py

FastAPI-Backend-Schnittstelle ausführen:

python api_serve.py

Gradio Web UI ausführen:

python gradio_demo.py

Testergebnisse

Im Vergleich mit bekannten Online-Abrufdiensten wie Volcano Ark und Bailian, basierend auf dem anspruchsvollen QA-Datensatz WebWalkerQA von Alibaba, erzielt proxyless-llm-websearch die höchste Genauigkeit und die niedrigste Fehlerrate.

Github-Repository:https://github.com/itshyao/proxyless-llm-websearch