ZeroSearch: Ein innovatives Open-Source-Framework für eine LLM-Suchmaschine von Alibaba 71

小编 · 2025-05-09

Am 8. Mai 2025 hat Alibaba ZeroSearch als Open-Source veröffentlicht – eine Suchmaschine für große Modelle. ZeroSearch ist ein innovatives Open-Source-Framework für eine LLM-Suchmaschine aus Alibabas Tongyi-Labor; im Kern handelt es sich um ein einzigartiges Reinforcement-Learning-Framework, das keine Interaktion mit klassischen echten Suchmaschinen benötigt und dennoch die latenten Suchfähigkeiten großer Modelle vollständig aktiviert.

ZeroSearch: Ein innovatives Open-Source-Framework für eine LLM-Suchmaschine von Alibaba

Am 8. Mai 2025 hat Alibaba das große Sprachmodell-Suchmaschinen-Framework ZeroSearch als Open Source veröffentlicht. ZeroSearch ist ein innovatives, von Alibabas Tongyi-Labor als Open Source bereitgestelltes Framework für große Sprachmodell-Suchmaschinen. Im Wesentlichen handelt es sich um ein einzigartiges Reinforcement-Learning-Framework, das keine Interaktion mit herkömmlichen echten Suchmaschinen erfordert und dennoch die in großen Sprachmodellen verborgenen Suchfähigkeiten vollständig aktivieren kann.

ZeroSearch：阿里巴巴开源的一种创新大模型搜索引擎框架.jpg

Hauptfunktionen von ZeroSearch

Keine Interaktion mit echten Suchmaschinen erforderlich: Durch die Simulation einer Suchmaschine werden die Suchfähigkeiten des großen Sprachmodells aktiviert, wodurch die Interaktion mit echten Suchmaschinen (wie Google) vermieden und Kosten sowie Unkontrollierbarkeit reduziert werden.
Dynamische Steuerung der Dokumentqualität: Unterstützt die Erstellung relevanter oder verrauschter Dokumente. Durch die Anpassung von Schlüsselwörtern in den Prompts lässt sich die Qualität der generierten Dokumente flexibel steuern, was vielfältige Abrufszenarien für das Training bietet.
Unterstützung mehrerer Modelle und Algorithmen: Kompatibel mit großen Sprachmodellen unterschiedlicher Parametergrößen (z. B. 3B, 7B, 14B) und unterstützt verschiedene Reinforcement-Learning-Algorithmen (wie PPO, GRPO).

Kerntechnologien von ZeroSearch

Keine Interaktion mit echten Suchmaschinen erforderlich: ZeroSearch nutzt ein Reinforcement-Learning-Framework, das die Suchfähigkeiten großer Sprachmodelle anregt, ohne mit echten Suchmaschinen wie Google zu interagieren. Es basiert auf dem Wissen, das das große Sprachmodell während des umfangreichen Vortrainings angesammelt hat, und wandelt dieses in ein Abrufmodul um, das basierend auf Anfragen relevante Inhalte generiert.
Dynamische Steuerung der Dokumentqualität: Das Framework kann die Qualität der generierten Dokumente dynamisch steuern und sowohl relevante als auch verrauschte Dokumente erzeugen, um vielfältige Abrufszenarien für das Training bereitzustellen. Durch die Anpassung von Schlüsselwörtern in den Prompt-Vorlagen wird das Modell dazu angeleitet, qualitativ abgestufte Abrufstrategien zu erlernen.
Leichtgewichtiges überwachtes Feintuning: Zunächst wird das große Sprachmodell in ein Abrufmodul umgewandelt, sodass es qualitativ hochwertige oder minderwertige Dokumente generieren kann, um unterschiedliche Trainingsanforderungen zu erfüllen.
Curriculum-Learning-Mechanismus: Während des Trainings wird der Rauschpegel der Dokumente schrittweise erhöht, sodass das Modell mit einfachen Szenarien beginnt und sich nach und nach an anspruchsvollere Aufgaben anpasst, was die Schlussfolgerungsfähigkeiten verbessert.
Belohnungsmechanismus auf Basis des F1-Scores: Der F1-Score dient als Belohnungssignal, mit Fokus auf die Genauigkeit der Antworten.
Mehrstufige Interaktionsvorlagen: Klare Phasen für Schlussfolgerung, Suche und Antwort führen das Modell schrittweise zur Aufgabenbewältigung.

Leistungs- und Kostenvorteile

Leistung: Die Forscher haben Tests auf sieben großen Frage-Antwort-Datensätzen wie NQ und TriviaQA durchgeführt. Das überwacht feinabgestimmte Modell mit 7 Milliarden Parametern erreicht eine Suchfähigkeit von 33,06, das Modell mit 14 Milliarden Parametern erreicht 33,97 und übertrifft damit Google Search mit 32,47.
Kosteneffizienz: Die Verwendung von Google Search für etwa 64.000 Suchanfragen im Training kostet rund 586,70 US-Dollar, während die Simulation mit einem großen Sprachmodell mit 14 Milliarden Parametern auf vier A100-GPUs lediglich 70,80 US-Dollar kostet – eine Kostensenkung von über 80 %.

ZeroSearch：阿里巴巴开源的一种创新大模型搜索引擎框架.webp

Anwendungsszenarien von ZeroSearch

Intelligente Frage-Antwort-Systeme: Können Anfragen von Nutzern schnell und präzise beantworten und eignen sich für Szenarien wie intelligenten Kundenservice und intelligente Assistenten.
Internes Wissensmanagement in Unternehmen: Unternehmen können mit ZeroSearch eine effiziente Wissenssuchplattform aufbauen, mit der Mitarbeiter benötigte Informationen schnell finden und so ihre Arbeitseffizienz steigern können.