YAYI2：中文名为“雅意”,中科闻歌开源大语言模型_云技派 158

YAYI2 ist ein neuartiges Open-Source-Sprachmodell, das von Zhongke Wenge entwickelt wurde. Der chinesische Name lautet „雅意". Das Modell umfasst Base- und Chat-Versionen, verfügt über 30 Milliarden Parameter und basiert auf der Transformer-Architektur.

YAYI2 wurde mit über 2 Billionen Tokens hochwertiger, mehrsprachiger Korpora vortrainiert. Für allgemeine und domänenspezifische Anwendungsszenarien wurden millionenfache Anweisungen für das Feintuning verwendet, wobei zusätzlich Reinforcement Learning aus menschlichem Feedback zum Einsatz kam, um das Modell besser an menschliche Werte anzupassen.

YAYI2雅意 Kernfähigkeiten

• Chinesisches Wissensquiz: Platz eins bei AGIEval- und CMMLU-Bewertungen, Platz zwei bei MMLU

• Informationsextraktion: Zero-Shot-Erkennung chinesischer Entitäten auf SOTA-Niveau, im Englischen vergleichbar mit ChatGPT

• Multimodale Interaktion: Gegenseitige Erzeugung von Text und Bildern, PDF-Analyse, Echtzeit-Verständnis von Webseiten

• Rollenübernahme: Unterstützung für über zehntausend benutzerdefinierte Rollen und sehr lange Dialogzusammenhänge

YAYI2雅意 Technische Architektur

• 30 Milliarden Parameter, unterstützt 128k ultralangen Kontext (Verarbeitung von ca. 200.000 Zeichen Text)

• Von Grund auf vortrainiert, vollständig eigenständige geistige Eigentumsrechte, kompatibel mit inländischen GPUs wie Huawei Ascend

• Trainingsdaten umfassen 2,65 Billionen Tokens, gewonnen aus 200 TB Rohdaten durch über 1000 Reinigungsschritte

• Unterstützt über 10 Sprachen wie Chinesisch und Englisch, mit branchenführender Token-Kompressionsrate für Chinesisch

YAYI2雅意 Branchenanwendungen

YAYI 2 zeigt hervorragende Leistungen in zahlreichen vertikalen Bereichen, darunter Medienarbeit, Meinungsanalyse, Verwaltung und Finanzanalyse. Darüber hinaus wird es in den Bereichen Bildung, Finanzen und Steuern, Traditionelle Chinesische Medizin sowie Finanzwesen eingesetzt und bietet Unternehmen KI-Unterstützungswerkzeuge, Wissensdatenbank-Fragesysteme sowie KI-gestützte Erstellungsroboter und weitere Lösungen.

• Verwaltungsbereich: Sichere Informationsextraktion, Erstellung von Sonderberichten zur öffentlichen Meinung, intelligente rechtliche Genehmigungen

• Finanzszenarien: Analyse von Finanzberichten, Management der Investitions-Compliance, Interpretation makroökonomischer Politik

• Medienerstellung: Mehrsprachige Nachrichten-Schreibarbeit, Video-Verständnis, Generierung virtueller Nachrichtensprecher

• Fachwerkzeuge: Intelligente Diagnostik in der Traditionellen Chinesischen Medizin, Wissensdatenbank-Fragebeantwortung in Unternehmen, Unterstützung für Programmiersprachen

Im Vergleich zum Open-Source-Modell Llama 2 schneidet YAYI 2 in chinesischen Szenarien besser ab, und durch Plugins können Funktionen wie Taschenrechner und Wetterabfrage direkt aufgerufen werden. Die Sicherheitsarchitektur stärkt die Werteausrichtung, die Ausgabeinhalte werden in Echtzeit überprüft, wodurch es sich für sensible Szenarien in Behörden und Unternehmen eignet. YAYI wurde bereits in nationalen Ministerien und Finanzinstituten eingesetzt und pflegt Ökosystem-Kooperationen mit Huawei Cloud und der Bank of Beijing.

YAYI 2 bietet zwei Versionen, Base und Chat, wobei die Base-Version als Open Source veröffentlicht ist. Entwickler können den Code, das Modell und die Trainingsdaten über GitHub beziehen. Darüber hinaus unterliegt das Modell der Apache-2.0-Lizenz, die kommerzielle Nutzung und Weiterentwicklung erlaubt.

GitHub-Repository: https://github.com/wenge-research/YAYI2

HuggingFace: https://huggingface.co/wenge-research/yayi2-30b