Orion Starry Sky Large Language Model 106

Das Orion-14B-Base-Großmodell von Orion Star ist ein mehrsprachiges Großmodell mit 14 Milliarden Parametern. Es wurde auf einem vielfältigen Datensatz mit 2,5 Billionen Tokens trainiert und deckt mehrere Sprachen ab, darunter Chinesisch, Englisch, Japanisch und Koreanisch. Es zeigt hervorragende Leistungen in einer Reihe von Aufgaben in mehrsprachigen Umgebungen. In den gängigen öffentlichen Benchmark-Bewertungen schneidet die Orion-14B-Modellreihe hervorragend ab und übertrifft andere Modelle mit gleicher Parametergröße in mehreren Metriken deutlich.

Open-Source-Adresse:

https://github.com/OrionStarai/Orion

https://huggingface.co/OrionStarAI

Die Großmodellreihe Orion-14B von Orion Star weist die folgenden Merkmale auf:

• Das Basismodell mit 20B-Parameterniveau zeigt hervorragende umfassende Bewertungsergebnisse

• Starke mehrsprachige Fähigkeiten, mit deutlicher Führung in japanischen und koreanischen Testsätzen

• Feinabgestimmte Modelle mit hoher Anpassungsfähigkeit, die in blinden Tests durch menschliche Bewerter besonders hervorstechen

• Die Version mit langem Kontext unterstützt sehr lange Texte, liefert hervorragende Ergebnisse bei einer Länge von 200k Tokens und unterstützt bis zu 320k

• Die quantisierte Version reduziert die Modellgröße um 70%, steigert die Inferenzgeschwindigkeit um 30% bei einem Leistungsverlust von weniger als 1%

Im Einzelnen umfasst die Großsprachmodellreihe Orion-14B von Orion Star:

• Orion-14B-Base: Ein mehrsprachiges Basismodell mit 14 Milliarden Parametern, das auf einem vielfältigen Datensatz mit 2,5 Billionen Tokens trainiert wurde.

• Orion-14B-Chat: Ein auf hochwertigen Korpora feinabgestimmtes Dialogmodell, das darauf abzielt, der Großmodell-Community ein besseres Benutzerinteraktionserlebnis zu bieten.

• Orion-14B-LongChat: Liefert hervorragende Ergebnisse bei einer Länge von 200k Tokens, unterstützt bis zu 320k und erreicht auf Langtext-Bewertungssätzen eine Leistung auf Augenhöhe mit proprietären Modellen.

• Orion-14B-Chat-RAG: Ein Chat-Modell, das auf einem maßgeschneiderten Datensatz für retrievalgestützte Generierung feinabgestimmt wurde und hervorragende Leistungen bei Aufgaben zur retrievalgestützten Generierung erzielt.

• Orion-14B-Chat-Plugin: Ein Chat-Modell, das speziell für Plugin- und Funktionsaufrufaufgaben maßgeschneidert ist und sich besonders für agentenbasierte Szenarien eignet, in denen das Großsprachmodell als Plugin- und Funktionsaufrufsystem fungiert.

• Orion-14B-Base-Int4: Ein Basismodell, das mit int4 quantisiert wurde. Es reduziert die Modellgröße erheblich um 70% und steigert gleichzeitig die Inferenzgeschwindigkeit um 30%, bei einem minimalen Leistungsverlust von nur 1%.

• Orion-14B-Chat-Int4: Ein Dialogmodell, das mit int4 quantisiert wurde.

Orion Star (OrionStar) ist ein weltweit führendes Unternehmen für Serviceroboter-Lösungen, gegründet im September 2016. Orion Star widmet sich der Entwicklung revolutionärer Roboter der nächsten Generation auf Basis von künstlicher Intelligenz, um Menschen von repetitiver körperlicher Arbeit zu befreien und die Arbeit sowie das Leben der Menschen intelligenter und interessanter zu gestalten – mit dem Ziel, durch Technologie die Gesellschaft und die Welt zu verbessern.

Orion Star verfügt über vollständig selbst entwickelte KI-Technologien entlang der gesamten Wertschöpfungskette, wie etwa Sprachinteraktion und visuelle Navigation. Es vereint Produktentwicklungskompetenz und Technologieanwendungskompetenz. Basierend auf der Orion-Roboterarm-Plattform hat es Produkte wie ORION STAR AI Robot Greeting, AI Robot Greeting Mini, Lucki und Coffee Master eingeführt und die offene Roboterplattform OrionOS aufgebaut. Durch die gelebte Philosophie „Für wirklich nützliche Roboter geboren" werden mithilfe von KI-Technologie immer mehr Menschen befähigt.

Mit 7 Jahren gesammelter KI-Erfahrung hat Orion Star die tiefgreifende Großmodell-Anwendung „Juyan" vorgestellt und bietet branchenübergreifend maßgeschneiderte Beratungs- und Servicelösungen für KI-Großmodelle an, um Kunden dabei zu unterstützen, ihre betriebliche Effizienz im Vergleich zu Wettbewerbern zu steigern.

Orion Star verfügt über die Kernkompetenz, Großmodelle entlang der gesamten Wertschöpfungskette anzuwenden, einschließlich der Fähigkeiten und Erfahrungen in der Verarbeitung massiver Daten, dem Vortraining von Großmodellen, dem sekundären Vortraining, dem Fine-tuning, Prompt Engineering und der Agent-Entwicklung. Es besitzt vollständige End-to-End-Modelltrainingsfähigkeiten, einschließlich systematischer Datenverarbeitungsprozesse und der Fähigkeit zum parallelen Training von Modellen auf Hunderten von GPUs, und ist bereits in zahlreichen Branchenszenarien wie Verwaltung, Cloud-Diensten, grenzüberschreitendem E-Commerce und FMCG im Einsatz.