Alibaba Cloud veröffentlicht das Open-Source-Modell Qwen2 176

Alibaba Cloud veröffentlicht das Open-Source-Modell Qwen 2, dessen Leistung alle derzeitigen Open-Source-Modelle und inländischen Closed-Source-Modelle übertrifft.

Das Qwen 2 Modell umfasst verschiedene Größen, darunter 0,5B, 1,5B, 7B, 57B-A14B und 72B in 5 verschiedenen Größenversionen. Bei den Benchmark-Tests mit Modellen derselben Größe erzielte das Qwen 2 Modell Ergebnisse, die alle Open-Source-Modelle übertrafen. Auf der CompassArena Large Model Arena getestet, ist es in der Tat sehr leistungsstark und sollte derzeit eine der hervorragendsten Optionen im Bereich Chinesisch sein.

Funktionsmerkmale von Qwen 2:

• 5 Größenversionen von vortrainierten und instruktionsoptimierten Modellen, einschließlich Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B und Qwen2-72B;

• Zusätzlich zu Englisch und Chinesisch wurde es mit Daten in 27 weiteren Sprachen trainiert;

• State-of-the-Art-Leistung bei einer Vielzahl von Benchmark-Bewertungen;

• Deutlich verbesserte Leistung in den Bereichen Codierung und Mathematik;

• Die Modelle Qwen2-7B-Instruct und Qwen2-72B-Instruct unterstützen eine erweiterte Kontextlänge von bis zu 128K Tokens.

Vergleichende Bewertungen zeigen, dass die Leistung großer Modelle (70B+ Parameter) im Vergleich zu Qwen1.5 deutlich verbessert wurde. Der Schwerpunkt unserer Bewertung liegt hier auf dem großen Modell Qwen2-72B. Im Bereich der Basissprachmodelle wurden Qwen2-72B und die modernsten offenen Modelle hinsichtlich verschiedener Fähigkeiten bewertet, darunter Verständnis natürlicher Sprache, Wissenserwerb, Codierungsfähigkeiten, mathematische Fähigkeiten und mehrsprachige Kompetenz. Dank sorgfältig zusammengestellter Datensätze und optimierter Trainingsmethoden zeigt Qwen2-72B eine hervorragende Leistung im Vergleich zu führenden Modellen wie Llama-3-70B. Bemerkenswert ist, dass es trotz geringerer Parameterzahl die Leistung seines Vorgängers Qwen1.5-110B übertrifft.

Nach umfangreichem Vortraining im großen Maßstab führen wir ein Nachtraining durch, um die Intelligenz von Qwen weiter zu steigern und sie der menschlichen Intelligenz anzunähern. Dieser Prozess verbessert die Fähigkeiten des Modells in Bereichen wie Codierung, Mathematik, Schlussfolgerung, Befolgung von Anweisungen, mehrsprachiges Verständnis weiter. Darüber hinaus wird die Ausgabe des Modells an menschliche Werte angeglichen, um sicherzustellen, dass es hilfreich, ehrlich und harmlos ist. Unsere Nachtrainingsphase folgt dem Prinzip des skalierbaren Trainings und erfordert minimalen menschlichen Annotationsaufwand. Konkret erforschen wir, wie wir durch verschiedene automatische Ausrichtungsstrategien qualitativ hochwertige, zuverlässige, vielfältige und kreative Demonstrations- und Präferenzdaten gewinnen können, wie z. B. Rejection Sampling für Mathematik, Ausführungsfeedback für Codierung und Befolgung von Anweisungen, Back-Translation für kreatives Schreiben sowie skalierbare Aufsicht für Rollenspiele und mehr. Beim Training setzen wir eine Kombination aus überwachtem Feintuning, Belohnungsmodelltraining und Online-DPO-Training ein. Außerdem verwenden wir einen neuartigen Online-Merge-Optimierer, um den Alignment Tax zu minimieren. Diese gemeinsamen Bemühungen verbessern die Fähigkeiten und Intelligenz unseres Modells erheblich, wie die folgende Tabelle zeigt.

Wie geht es weiter mit Qwen2?

Wir trainieren ein größeres Qwen2-Modell, um die Modellskalierung sowie unseren jüngsten Datenskalierungsansatz weiter zu erforschen. Darüber hinaus erweitern wir das Qwen2-Sprachmodell auf multimodale Fähigkeiten, sodass es visuelle und audiobasierte Informationen verstehen kann. In naher Zukunft werden wir weiterhin neue Modelle als Open Source veröffentlichen und die KI-Open-Source-Bewegung beschleunigen. Bleiben Sie dran!

Github：https://github.com/QwenLM/Qwen2

Download-Link：https://modelscope.cn/organization/qwen

Erlebnis-Link：https://modelscope.cn/studios/opencompass/CompassArena/summary

Detaillierte Einführung：https://qwenlm.github.io/blog/qwen2/