YAYI2：中文名为“雅意”,中科闻歌开源大语言模型_云技派 163

YAYI2, un nouveau modèle de langage open source de grande taille développé par Wenge Research, dont le nom chinois est « 雅意 » (Yayi). Ce modèle comprend les versions Base et Chat, avec un nombre de paramètres atteignant 30B, construit sur l'architecture Transformer.

YAYI2 a été pré-entraîné sur plus de 2 000 milliards de Tokens de corpus multilingues de haute qualité. Pour les scénarios d'application généraux et spécifiques, nous avons utilisé des instructions à l'échelle du million pour le fine-tuning, tout en nous appuyant sur l'apprentissage par renforcement à partir de feedback humain afin de mieux aligner le modèle sur les valeurs humaines.

Capacités principales de YAYI2 Yayi

• Questions-réponses de connaissances en chinois : première place aux évaluations AGIEval et CMMLU, deuxième place à MMLU

• Extraction d'informations : extraction d'entités en chinois zero-shot atteignant l'état de l'art (SOTA), équivalent à ChatGPT en anglais

• Interaction multimodale : génération croisée image-texte, analyse de PDF, compréhension de pages web en temps réel

• Jeu de rôle : prise en charge de dizaines de milliers de rôles personnalisés, avec une cohérence sur des dialogues très longs

Architecture technique de YAYI2 Yayi

• 30 milliards de paramètres, prise en charge d'un contexte ultra-long de 128k (environ 200 000 caractères traités)

• Pré-entraînement réalisé de zéro, propriété intellectuelle entièrement indépendante, compatible avec les GPU chinois tels que Huawei Ascend

• Données d'entraînement comprenant 2 650 milliards de Tokens, issues de 200 To de données brutes raffinées à travers plus de 1 000 processus de nettoyage

• Prise en charge de plus de 10 langues dont le chinois et l'anglais, taux de compression des Tokens chinois leader en Chine

Applications sectorielles de YAYI2 Yayi

YAYI 2 fait preuve de capacités remarquables dans de nombreux domaines verticaux, notamment les médias et la communication, l'analyse de l'opinion publique, la gouvernance administrative et l'analyse financière. En outre, il est également appliqué dans des domaines tels que l'éducation, la fiscalité, la médecine traditionnelle chinoise et la finance, offrant aux entreprises des outils d'assistance IA, des systèmes de questions-réponses sur base de connaissances, et des solutions de robots de création IA, entre autres.

• Domaine administratif : extraction sécurisée d'informations, génération de rapports spéciaux sur l'opinion publique, approbation juridique intelligente

• Scénarios financiers : analyse de rapports financiers, gestion de la conformité des investissements, interprétation des politiques macroéconomiques

• Création médiatique : rédaction d'actualités multilingues, compréhension vidéo, génération de présentateurs virtuels

• Outils spécialisés : consultation intelligente en médecine traditionnelle chinoise, questions-réponses sur la base de connaissances d'entreprise, prise en charge des langages de programmation

Par rapport au modèle open source Llama 2, YAYI 2 offre de meilleures performances dans les scénarios en chinois, et permet, grâce à des plugins, d'appeler des outils tels qu'une calculatrice ou un service de météo. Son architecture de sécurité renforce l'alignement des valeurs, et le contenu généré fait l'objet d'une modération en temps réel, ce qui le rend adapté aux scénarios sensibles des administrations et des entreprises. YAYI est déjà déployé dans des ministères nationaux et des institutions financières, et a établi des partenariats écosystémiques avec Huawei Cloud et la Banque de Pékin (Bank of Beijing), entre autres.

YAYI 2 est disponible en deux versions, Base et Chat ; la version open source est la version Base, qui permet aux développeurs d'accéder au code, au modèle et aux données d'entraînement sur GitHub. De plus, ce modèle est publié sous la licence Apache-2.0, autorisant l'usage commercial et le développement dérivé.

Dépôt GitHub : https://github.com/wenge-research/YAYI2

HuggingFace : https://huggingface.co/wenge-research/yayi2-30b