YAYI2(中文名:雅意):中科聞歌が発表したオープンソース大規模言語モデル

YAYI2(中文名:雅意):中科聞歌が発表したオープンソース大規模言語モデル 157

中科聞歌が開発した次世代オープンソース大規模言語モデル。Base版とChat版があり、パラメータ数は30B、Transformerアーキテクチャを採用しています。

#Ai工具箱 #Ai平台模型

YAYI2(中文名:雅意):中科聞歌が発表したオープンソース大規模言語モデル紹介

YAYI2は、中科聞歌が開発した新世代の大規模言語モデルで、中国語名は「雅意」です。このモデルにはBase版とChat版があり、パラメータ数は300億に達し、Transformerアーキテクチャに基づいて構築されています。

YAYI2は、2兆トークンを超える高品質な多言語コーパスを使用して事前学習されています。汎用および特定の分野向けの応用シーンに対して、百万レベルの指示データでファインチューニングを行い、さらに人間のフィードバックによる強化学習を活用して、モデルをより人間の価値観に整合させています。

YAYI2雅意.webp

YAYI2雅意のコア能力

  • 中国語知識問答:AGIEval、CMMLUで第1位、MMLUで第2位

  • 情報抽出:ゼロショット中国語エンティティ抽出でSOTAを達成、英語はChatGPTと同等

  • マルチモーダル対話:画像とテキストの相互生成、PDF解析、Webページのリアルタイム理解

  • ロールプレイ:数万種類のカスタムロールに対応、超長期会話のコンテキスト保持

YAYI2雅意の技術アーキテクチャ

  • 300億パラメータ規模、128kの超長コンテキスト(約20万字のテキスト処理)に対応

  • ゼロからの事前学習を実現、完全な独自知的財産権を保有、Huawei Ascendなどの国産GPUに対応

  • 学習データは2.65兆トークンを含み、200TBの生データから1000以上のクリーニング工程を経て精製

  • 中国語や英語など10以上の言語をサポート、中国語トークンの圧縮率は国内トップレベル

YAYI2雅意業界応用.webp

YAYI2雅意の業界応用

YAYI 2は、メディア宣伝、世論分析、政府事務、金融分析など、複数の垂直分野において卓越した能力を発揮しています。さらに、教育、財政・税務、伝統中国医学、金融などの分野にも応用され、企業向けにAI補助ツール、ナレッジベース問答システム、AI創作ボットなどのソリューションを提供しています。

  • 政府事務分野:安全な情報抽出、世論専報生成、法律智能審査

  • 金融シナリオ:財務報告解析、投資コンプライアンス管理、マクロ政策の解釈

  • メディア創作:多言語ニュース執筆、動画理解、バーチャル主播生成

  • 専門ツール:伝統中国医学智能問診、企業ナレッジベース問答、プログラミング言語サポート

Llama 2オープンソースモデルと比較して、YAYI 2は中国語シナリオでの性能が優れており、プラグインを通じて電卓や天気検索などのツール呼び出しを実現できます。その安全アーキテクチャは価値観整合性を強化しており、出力コンテンツはリアルタイムで審査されるため、政府や企業の機密性の高いシーンに適しています。YAYIはすでに国家省庁や金融機関などで導入されており、Huawei Cloud、北京銀行などとエコシステム協力を構築しています。

YAYI 2はBase版とChat版の2つのバージョンを提供しており、オープンソース化されているのはBase版で、開発者はGitHubでコード、モデル、学習データを取得できます。此外、このモデルはApache-2.0ライセンスに従っており、商用利用や二次開発が許可されています。

GitHubリポジトリ:https://github.com/wenge-research/YAYI2

HuggingFace:https://huggingface.co/wenge-research/yayi2-30b

YAYI2(中文名:雅意):中科聞歌が発表したオープンソース大規模言語モデル に関連するツール