YAYI2(中文名:雅意):中科聞歌が発表したオープンソース大規模言語モデル
YAYI2(中文名:雅意):中科聞歌が発表したオープンソース大規模言語モデル紹介
YAYI2は、中科聞歌が開発した新世代の大規模言語モデルで、中国語名は「雅意」です。このモデルにはBase版とChat版があり、パラメータ数は300億に達し、Transformerアーキテクチャに基づいて構築されています。
YAYI2は、2兆トークンを超える高品質な多言語コーパスを使用して事前学習されています。汎用および特定の分野向けの応用シーンに対して、百万レベルの指示データでファインチューニングを行い、さらに人間のフィードバックによる強化学習を活用して、モデルをより人間の価値観に整合させています。

YAYI2雅意のコア能力
中国語知識問答:AGIEval、CMMLUで第1位、MMLUで第2位
情報抽出:ゼロショット中国語エンティティ抽出でSOTAを達成、英語はChatGPTと同等
マルチモーダル対話:画像とテキストの相互生成、PDF解析、Webページのリアルタイム理解
ロールプレイ:数万種類のカスタムロールに対応、超長期会話のコンテキスト保持
YAYI2雅意の技術アーキテクチャ
300億パラメータ規模、128kの超長コンテキスト(約20万字のテキスト処理)に対応
ゼロからの事前学習を実現、完全な独自知的財産権を保有、Huawei Ascendなどの国産GPUに対応
学習データは2.65兆トークンを含み、200TBの生データから1000以上のクリーニング工程を経て精製
中国語や英語など10以上の言語をサポート、中国語トークンの圧縮率は国内トップレベル

YAYI2雅意の業界応用
YAYI 2は、メディア宣伝、世論分析、政府事務、金融分析など、複数の垂直分野において卓越した能力を発揮しています。さらに、教育、財政・税務、伝統中国医学、金融などの分野にも応用され、企業向けにAI補助ツール、ナレッジベース問答システム、AI創作ボットなどのソリューションを提供しています。
政府事務分野:安全な情報抽出、世論専報生成、法律智能審査
金融シナリオ:財務報告解析、投資コンプライアンス管理、マクロ政策の解釈
専門ツール:伝統中国医学智能問診、企業ナレッジベース問答、プログラミング言語サポート
Llama 2オープンソースモデルと比較して、YAYI 2は中国語シナリオでの性能が優れており、プラグインを通じて電卓や天気検索などのツール呼び出しを実現できます。その安全アーキテクチャは価値観整合性を強化しており、出力コンテンツはリアルタイムで審査されるため、政府や企業の機密性の高いシーンに適しています。YAYIはすでに国家省庁や金融機関などで導入されており、Huawei Cloud、北京銀行などとエコシステム協力を構築しています。
YAYI 2はBase版とChat版の2つのバージョンを提供しており、オープンソース化されているのはBase版で、開発者はGitHubでコード、モデル、学習データを取得できます。此外、このモデルはApache-2.0ライセンスに従っており、商用利用や二次開発が許可されています。
GitHubリポジトリ:https://github.com/wenge-research/YAYI2
HuggingFace:https://huggingface.co/wenge-research/yayi2-30b
脚本プランナー▸
AIアプリ
AIニュース