Stability AIがStable Code 3Bモデルを発表 207

本日、2024年の最初の大型言語モデルである Stable Code 3B のリリースを発表します。この新しい LLM は、以前リリースした Stable Code Alpha 3B の後継機であり、最初の主要な Stable Code バージョンであり、コード補完専用に設計され、さまざまな追加機能を備えた新しい最先端モデルを提供します。

Stable Code 3Bモデルの性能と特徴：

1、小型で高効率：CodeLLaMA 7b と比較して、Stable Code 3B はサイズが 60% 小型でありながら、複数のプログラミング言語にわたって同等の高度な性能を発揮します。4000億個の自然言語データで事前学習した Stable LM 3B ベースモデルに基づき、Stable Code はソフトウェア工学固有のデータ（コードを含む）でさらに学習されました。このモデルのコンパクトなサイズにより、専用 GPU を搭載していないものを含め、最新のラップトップ上でプライベートにリアルタイムにエッジ実行できます。

2、通常のPCで実行可能：コンパクトなモデルサイズのため、Stable Code 3B は専用 GPU を搭載していないものを含む最新のラップトップ上でリアルタイムに実行できます。

3、100kのコンテキストサイズ：Stable Code 3B はより大きなコンテキストサイズをサポートし、最大 100,000 トークンのシーケンスを処理できるため、より豊富で正確なコード補完を提供します。Stable Code 3B は複数の言語にわたってより多くの機能と著しく向上した性能を提供し、中間埋め込み機能 (FIM) のサポートや拡張されたコンテキストサイズなどの追加の利点も備えています。Stable Code は最大 16,384 トークンのシーケンスで学習されたベースですが、CodeLlama と同様のアプローチに従い、ロータリー埋め込みを実装し、最大 1,000,000 個のロータリー基底を選択的に変更できるようにすることで、モデルのコンテキスト長をさらに 100,000 トークンまで拡張できます。

4、18種類のプログラミング言語で学習：Stable Code は 18 種類のプログラミング言語（2023 年の StackOverflow 開発者調査に基づいて選択）で学習され、テストされた複数のプログラミング言語の MultiPL-E 指標において、同程度のサイズのモデルと比較して最先端の性能を示しています。

Stable Code 3B モデルは、新しい Stability ai メンバーシップに含まれています。メンバーシップページをご覧いただき、SDXL Turbo や Stable Video Diffusion を含む商用コアモデル製品をご利用ください。