マスクのGrokがオープンソース化：GitHubソースコードのダウンロードリンク 231

マスク氏傘下のai会社xAIが開発したGrok-1大規模言語モデルは、数か月間のトレーニングと準備を経て、2024年3月18日に正式にオープンソース化された。Grok-1は3140億という膨大なパラメータ数を誇り、OpenAIのGPT-3.5モデルを上回り、これまでのところオープンソース化された中で最もパラメータ数の多い大規模言語モデルとなっている。この取り組みはApache 2.0ライセンスに従って行われており、開発者がGrok-1のモデルウェイトとアーキテクチャを自由にダウンロード、使用、修正、配布できることを意味する。

Grok公式サイト：https://grok.x.ai/

GrokオープンソースGitHubソースコードダウンロード先：https://github.com/xai-org/grok-1

Grok-1は、大量のテキストデータに基づいて学習された基礎モデルであり、特定のタスクに対してファインチューニングされていない。Mixture-of-Experts（MOE）と呼ばれる混合アーキテクチャを採用しており、これは複数のサブモデル（専門家）の出力を組み合わせることで、タスク処理の効率を高める機械学習手法である。Grok-1のソースウェイトのデータサイズは約300GBで、GitHub上でオープンソースとして公開されている。

マスク氏のGrokはなぜオープンソース化されたのか？

マスク氏のこの動きは、OpenAIとの関係が悪化し、後者に対して法的訴訟を起こしている背景の中で行われたもので、マスク氏とOpenAIの共同創設者アルトマン氏の間には長年の確執がある。マスク氏はOpenAIがオープンソースの初衷に背いたと公に批判し、もともとGoogleに対抗することを目的とした組織を、Microsoftと提携する営利企業へと変貌させたとして非難してきた。そのため、マスク氏はGrok-1をオープンソース化することで、AI分野におけるオープンで共有可能な取り組みへのコミットメントを示すことを決断した。

さらに、オープンソース化を通じて、マスク氏はより多くの開発者やユーザーを惹きつけて影響力を拡大し、同時にxAIにより多くのデータリソースをもたらすことで、技術の継続的な改善と最適化を図りたいと考えている。

マスク氏のGrokオープンソース化の意義

Grok-1のオープンソース化は、AI技術の発展を直接的に推進し、競争と多様性を促進する。これはAI分野に新たな発展の原動力をもたらし、新たな技術革命を引き起こす可能性がある。同時に、これはAI分野における既存のビジネス化戦略への挑戦でもあり、マスク氏はオープンソース化を通じてAI技術の方向性を変え、彼個人のビジョンにより合致したものしようとしている。