Llama 4：初の混合専門家（MoE）アーキテクチャ採用マルチモーダルAIモデル 214

小编 · 2025-04-06

Llama 4は、Metaが2025年4月5日にリリースした最新のオープンソースAIモデルシリーズだ。Llama 4 ScoutとLlama 4 Maverickを備え、混合専門家（MoE）アーキテクチャを採用した初のマルチモーダルAIモデルとなる。Scoutは170億のアクティブパラメータと16の「専門家」モデルを持ち、総パラメータは1090億。Maverickもアクティブパラメータは170億だが、128の「専門家」モデルと総4000億のパラメータを備える。

Llama 4：初の混合専門家（MoE）アーキテクチャ採用マルチモーダルAIモデル

Llama 4とは？

Llama 4は、Meta社が2025年4月5日に発表した最新のオープンソースaiモデルシリーズです。Llama 4 ScoutとLlama 4 Maverickが含まれており、これらはMixture of Experts（MoE）アーキテクチャを採用した初のマルチモーダルAIモデルです。Scoutは170億のアクティブパラメータ、16個の「専門家」モデル、合計1090億のパラメータを持ち、Maverickも同じく170億のアクティブパラメータを持ちますが、128個の「専門家」モデルが搭載され、合計パラメータ数は4000億に達します。さらに、開発中のもう一つの強力なバージョンであるLlama 4 Behemothもあり、2880億のアクティブパラメータ、16個の「専門家」モデル、合計パラメータ数は約2兆近くに上ります。これらのモデルは、大量のラベルなしテキスト、画像、動画データでトレーニングされており、視覚理解能力を備えています。

Llama 4是什么？.webp

Llama 4 シリーズモデル

Llama 4 Scout

パラメータ規模：170億のアクティブパラメータ、16個の専門家
ハードウェア要件：単一のNVIDIA H100 GPUで実行可能
コンテキストウィンドウ：最大1000万トークンの超長コンテキストウィンドウをサポート
性能優位性：Gemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1を上回る性能

Llama 4 Maverick

パラメータ規模：170億のアクティブパラメータ、128個の専門家、合計4000億のパラメータ
性能優位性：マルチモーダルタスクで優れた性能を発揮し、GPT-4oおよびGemini 2.0 Flashを上回る
推論能力：推論およびプログラミング能力はDeepSeek v3と同等だが、アクティブパラメータはその半分以下

Llama 4 Behemoth（プレビュー版）

パラメータ規模：2880億のアクティブパラメータ、16個の専門家、合計約2兆のパラメータ
性能優位性：複数のSTEMベンチマークテストで、GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Proを上回る性能
役割の位置付け：他のLlama 4モデルを蒸留するための教師モデルとして機能し、現在もトレーニング中

Llama 4：首批采用混合专家（MoE）架构的多模态AI模型.webp

Llama 4の機能と特徴

マルチモーダル能力：Llama 4はマルチモーダル大規模モデルであり、テキスト、動画、画像、音声などの異なる種類のデータを処理・統合し、これらの形式間でコンテンツを変換することができます。例えば、Llama 4 Scoutは複雑な環境で画像コンテンツを分析できます。
Mixture of Expertsアーキテクチャ：これはLlama 4の中核的な特徴の一つです。このアーキテクチャはモデルを特定のタスクに特化した複数の「専門家」サブモデルに分割し、トレーニングとユーザークエリへの応答の効率を向上させます。例えば、Llama 4 Maverickモデルは合計4000億のパラメータを持っていますが、実際の演算では170億のパラメータのみがアクティブです。
長コンテキスト処理能力：Llama 4 Scoutのコンテキストウィンドウは最大1000万トークンに達し、長文ドキュメントの処理において特に優れた性能を発揮します。
音声機能：Llama 4はネイティブ音声処理機能を導入しており、音声をテキストに変換してモデルに入力し、再びテキストを音声に変換するというプロセスを必要とせず、音声情報を直接処理できます。これにより、音声インタラクションの効率とスムーズさが大幅に向上しました。

応用

カスタマーサービス：企業はこのようなマルチモーダルAIモデルを使用して、ユーザーが提起した質問を迅速に分析し、より正確で効率的な回答を提供することができます。
教育分野：スマートな教育アシスタントは、学生の質問を理解し、画像を補助として複雑な概念を説明することで、学習効果を大幅に向上させることができます。
バーチャル会議：バーチャル会議では、Llama 4がアシスタントとして機能し、ユーザーにリアルタイムの翻訳、会議の要点の記録、さらには参加者の発言のシミュレーションを支援し、コミュニケーション効率を向上させます。
スマートデバイス制御：ユーザーは音声コマンドを通じて、テキストの作成、メッセージの送信、スマートホーム機器の制御などのタスクを容易に完了できます。
情報集約型分野：Llama 4の長コンテキスト処理能力は、医学、科学、工学、数学、文学などの情報集約型分野で非常に有用です。

Llama 4の技術的特徴

モデル規模とパラメータ数：Llama 4 Scoutは170億のアクティブパラメータ、16個の「専門家」モデル、合計1090億のパラメータを持ちます。Llama 4 Maverickも同じく170億のアクティブパラメータを持ちますが、128個の「専門家」モデルが搭載され、合計パラメータ数は4000億に達します。Llama 4 Behemothは2880億のアクティブパラメータと2兆の合計パラメータを持ちます。
トレーニングデータと多様性：すべてのモデルは大量のラベルなしテキスト、画像、動画データでトレーニングされ、広範な視覚理解能力を獲得しています。
アーキテクチャ最適化：Mixture of Expertsアーキテクチャを採用し、データ処理タスクをサブタスクに分解し、より小さな「専門家」モデルに割り当てることで、より高い実行効率を実現しています。
推論効率：モデルの実行コストと遅延を削減することで、推論効率を向上させています。例えば、Llama 4 Maverickは単一のNVIDIA H100 DGXホストで実行できます。

Llama 4：首批采用混合专家（MoE）架构的多模态AI模型.webp

Metaは、Llama 4 Maverickの推論コストは100万トークンあたり0.19ドルから0.49ドル（入力と出力の比率3:1）と見積もっており、これはGPT-4oのような独自モデルよりもはるかに安価です。

詳細情報：https://ai.meta.com/blog/llama-4-multimodal-intelligence/

モデルダウンロード：https://www.llama.com/llama-downloads/?utm_source=llama-home-hero&utm_medium=llama-referral&utm_campaign=llama-utm&utm_offering=llama-downloads&utm_product=llama