Llama 4: die ersten multimodalen KI-Modelle mit Mixture-of-Experts-Architektur 211

Was ist Llama 4?

Llama 4 ist die neueste Generation von Open-Source-AI-Modellen, die von Meta am 5. April 2025 veröffentlicht wurde. Dazu gehören Llama 4 Scout und Llama 4 Maverick, die ersten multimodalen KI-Modelle mit Mixture-of-Experts-Architektur (MoE). Scout verfügt über 17 Milliarden aktive Parameter, 16 „Experten“-Modelle und insgesamt 109 Milliarden Parameter, während Maverick ebenfalls 17 Milliarden aktive Parameter, jedoch 128 „Experten“-Modelle und insgesamt 400 Milliarden Parameter besitzt. Darüber hinaus befindet sich eine noch leistungsstärkere Version namens Llama 4 Behemoth in der Entwicklung, die 288 Milliarden aktive Parameter, 16 „Experten“-Modelle und insgesamt fast 2 Billionen Parameter aufweist. Diese Modelle wurden mit umfangreichen unbeschrifteten Text-, Bild- und Video-Daten trainiert und verfügen über visuelle Wahrnehmungsfähigkeiten.

Die Llama 4 Modellfamilie

Llama 4 Scout

• Parameteranzahl: 17 Milliarden aktive Parameter, 16 Experten

• Hardwareanforderungen: Läuft auf einer einzelnen NVIDIA H100 GPU

• Kontextfenster: Unterstützt ein Kontextfenster von bis zu 10 Millionen Tokens

• Leistungsvorteile: Übertrifft Gemma 3, Gemini 2.0 Flash-Lite und Mistral 3.1

Llama 4 Maverick

• Parameteranzahl: 17 Milliarden aktive Parameter, 128 Experten, insgesamt 400 Milliarden Parameter

• Leistungsvorteile: Hervorragende Leistung bei multimodalen Aufgaben, übertrifft GPT-4o und Gemini 2.0 Flash

• Reasoning-Fähigkeit: Reasoning- und Programmier-fähigkeiten vergleichbar mit DeepSeek v3, allerdings mit weniger als der Hälfte der aktiven Parameter

Llama 4 Behemoth (Vorschau)

• Parameteranzahl: 288 Milliarden aktive Parameter, 16 Experten, insgesamt fast 2 Billionen Parameter

• Leistungsvorteile: Übertrifft in mehreren STEM-Benchmarks die Leistung von GPT-4.5, Claude Sonnet 3.7 und Gemini 2.0 Pro

• Rolle: Dient als Lehrermodell zur Destillation anderer Llama 4 Modelle, befindet sich noch im Training

Funktionen und Merkmale von Llama 4

• Multimodale Fähigkeiten: Llama 4 ist ein multimodales großes Modell, das verschiedene Datentypen wie Text, Video, Bilder und Audio verarbeiten und integrieren sowie Inhalte zwischen diesen Formaten umwandeln kann. Beispielsweise kann Llama 4 Scout Bildinhalte in komplexen Umgebungen analysieren.

• Mixture-of-Experts-Architektur: Dies ist eines der Kernmerkmale von Llama 4. Diese Architektur teilt das Modell in mehrere „Experten“-Teilmodelle auf, die jeweils auf bestimmte Aufgaben spezialisiert sind, wodurch die Effizienz beim Training und bei der Beantwortung von Benutzeranfragen gesteigert wird. Beispielsweise hat das Llama 4 Maverick Modell insgesamt 400 Milliarden Parameter, von denen jedoch nur 17 Milliarden bei tatsächlichen Berechnungen aktiv sind.

• Verarbeitung langer Kontexte: Das Kontextfenster von Llama 4 Scout kann bis zu 10 Millionen Tokens umfassen, was es bei der Verarbeitung langer Dokumente besonders leistungsfähig macht.

• Sprachfunktionen: Llama 4 verfügt über native Sprachverarbeitungsfunktionen und kann Sprachinformationen direkt verarbeiten, ohne diese zunächst in Text umwandeln zu müssen und anschließend den Text wieder in Sprache zurückzuverwandeln. Dies verbessert die Effizienz und Flüssigkeit der Sprachinteraktion erheblich.

Anwendungen

• Kundenservice: Unternehmen können dieses multimodale KI-Modell nutzen, um von Benutzern gestellte Fragen schnell zu analysieren und genauere und effizientere Antworten zu liefern.

• Bildungsbereich: Intelligente Lehrtrainer können durch das Verstehen der Fragen von Schülern und die Verwendung von Bildern komplexe Konzepte erklären und so die Lerneffekte erheblich steigern.

• Virtuelle Meetings: In virt Meetings kann Llama 4 als Assistent fungieren und Benutzern bei Echtzeit-Übersetzungen, dem Festhalten von Meeting-Highlights und sogar dem Simulieren von Teilnehmerbeiträgen helfen, um die Kommunikationseffizienz zu verbessern.

• Steuerung intelligenter Geräte: Benutzer können per Sprachbefehl problemlos Aufgaben wie das Verfassen von Texten, das Senden von Nachrichten und die Steuerung von Smart-Home-Geräten erledigen.

• Informationsintensive Bereiche: Die Fähigkeit von Llama 4 zur Verarbeitung langer Kontexte macht es in informationsintensiven Bereichen wie Medizin, Wissenschaft, Ingenieurwesen, Mathematik und Literatur äußerst nützlich.

Technische Merkmale von Llama 4

• Modellgröße und Parameteranzahl: Llama 4 Scout verfügt über 17 Milliarden aktive Parameter, 16 „Experten“-Modelle und insgesamt 109 Milliarden Parameter; Llama 4 Maverick hat ebenfalls 17 Milliarden aktive Parameter, jedoch 128 „Experten“-Modelle und insgesamt 400 Milliarden Parameter; Llama 4 Behemoth verfügt über 288 Milliarden aktive Parameter und insgesamt 2 Billionen Parameter.

• Trainingsdaten und Vielfalt: Alle Modelle wurden mit umfangreichen unbeschrifteten Text-, Bild- und Videodaten trainiert, um umfassende visuelle Wahrnehmungsfähigkeiten zu erlangen.

• Architekturoptimierung: Durch die Mixture-of-Experts-Architektur werden Datenverarbeitungsaufgaben in Teilaufgaben zerlegt und an kleinere „Experten“-Modelle verteilt, wodurch eine höhere Betriebseffizienz erreicht wird.

• Inferenz-Effizienz: Durch die Senkung der Modellbetriebskosten und Latenzzeiten wird die Inferenz-Effizienz verbessert. Beispielsweise kann Llama 4 Maverick auf einer einzelnen NVIDIA H100 DGX-Hardware betrieben werden.

Meta schätzt die Inferenzkosten für Llama 4 Maverick auf 0,19 bis 0,49 US-Dollar pro 1 Million Tokens (bei einem Input-Output-Verhältnis von 3:1), was es deutlich günstiger macht als proprietäre Modelle wie GPT-4o.

Zum Weiterlesen:https://ai.meta.com/blog/llama-4-multimodal-intelligence/

Modelldownload:https://www.llama.com/llama-downloads/?utm_source=llama-home-hero&utm_medium=llama-referral&utm_campaign=llama-utm&utm_offering=llama-downloads&utm_product=llama