Llama 4: первые мультимодальные ИИ-модели со смешанной архитектурой экспертов 213

Что такое Llama 4?

Llama 4 — это новейшее поколение серии открытых моделей ai, выпущенное компанией Meta 5 апреля 2025 года. Оно включает Llama 4 Scout и Llama 4 Maverick — первые мультимодальные модели AI, построенные на архитектуре смешанных экспертов (MoE). Scout имеет 17 миллиардов активных параметров, 16 «экспертных» моделей и общее количество параметров 109 миллиардов, тогда как Maverick также обладает 17 миллиардами активных параметров, но оснащён 128 «экспертными» моделями с общим числом параметров, достигающим 400 миллиардов. Кроме того, разрабатывается ещё более мощная версия — Llama 4 Behemoth, обладающая 288 миллиардами активных параметров, 16 «экспертными» моделями и общим количеством параметров, приближающимся к 2 триллионам. Эти модели обучены на больших объёмах неразмеченных текстовых, графических данных и видео, и обладают способностью к визуальному пониманию.

Серия моделей Llama 4

Llama 4 Scout

• Масштаб параметров: 17 миллиардов активных параметров, 16 экспертов

• Аппаратные требования: может работать на одном графическом процессоре NVIDIA H100

• Контекстное окно: поддерживает сверхдлинное контекстное окно до 10 миллионов токенов

• Преимущества в производительности: превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1

Llama 4 Maverick

• Масштаб параметров: 17 миллиардов активных параметров, 128 экспертов, общее количество параметров — 400 миллиардов

• Преимущества в производительности: превосходно проявляет себя в мультимодальных задачах, превосходя GPT-4o и Gemini 2.0 Flash

• Способности к рассуждению: способности к рассуждению и программированию сопоставимы с DeepSeek v3, при этом активных параметров менее половины от его числа

Llama 4 Behemoth (предварительная версия)

• Масштаб параметров: 288 миллиардов активных параметров, 16 экспертов, общее количество параметров приближается к 2 триллионам

• Преимущества в производительности: в ряде STEM-бенчмарков превосходит GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro

• Роль в системе: выступает в роли модели-учителя для дистилляции других моделей Llama 4, в настоящее время всё ещё проходит обучение

Функциональные особенности Llama 4

• Мультимодальные возможности: Llama 4 — это мультимодальная крупная модель, способная обрабатывать и интегрировать данные различных типов, такие как текст, видео, изображения и аудио, а также преобразовывать содержимое между этими форматами. Например, Llama 4 Scout может анализировать содержимое изображений в сложных условиях.

• Архитектура смешанных экспертов: это одна из ключевых особенностей Llama 4. Данная архитектура разделяет модель на несколько «экспертных» субмоделей, специализирующихся на конкретных задачах, что повышает эффективность обучения и обработки запросов пользователей. Например, модель Llama 4 Maverick насчитывает в общей сложности 400 миллиардов параметров, но в реальных вычислениях активны лишь 17 миллиардов из них.

• Способность обработки длинного контекста: контекстное окно Llama 4 Scout может достигать 10 миллионов токенов, что обеспечивает его выдающуюся производительность при работе с объёмными документами.

• Голосовые функции: Llama 4 оснащена встроенными функциями обработки голоса, способными напрямую обрабатывать голосовую информацию, без необходимости предварительного преобразования голоса в текст и последующего обратного преобразования текста в голос. Это значительно повышает эффективность и плавность голосового взаимодействия.

Применение

• Обслуживание клиентов: компании могут использовать эту мультимодальную модель AI для быстрого анализа вопросов пользователей и предоставления более точных и эффективных ответов.

• Сфера образования: интеллектуальные обучающие помощники могут объяснять сложные концепции, понимая вопросы учащихся и дополняя их изображениями, что значительно повышает эффективность обучения.

• Виртуальные совещания: на виртуальных совещаниях Llama 4 может выступать в роли ассистента, помогая пользователям выполнять перевод в реальном времени, фиксировать ключевые моменты совещания и даже моделировать выступления участников, повышая эффективность коммуникации.

• Управление интеллектуальными устройствами: пользователи с помощью голосовых команд могут легко выполнять такие задачи, как составление текстов, отправка сообщений и управление устройствами умного дома.

• Информационно-насыщенные области: способность Llama 4 обрабатывать длинный контекст делает её особенно полезной в таких информационно-насыщенных областях, как медицина, наука, инженерия, математика и литература.

Технические особенности Llama 4

• Масштаб модели и количество параметров: Llama 4 Scout имеет 17 миллиардов активных параметров, 16 «экспертных» моделей и общее количество параметров 109 миллиардов; Llama 4 Maverick также обладает 17 миллиардами активных параметров, но оснащён 128 «экспертными» моделями, а общее количество параметров достигает 400 миллиардов; Llama 4 Behemoth имеет 288 миллиардов активных параметров и 2 триллиона общих параметров.

• Обучающие данные и их разнообразие: все модели обучены на больших объёмах неразмеченных текстовых, графических и видео-данных для формирования обширных способностей к визуальному пониманию.

• Оптимизация архитектуры: используется архитектура смешанных экспертов, которая за счёт декомпозиции задач обработки данных на подзадачи и их распределения между более мелкими «экспертными» моделями обеспечивает более высокую операционную эффективность.

• Эффективность вывода: повышена за счёт снижения стоимости и задержки при работе модели. Например, Llama 4 Maverick может работать на одном хосте NVIDIA H100 DGX.

Meta оценивает стоимость вывода Llama 4 Maverick в диапазоне от 0,19 до 0,49 доллара США за 1 миллион токенов (при соотношении ввода к выводу 3:1), что делает её значительно дешевле проприетарных моделей, таких как GPT-4o.

Подробнее:https://ai.meta.com/blog/llama-4-multimodal-intelligence/

Скачать модель:https://www.llama.com/llama-downloads/?utm_source=llama-home-hero&utm_medium=llama-referral&utm_campaign=llama-utm&utm_offering=llama-downloads&utm_product=llama