В чём разница между Llama 4 Scout и Maverick? 128

5 апреля 2025 года Meta выпустила новейшее поколение открытых ai моделей Llama 4, включающее Llama 4 Scout и Llama 4 Maverick. Обе эти модели являются первыми мультимодальными моделями, использующими архитектуру Mixture of Experts (MoE). В чём же заключаются их различия?

Основные различия между Llama 4 Scout и Llama 4 Maverick:

Llama 4 Scout

• Количество параметров: 17 миллиардов активных параметров, 16 «экспертных» моделей, общее количество параметров составляет 109 миллиардов.

• Контекстное окно: поддерживает контекстное окно до 10 миллионов токенов, что обеспечивает выдающуюся производительность при обработке объёмных документов.

• Сценарии применения: специализируется на суммировании документов и логическом выводе на основе больших кодовых баз, подходит для задач, требующих эффективного логического вывода и обработки длинных текстов.

• Требования к оборудованию: может работать на одном графическом процессоре NVIDIA H100, при использовании квантования Int4 требования к ресурсам значительно снижаются.

Llama 4 Maverick

• Количество параметров: 17 миллиардов активных параметров, 128 «экспертных» моделей, общее количество параметров достигает 400 миллиардов.

• Контекстное окно: поддерживает контекстное окно в 1 миллион токенов.

• Сценарии применения: превосходит модели OpenAI GPT-4o и Google Gemini 2.0 в задачах креативного писательства, генерации кода, перевода, логического вывода, суммирования длинных текстов и в тестах на обработку изображений.

• Требования к оборудованию: требует работу на хосте NVIDIA H100 DGX или устройстве с аналогичной производительностью.

Сравнение двух моделей

• Производительность: Maverick демонстрирует более высокую производительность в мультимодальных задачах и логическом выводе, тогда как Scout имеет преимущество в обработке длинных текстов и суммировании документов.

• Требования к ресурсам: Scout больше подходит для сценариев с ограниченными ресурсами, поскольку может работать на одном графическом процессоре; Maverick требует более мощной аппаратной конфигурации.

• Сценарии применения: Scout подходит для задач, связанных с обработкой больших объёмов текста, таких как работа с документами и логический вывод в коде; Maverick лучше подходит для задач, требующих мультимодального взаимодействия и сложного логического вывода, например креативное писательство и обработка изображений.

Стоимость логического вывода

• Llama 4 Scout: благодаря меньшему размеру модели и эффективным методам квантования стоимость логического вывода относительно невысока, что делает её подходящей для приложений, требующих быстрого отклика и низкого потребления ресурсов.

• Llama 4 Maverick: несмотря на значительно большее общее количество параметров, стоимость её логического вывода также оптимизирована благодаря использованию архитектуры Mixture of Experts. По оценкам Meta, стоимость логического вывода Llama 4 Maverick составляет от 0,19 до 0,49 долларов США за 1 миллион токенов (при соотношении входных и выходных данных 3:1), что значительно дешевле, чем у проприетарных моделей, таких как GPT-4o.

Llama 4 Scout больше подходит для сценариев, требующих обработки длинных текстов и ограниченных ресурсов, тогда как Llama 4 Maverick отличается выдающимися возможностями в логическом выводе и генерации кода, что делает её идеальной для приложений, требующих высокой производительности и мультимодальной обработки. Обе модели обеспечивают эффективное использование ресурсов благодаря архитектуре Mixture of Experts, однако конкретные требования к ресурсам и стоимость зависят от вашего сценария применения и аппаратного обеспечения.