Mistral AI выпускает Mistral Small 3: всего 24B параметров, но производительность на уровне моделей 70B 258

Mistral ai выпустила Mistral Small 3 30 января 2025 года — это оптимизированная по задержке модель с 24 млрд параметров, предназначенная для обеспечения эффективной производительности. Модель выпущена под лицензией Apache 2.0, что позволяет пользователям свободно использовать и модифицировать её.

Основные особенности Mistral Small 3:

• Высокая производительность и масштабируемость: несмотря на наличие всего 24 млрд параметров, производительность Mistral Small 3 сопоставима с более крупными моделями (например, модель Llama 3.3 с 70 млрд параметров). Это позволяет достигать более высокой скорости вывода на том же оборудовании.

• Оптимизация задержки: Mistral Small 3 оптимизирована для рабочих нагрузок с низкой задержкой, что делает её идеальной для приложений, требующих быстрого отклика.

• Тонкая настройка отраслевых экспертов: подходит для обучения конкретным задачам в таких областях, как юриспруденция, медицина, техническая поддержка, что повышает точность специализированных знаний.

• Локальный вывод: поддерживает локальный запуск на RTX 4090 или MacBook с 32 ГБ ОЗУ, что подходит для частных лиц и компаний, работающих с конфиденциальными или специализированными данными.

Mistral Small 3 разработана с особым вниманием к удовлетворению потребностей большинства задач генеративного ИИ, особенно тех, которые требуют мощных языковых возможностей и производительности следования инструкциям. Модель достигает точности более 81% в тесте MMLU и работает со скоростью 150 токенов в секунду на том же оборудовании, демонстрируя свои преимущества в эффективности.

Кроме того, Mistral Small 3 также спроектирована для локального развёртывания, особенно в сценариях обработки конфиденциальной или специализированной информации. Пользователи могут запускать модель на одной RTX 4090 или Macbook с 32 ГБ ОЗУ, что ещё больше повышает её доступность и гибкость.

Mistral Small 3 также сотрудничает с несколькими платформами, включая Hugging Face, Ollama и Kaggle, что позволяет разработчикам более удобно получать доступ к модели и использовать её.

Применение Mistral Small 3

Mistral Small 3 подходит для множества приложений, включая обработку естественного языка, диалоговые системы и другие задачи, требующие эффективного вывода. Цель её разработки — предоставить разработчикам гибкий и мощный инструмент для удовлетворения потребностей современных приложений ИИ.

• Диалоговые помощники: подходят для виртуальных ассистентов, которым требуется быстрый и точный отклик.

• Вызов функций: возможность быстрого выполнения функций в автоматизированных или агентских рабочих процессах.

• Отраслевые эксперты: возможность тонкой настройки для создания высокоточных экспертных моделей в конкретных предметных областях.

• Локальный вывод: подходит для локального вывода при обработке конфиденциальной или специализированной информации.

• Финансовые услуги: используется для обнаружения мошенничества.

• Медицинская отрасль: используется для сортировки пациентов и клиентской поддержки.

• Роботы/автомобили/производство: выполнение команд управления на устройстве.

Официальное представление: https://mistral.ai/news/mistral-small-3/