Mistral AI dévoile Mistral Small 3 : seulement 24B de paramètres, mais des performances comparables à des modèles 70B 257

Mistral ai a publié le 30 janvier 2025 Mistral Small 3, un modèle de 24B de paramètres optimisé pour la latence, conçu pour offrir des performances efficaces. Le modèle est distribué sous licence Apache 2.0, ce qui permet aux utilisateurs de l'utiliser et de le modifier librement.

Caractéristiques principales de Mistral Small 3 :

• Haute performance et taille compacte : malgré ses seuls 24B de paramètres, Mistral Small 3 offre des performances comparables à celles de modèles plus volumineux (comme le modèle 70B de paramètres de Llama 3.3). Cela lui permet d'atteindre une vitesse d'inférence plus rapide sur le même matériel.

• Optimisation de la latence : Mistral Small 3 est optimisé pour les charges de travail à faible latence, ce qui le rend idéal pour les applications nécessitant des réponses rapides.

• Réglage fin pour des domaines d'expertise : convient à l'entraînement pour des tâches spécifiques dans des domaines tels que le juridique, la médecine et le support technique, améliorant la précision des connaissances spécialisées.

• Inférence locale : prend en charge l'exécution locale sur un RTX 4090 ou un MacBook avec 32 Go de RAM, adapté aux particuliers et aux entreprises traitant des données sensibles ou propriétaires.

Mistral Small 3 est particulièrement conçu pour répondre aux besoins de la plupart des tâches d'IA générative, notamment celles nécessitant de solides capacités linguistiques et de suivi des instructions. Le modèle atteint plus de 81 % de précision au benchmark MMLU et fonctionne à 150 tokens par seconde sur le même matériel, démontrant ainsi ses avantages en termes d'efficacité.

De plus, Mistral Small 3 est également conçu pour être déployé localement, en particulier dans les scénarios impliquant des informations sensibles ou propriétaires. Les utilisateurs peuvent exécuter le modèle sur un seul RTX 4090 ou un Macbook avec 32 Go de RAM, ce qui renforce encore sa disponibilité et sa flexibilité.

Mistral Small 3 collabore également avec plusieurs plateformes, notamment Hugging Face, Ollama et Kaggle, permettant aux développeurs d'accéder au modèle et de l'utiliser plus facilement.

Applications de Mistral Small 3

Mistral Small 3 convient à de nombreuses applications, notamment le traitement du langage naturel, les systèmes de dialogue et d'autres tâches nécessitant une inférence efficace. Il a pour objectif de fournir aux développeurs un outil flexible et puissant pour répondre aux exigences des applications d'IA modernes.

• Assistants conversationnels : adapté aux assistants virtuels nécessitant des réponses rapides et précises.

• Appels de fonctions : capable d'exécuter rapidement des fonctions dans des workflows automatisés ou agentiques.

• Expert de domaine : peut être affiné pour créer des modèles experts de haute précision dans des domaines spécifiques.

• Inférence locale : adapté à l'inférence locale traitant des informations sensibles ou propriétaires.

• Services financiers : utilisé pour la détection des fraudes.

• Secteur médical : utilisé pour le triage des patients et le support client.

• Robotique/automobile/industrie manufacturière : exécution de commandes de contrôle sur l'appareil.

Présentation officielle : https://mistral.ai/news/mistral-small-3/