Mistral AI veröffentlicht Mistral Small 3: Nur 24B Parameter, aber Leistung auf Niveau von 70B-Modellen 251

小编 · 2025-01-31

Mistral AI hat am 30. Januar 2025 Mistral Small 3 veröffentlicht – ein latenzoptimiertes 24B-Parameter-Modell, das auf effiziente Leistung ausgelegt ist. Es steht unter der Apache-2.0-Lizenz und darf frei verwendet und verändert werden.

Mistral AI veröffentlicht Mistral Small 3: Nur 24B Parameter, aber Leistung auf Niveau von 70B-Modellen

Mistral ai hat am 30. Januar 2025 Mistral Small 3 veröffentlicht, ein auf Latenz optimiertes Modell mit 24B Parametern, das eine effiziente Leistung bieten soll. Das Modell wird unter der Apache 2.0-Lizenz veröffentlicht, die es den Nutzern erlaubt, es frei zu verwenden und zu modifizieren.

Mistral AI.webp

Hauptmerkmale von Mistral Small 3:

Hohe Leistung und Größe: Trotz nur 24B Parametern kann die Leistung von Mistral Small 3 mit größeren Modellen (wie dem 70B-Parametermodell von Llama 3.3) mithalten. Dies ermöglicht schnellere Inferenz auf derselben Hardware.
Latenzoptimierung: Mistral Small 3 ist für Workloads mit niedriger Latenz optimiert und eignet sich ideal für Anwendungsszenarien, die schnelle Reaktionen erfordern.
Domänenspezifisches Fine-Tuning: Geeignet für aufgabenspezifisches Training in Bereichen wie Recht, Medizin und technischem Support, um die Genauigkeit von Fachwissen zu verbessern.
Lokale Inferenz: Unterstützt den lokalen Betrieb auf einer RTX 4090 oder einem MacBook mit 32 GB RAM und ist somit für Privatpersonen und Unternehmen geeignet, die mit sensiblen oder proprietären Daten arbeiten.

Mistral Small 3 wurde speziell entwickelt, um die Anforderungen der meisten generativen KI-Aufgaben zu erfüllen, insbesondere solcher, die starke Sprachfähigkeiten und Befolgung von Anweisungen erfordern. Das Modell erreicht eine Genauigkeit von über 81 % im MMLU-Benchmark und arbeitet auf derselben Hardware mit 150 Tokens pro Sekunde, was seine Effizienz unterstreicht.

Darüber hinaus ist Mistral Small 3 auch für die lokale Bereitstellung konzipiert, insbesondere in Szenarien, in denen sensible oder proprietäre Informationen verarbeitet werden. Nutzer können das Modell auf einer einzelnen RTX 4090 oder einem MacBook mit 32 GB RAM betreiben, was seine Benutzbarkeit und Flexibilität weiter erhöht.

Mistral Small 3 arbeitet zudem mit mehreren Plattformen zusammen, darunter Hugging Face, Ollama und Kaggle, was Entwicklern einen einfacheren Zugriff und die Nutzung des Modells ermöglicht.

Mistral Small 3 Hauptmerkmale.webp

Anwendungen von Mistral Small 3

Mistral Small 3 eignet sich für eine Vielzahl von Anwendungen, einschließlich natürlicher Sprachverarbeitung, Dialogsystemen und anderen Aufgaben, die effiziente Inferenz erfordern. Das Ziel ist es, Entwicklern ein flexibles und leistungsstarkes Werkzeug zur Verfügung zu stellen, um die Anforderungen moderner KI-Anwendungen zu erfüllen.

Dialogassistent: Geeignet für virtuelle Assistenten, die schnelle und genaue Antworten benötigen.
Funktionsaufrufe: Kann Funktionen in automatisierten oder Agent-Workflows schnell ausführen.
Domänenexperte: Kann feinabgestimmt werden, um hochpräzise Expertenmodelle in bestimmten Bereichen zu erstellen.
Lokale Inferenz: Geeignet für lokale Inferenz bei sensiblen oder proprietären Informationen.
Finanzdienstleistungen: Zur Betrugserkennung.
Gesundheitswesen: Zur Patiententriage und zum Kundensupport.
Robotik/Automobil/Fertigung: Befehlsausführung auf dem Gerät.

Offizielle Vorstellung: https://mistral.ai/news/mistral-small-3/