Missionl AI lanza Mistral Small 3: solo 24B parámetros, pero con rendimiento comparable a modelos de 70B 244

Mistral ai lanzó el 30 de enero de 2025 Mistral Small 3, un modelo de 24B parámetros optimizado para la latencia, diseñado para ofrecer un rendimiento eficiente. El modelo se publica bajo la licencia Apache 2.0, lo que permite a los usuarios usarlo y modificarlo libremente.

Características principales de Mistral Small 3:

• Alto rendimiento y escala: a pesar de contar solo con 24B parámetros, el rendimiento de Mistral Small 3 es comparable al de modelos de mayor tamaño (como el modelo de 70B parámetros de Llama 3.3). Esto le permite ofrecer una velocidad de inferencia más rápida en el mismo hardware.

• Optimización de la latencia: Mistral Small 3 está optimizado para cargas de trabajo de baja latencia, lo que lo hace ideal para aplicaciones que requieren respuestas rápidas.

• Ajuste fino para expertos de dominio: adecuado para el entrenamiento en tareas específicas de campos como el legal, el médico o el soporte técnico, mejorando la precisión del conocimiento especializado.

• Inferencia local: admite la ejecución local en una RTX 4090 o un MacBook con 32 GB de RAM, lo que lo hace adecuado para personas y empresas que manejan datos sensibles o propietarios.

El diseño de Mistral Small 3 presta especial atención a satisfacer las necesidades de la mayoría de las tareas de IA generativa, especialmente aquellas que requieren una gran capacidad lingüística y un sólido rendimiento en el seguimiento de instrucciones. El modelo alcanza más del 81 % de precisión en el benchmark MMLU y funciona a 150 tokens por segundo en el mismo hardware, lo que demuestra su ventaja en eficiencia.

Además, Mistral Small 3 también está diseñado para ser adecuado para su implementación local, especialmente en escenarios donde se maneja información sensible o propietaria. Los usuarios pueden ejecutar el modelo en una sola RTX 4090 o en un Macbook con 32 GB de RAM, lo que aumenta aún más su usabilidad y flexibilidad.

Mistral Small 3 también colabora con varias plataformas, entre ellas Hugging Face, Ollama y Kaggle, lo que permite a los desarrolladores acceder y utilizar el modelo de forma más cómoda.

Aplicaciones de Mistral Small 3

Mistral Small 3 es adecuado para una amplia variedad de aplicaciones, incluyendo el procesamiento de lenguaje natural, los sistemas de diálogo y otras tareas que requieren una inferencia eficiente. Su objetivo de diseño es proporcionar a los desarrolladores una herramienta flexible y potente que satisfaga las necesidades de las aplicaciones modernas de IA.

• Asistentes conversacionales: adecuado para asistentes virtuales que requieren respuestas rápidas y precisas.

• Llamada a funciones: capaz de ejecutar rápidamente funciones en flujos de trabajo automatizados o agentic.

• Expertos de dominio: se puede ajustar para crear modelos expertos de alta precisión en dominios específicos.

• Inferencia local: adecuada para la inferencia local que maneja información sensible o propietaria.

• Servicios financieros: utilizado para la detección de fraudes.

• Sector sanitario: utilizado para el triaje de pacientes y la atención al cliente.

• Robótica/automoción/fabricación: ejecución de control de comandos en el dispositivo.

Presentación oficial: https://mistral.ai/news/mistral-small-3/