Stability AI lanza el modelo Stable Code 3B 206

Hoy anunciamos el lanzamiento del primer gran modelo de lenguaje de 2024: Stable Code 3B. Este nuevo LLM es la continuación de nuestra publicación anterior Stable Code Alpha 3B y la primera versión principal de Stable Code, que ofrece un nuevo modelo de última generación diseñado para la finalización de código, con múltiples funciones adicionales.

Rendimiento y características del modelo Stable Code 3B:

1. Tamaño reducido y alta eficiencia: en comparación con CodeLLaMA 7b, Stable Code 3B reduce su tamaño en un 60%, manteniendo al mismo tiempo un rendimiento avanzado similar en distintos lenguajes de programación. Basado en nuestro modelo base Stable LM 3B, previamente entrenado con 4 billones de datos de lenguaje natural, Stable Code se entrenó además con datos específicos de ingeniería de software (incluido código). Su tamaño compacto permite que se ejecute en tiempo real de forma privada en el edge en portátiles modernos, incluso en aquellos que no disponen de una GPU dedicada.

2. Ejecutable en un ordenador convencional: gracias a su tamaño compacto, Stable Code 3B puede ejecutarse en tiempo real en portátiles modernos, incluso en aquellos modelos que no cuentan con una GPU dedicada.

3. Tamaño de contexto de 100k: Stable Code 3B admite un tamaño de contexto mayor, capaz de procesar secuencias de hasta 100 000 tokens, lo que permite proporcionar finalizaciones de código más ricas y precisas. Stable Code 3B ofrece más funcionalidades y un rendimiento notablemente mejor en múltiples lenguajes, con ventajas adicionales como la compatibilidad con la función de relleno intermedio (FIM) y un tamaño de contexto ampliado. Stable Code, como base, se entrena con secuencias de hasta 16 384 tokens, pero siguiendo un enfoque similar al de CodeLlama, implementa embeddings rotatorios que opcionalmente permiten modificar hasta 1 000 000 de bases de rotación, extendiendo aún más la longitud de contexto del modelo hasta 100k tokens.

4. Entrenado en 18 lenguajes de programación: Stable Code ha sido entrenado en 18 lenguajes de programación (seleccionados según la encuesta de desarrolladores de StackOverflow de 2023) y demuestra un rendimiento de última generación en la métrica MultiPL-E en los distintos lenguajes de programación probados (en comparación con modelos de tamaño similar).

El modelo Stable Code 3B está incluido en nuestra nueva membresía Stability ai. Visite nuestra página de membresía para aprovechar nuestros productos de modelos principales comerciales, incluyendo SDXL Turbo y Stable Video Diffusion.