Assistant scénario▸ 
Apps AI 
Actualités AI Stability AI lance le modèle Stable Code 3B
Stability AI lance le modèle Stable Code 3B
Aujourd'hui, nous annonçons la sortie en 2024 de notre premier grand modèle de langage : Stable Code 3B. Ce nouveau LLM fait suite à la version Stable Code Alpha 3B que nous avions publiée précédemment et constitue la première version majeure de Stable Code. Il offre un nouveau modèle de pointe, spécialement conçu pour la complétion de code, avec de nombreuses fonctionnalités supplémentaires.
Performances et caractéristiques du modèle Stable Code 3B :
1. Taille réduite et haute efficacité : par rapport à CodeLLaMA 7b, Stable Code 3B est 60 % plus compact, tout en offrant des performances de haut niveau similaires à travers les langages de programmation. Basé sur notre modèle fondamental Stable LM 3B, pré-entraîné sur 4 000 milliards de jetons de données en langage naturel, Stable Code a été entraîné plus avant sur des données spécifiques au génie logiciel (y compris du code). La taille compacte du modèle lui permet de fonctionner en temps réel et de manière privée en périphérie, sur des ordinateurs portables modernes, y compris ceux dépourvus de GPU dédié.
2. Fonctionne sur un ordinateur ordinaire : grâce à sa taille compacte, Stable Code 3B peut fonctionner en temps réel sur des ordinateurs portables modernes, y compris ceux qui ne disposent pas de GPU dédié.
3. Contexte de 100k : Stable Code 3B prend en charge une taille de contexte plus étendue et peut traiter des séquences allant jusqu'à 100 000 jetons, offrant ainsi des complétions de code plus riches et plus précises. Stable Code 3B offre davantage de fonctionnalités et des performances nettement améliorées à travers de multiples langages, avec des avantages supplémentaires tels que la prise en charge de la fonctionnalité de remplissage au milieu (Fill-in-the-Middle, FIM) et une taille de contexte étendue. Stable Code sert de base et est entraîné sur des séquences allant jusqu'à 16 384 jetons, mais en suivant une approche similaire à celle de CodeLlama, il implémente des embeddings rotatifs (RoPE), avec la possibilité optionnelle de modifier jusqu'à 1 000 000 de bases rotatives, ce qui permet d'étendre davantage la longueur du contexte du modèle jusqu'à 100 000 jetons.
4. Entraîné sur 18 langages de programmation : Stable Code a été entraîné sur 18 langages de programmation (sélectionnés selon l'enquête StackOverflow Developer Survey 2023) et démontre des performances de pointe sur la métrique MultiPL-E pour les nombreux langages de programmation testés (par rapport à des modèles de taille similaire).
Le modèle Stable Code 3B est inclus dans notre nouvelle adhésion Stability AI Member. Veuillez visiter notre page d'adhésion pour profiter de nos produits de modèles commerciaux de base, notamment SDXL Turbo et Stable Video Diffusion.
