Stability AI, Stable Code 3B 모델 출시 201

2024-01-17

오늘, 2024년의 첫 대규모 언어 모델인 Stable Code 3B를 발표합니다. 이 새로운 LLM은 이전에 출시된 Stable Code Alpha 3B의 후속 모델이며, 첫 번째 주요 Stable Code 릴리스로서 코드 완성에 특화된 새로운 최첨단 모델과 다양한 추가 기능을 제공합니다.

Stability AI, Stable Code 3B 모델 출시

오늘(현재), 우리는 2024년 첫 번째 대규모 언어 모델인 Stable Code 3B를 발표합니다. 이 새로운 LLM은 이전에 발표된 Stable Code 알파 3B의 후속 버전이며, 코드 완성에 특화된 새로운 최첨단 모델을 제공하는 첫 번째 주요 Stable Code 버전으로, 다양한 추가 기능을 갖추고 있습니다.

Stable Code 3B 모델의 성능 및 특징:

1, 소형이면서도 효율적: CodeLLaMA 7b와 비교하여 Stable Code 3B는 크기가 60% 줄어들었으며, 동시에 여러 프로그래밍 언어에서 유사한 고급 성능을 제공합니다. 4조 개의 자연어 데이터로 사전 훈련된 Stable LM 3B 기반 모델을 토대로, Stable Code는 추가로 소프트웨어 엔지니어링 관련 데이터(코드 포함)를 학습했습니다. 이 모델의 컴팩트한 크기로 인해 전용 GPU가 없는 최신 노트북을 포함한 현대적인 노트북에서 실시간으로 비공개로 실행할 수 있습니다.

2, 일반 컴퓨터에서도 실행 가능: 컴팩트한 모델 크기 덕분에 Stable Code 3B는 전용 GPU가 없는 모델을 포함하여 최신 노트북에서 실시간으로 실행할 수 있습니다.

3, 100k 컨텍스트 크기: Stable Code 3B는 더 큰 컨텍스트 크기를 지원하여 최대 100,000개의 토큰 길이 시퀀스를 처리할 수 있으며, 이를 통해 더 풍부하고 정확한 코드 완성을 제공합니다. Stable Code 3B는 여러 언어에 걸쳐 더 많은 기능과 현저히 향상된 성능을 제공하며, 중간 채우기(FIM) 지원 및 확장된 컨텍스트 크기와 같은 추가 이점을 갖추고 있습니다. Stable Code는 최대 16,384개의 토큰 시퀀스에서 훈련되었지만, CodeLlama와 유사한 접근 방식을 따라 회전 임베딩을 구현하며, 선택적으로 최대 1,000,000개의 회전 베이스 수정을 허용하여 모델의 컨텍스트 길이를 100k 토큰까지 추가로 확장할 수 있습니다.

4, 18개 프로그래밍 언어에 대한 훈련: Stable Code는 2023년 StackOverflow 개발자 설문조사를 기준으로 선정된 18개 프로그래밍 언어로 훈련되었으며, 테스트된 여러 프로그래밍 언어에 대한 MultiPL-E 지표에서 최첨단 성능(유사한 크기의 모델과 비교)을 보여주었습니다.