Alibaba Cloud, Qwen2 오픈소스 모델 공개 179

알리클라우드가 Qwen 2 오픈소스 모델을 발표했으며, 성능은 현재 모든 오픈소스 모델 및 국내 폐쇄형 모델을 능가합니다.

Qwen 2 모델은 0.5B, 1.5B, 7B, 57B-A14B, 72B 등 다양한 크기의 5가지 버전을 포함하며, Qwen 2 모델은 동일 크기 모델 평가에서 모든 오픈소스 모델을 능가하는 성적을 거두었습니다. CompassArena 대규모 모델 아레나에서 직접 체험해 본 결과, 확실히 매우 강력하며 현재 중국어 분야에서 매우 우수한 모델인 것으로 판단됩니다.

Qwen 2 주요 기능 및 특징:

• 5가지 크기의 사전 훈련 및 명령어 튜닝 모델: Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B 및 Qwen2-72B;

• 영어와 중국어 외에도 27개 언어의 데이터로 학습됨;

• 방대한 벤치마크 평가에서 최첨단 성능을 보임;

• 코딩 및 수학 성능이 크게 향상됨;

• Qwen2-7B-Instruct 및 Qwen2-72B-Instruct는 최대 128K 토큰의 확장된 컨텍스트 길이를 지원함.

비교 평가에 따르면, Qwen1.5에 비해 대형 모델(70B+ 파라미터)의 성능이 크게 향상되었습니다. 여기서 평가의 중점은 대형 모델인 Qwen2-72B입니다. 기본 언어 모델 측면에서 Qwen2-72B와 최첨단 오픈 모델은 자연어 이해, 지식 획득, 코딩 능력, 수학技能 및 다국어 능력을 포함한 다양한 능력에 대해 평가되었습니다.精心하게 큐레이션된 데이터 세트와 최적화된 훈련 방법 덕분에, Qwen2-72B는 Llama-3-70B와 같은 선도적인 모델과 비교하여 탁월한 성능을 보여줍니다. 특히, 파라미터 수가 더 적음에도 불구하고 이전 버전인 Qwen1.5-110B의 성능을 능가합니다.

광범위한 대규모 사전 훈련을 거쳐, 우리는 Qwen의 지능을 더욱 향상시켜 인간에 더욱 가깝게 만들기 위해 사후 훈련을 수행합니다. 이 과정은 코딩, 수학, 추론, 명령어 준수, 다국어 이해 등 모델의 능력을 더욱 향상시킵니다. 또한, 모델의 출력을 인간의 가치관에 부합하도록 정렬하여 유용하고 정직하며 무해하도록 보장합니다. 사후 훈련 단계의 설계는 확장 가능한 훈련의 원칙을 따르며, 최소한의 수동 주석만 필요로 합니다. 구체적으로, 우리는 수학의 거부 샘플링, 코딩 및 명령어 준수의 실행 피드백, 창의적 쓰기의 역방향 번역, 역할 수행 등 확장 가능한 감독 등 다양한 자동 정렬 전략을 통해 고품질, 신뢰할 수 있으며 다양하고 창의적인 시연 데이터와 선호 데이터를 획득하는 방법을 연구합니다. 훈련 측면에서, 감독 미세 조정, 보상 메커니즘 훈련, 온라인 DPO 훈련을 결합한 방식을 사용합니다. 또한 정렬 게렬의 최소화하기 위해 새로운 온라인 메르전 최적화 기를 채택합니다. 이러한 집단적 노력은 아래 표에서 볼 수 있듯이 우리 모델의 능력과 지능을 크게 향상시켰습니다.

Qwen2의 다음 단계는 무엇인가요?

우리는 모델 확장과 최근의 데이터 확장을 더욱 탐구하기 위해 더 큰 Qwen2 모델을 훈련하고 있습니다. 또한, Qwen2 언어 모델을 멀티모달로 확장하여 시각 및 오디오 정보를 이해할 수 있도록 합니다. 가까운 시일 내에, 우리는 새로운 모델의 오픈소스를 계속하여 ai 오픈소스를 가속화할 것입니다. 많은 기대 부탁드립니다!

Github: https://github.com/QwenLM/Qwen2

다운로드 주소: https://modelscope.cn/organization/qwen

체험 주소: https://modelscope.cn/studios/opencompass/CompassArena/summary

자세한 소개: https://qwenlm.github.io/blog/qwen2/