Orion Starry Sky 대규모 언어 모델 107

猎户星空(OrionStar) 대모델 Orion-14B-Base는 140억 개의 파라미터를 가진 다국어 대형 모델입니다. 이 모델은 2.5조 토큰(token)의 다양한 데이터셋으로 학습되었으며, 중국어, 영어, 일본어, 한국어 등 다양한 언어를 포괄합니다. 다국어 환경에서의 일련의 과제에서 탁월한 성능을 보여줍니다. 주류 공개 벤치마크 평가에서 Orion-14B 시리즈 모델은 우수한 성능을 보이며, 여러 지표에서 동일한 파라미터급의 다른 모델을 크게 앞섭니다.

오픈소스 주소:

https://github.com/OrionStarai/Orion

https://huggingface.co/OrionStarAI

猎户星空 대모델 Orion-14B 시리즈 대모델의 주요 특징은 다음과 같습니다:

• 기반 20B 파라미터급 대모델 종합 평가 효과가 우수함

• 다국어 능력이 뛰어나며, 일본어 및 한국어 테스트셋에서显著领先

• 파인튜닝 모델의 적응력이 뛰어나며, 인간 주석 블라인드 테스트에서 두드러진 성능을 보임

• 장문맥(Long Context) 버전은 초장문 텍스트를 지원하며, 200k 토큰 길이에서 우수한 효과를 보이고, 최대 320k까지 지원 가능

• 양자화 버전은 모델 크기가 70% 축소되고, 추론 속도가 30% 향상되었으며, 성능 손실은 1% 미만

구체적으로, 猎户星空 대모델 Orion-14B 시리즈 대규모 언어 모델에는 다음이 포함됩니다:

• Orion-14B-Base: 2.5조 토큰의 다양한 데이터셋으로 학습된 140억 개 파라미터급의 다국어 기반 모델.

• Orion-14B-Chat: 고품질 코퍼스로 파인튜닝된 대화형 모델로, 대규모 모델 커뮤니티에 더 나은 사용자 상호작용 경험을 제공하는 것을 목표로 함.

• Orion-14B-LongChat: 200k 토큰 길이에서 효과가 우수하며, 최대 320k까지 지원 가능하고, 장문 평가셋에서 전용 모델에 버금가는 성능을 보임.

• Orion-14B-Chat-RAG: 맞춤형 검색 증강 생성 데이터셋으로 파인튜닝된 챗봇 모델로, 검색 증강 생성(RAG) 과제에서 탁월한 성능을 달성함.

• Orion-14B-Chat-Plugin: 플러그인 및 함수 호출 과제를 위해 특별히 맞춤화된 챗봇 모델로, 대규모 언어 모델이 플러그인 및 함수 호출 시스템 역할을 하는 에이전트 관련 시나리오에 매우 적합함.

• Orion-14B-Base-Int4: int4로 양자화된 기반 모델. 성능 손실은 최소 1%에 불과하면서 모델 크기를 70% 줄이고 추론 속도를 30% 향상시킴.

• Orion-14B-Chat-Int4: int4로 양자화된 대화형 모델.

猎户星空(OrionStar)은 2016년 9월에 설립된 세계적인 서비스 로봇 솔루션 회사입니다. 猎户星空은 인공지능 기술에 기반하여 차세대 혁신적인 로봇을打造하여, 사람들이 반복적인 육체 노동에서 벗어나 인간의 업무와 삶을 더욱 지능적이고 재미있게 만들며, 기술을 통해 사회와 세계를 더욱 아름답게 만드는 데 전념하고 있습니다.

猎户星空은 음성 상호작용 및 시각 내비게이션 등 완전한 자체 개발 전 과정 인공지능 기술을 보유하고 있습니다. 제품 개발 능력과 기술 응용 능력을 통합합니다. Orion 로봇 팔 플랫폼(Orion机械臂平台)에 기반하여 ORION STAR AI 로봇 그리팅, AI 로봇 그리팅 미니, Lucki, 커피 Master 등의 제품을推出했으며, Orion 로봇의 오픈 플랫폼인 OrionOS를 구축했습니다. '정말로 유용한 로봇을 위해 태어났다'는 이념의 실천을 통해, AI 기술을 통해 더 많은 사람에게 힘을 실어주고 있습니다.

7년간의 AI 경험 누적을 바탕으로, 猎户星空은推出한 대모델 심층 应用 '聚言'을 통해 업계 고객에게 맞춤형 AI 대모델 컨설팅 및 서비스 솔루션을 지속적으로 제공하여, 고객이 동종업계 대비 경영 효율성에서 앞서 나갈 수 있도록 진정으로 돕고 있습니다.

猎户星空은 전 과정 대모델 응용 능력을 갖춘 핵심 우위를 보유하고 있으며, 여기에는 대규모 데이터 처리, 대모델 프리트레이닝, 2차 프리트레이닝, 파인튜닝(Fine-tune), 프롬프트 엔지니어링(Prompt Engineering), 에이전트 개발에 이르는 전 과정 능력과 경험 누적이 포함됩니다. 시스템화된 데이터 처리 프로세스와 수백 장의 GPU를 통한 병렬 모델 학습 능력을 포함한 완전한 엔드투엔드 모델 학습 능력을 갖추고 있으며, 현재 대형政务, 클라우드 서비스, 해외 이커머스, FMCG 등 여러 업계 시나리오에서落地되었습니다.