YAYI2：中文名为“雅意”,中科闻歌开源大语言模型_云技派 159

YAYI2는 중과학완거(中科闻歌)에서 개발한 차세대 오픈소스 대규모 언어 모델로, 중국어 명칭은 "야이(雅意)"입니다. 이 모델은 Base와 Chat 버전을 포함하며, 매개변수 규모가 30B에 달하고 Transformer 아키텍처를 기반으로 구축되었습니다.

YAYI2는 2조 개 이상의 Tokens으로 구성된 고품질 다국어 말뭉치를 사용하여 사전 학습되었습니다. 일반 및 특정 분야의 응용 시나리오를 위해 백만 단위의 지시문으로 미세 조정을 수행하였으며, 인간 피드백 기반 강화 학습 방법을 통해 모델이 인간의 가치관에 더 잘 부합하도록 하였습니다.

YAYI2 야이(雅意)의 핵심 역량

• 중국어 지식 질의응답: AGIEval, CMMLU 평가 1위, MMLU 2위

• 정보 추출: 제로샷 중국어 개체명 추출에서 SOTA 달성, 영어는 ChatGPT 수준

• 멀티모달 상호작용: 이미지와 텍스트 상호 생성, PDF 파싱, 웹페이지 실시간 이해

• 역할 수행: 수만 가지의 사용자 정의 역할 지원, 초장기 다회차 대화 연관

YAYI2 야이(雅意)의 기술 아키텍처

• 300억 매개변수 규모, 128k 초장기 컨텍스트 지원(약 20만 자 텍스트 처리)

• 처음부터 사전 학습을 구현하여 완전한 독립 지식재산권을 보유하고, 화웨이 Ascend 등 국산 GPU와 호환

• 학습 데이터는 2.65조 Tokens을 포함하며, 200TB의 원시 데이터에서 1,000여 단계의 정제 과정을 거쳐 추출

• 중국어, 영어 등 10개 이상 언어 지원, 중국어 Token 압축률 국내 선도

YAYI2 야이(雅意)의 산업별 활용

YAYI 2는 미디어 홍보, 여론 분석,政务 거버넌스, 금융 분석 등 여러 수직 영역에서 뛰어난 능력을 보여줍니다. 또한 교육, 재정·세무, 중의학, 금융 등 분야에 적용되어 기업에 ai 보조도구, 지식 베이스 질의응답 시스템, AI 창작 로봇 등의 솔루션을 제공합니다.

• 문화·공공 부문: 안전 정보 추출, 여론 전문 보고서 생성, 법률 지능형审批(심사)

• 금융 시나리오: 재무제표 파싱, 투자 컴플라이언스 관리, 거시 정책 해석

• 미디어 창작: 다국어 뉴스 작성, 동영상 이해, 가상 앵커 생성

• 전문 도구: 중의학 스마트 진료, 기업 지식 베이스 질의응답, 프로그래밍 언어 지원

Llama 2 오픈소스 모델과 비교했을 때, YAYI 2는 중국어 시나리오에서 더 우수한 성능을 보이며, 플러그인을 통해 계산기, 날씨 조회 등 도구 호출을 구현할 수 있습니다. 안전 아키텍처는 가치관 정렬을 강화하고 출력 내용이 실시간으로审核(검토)되어, 정부 및 기업의 민감한 시나리오에 적합합니다. YAYI는 현재 국가 부처, 금융 기관 등에 이미 적용되었으며, 화웨이 클라우드, 베이징은행 등과의 생태계 협력을 구축하고 있습니다.

YAYI 2는 Base와 Chat 두 가지 버전을 제공하며, 오픈소스로 공개된 것은 Base 버전으로, 개발자가 GitHub에서 코드, 모델 및 학습 데이터를 얻을 수 있도록 지원합니다. 또한 이 모델은 Apache-2.0 라이선스를 따르며 상업적 사용과 2차 개발을 허용합니다.

GitHub 저장소: https://github.com/wenge-research/YAYI2

HuggingFace: https://huggingface.co/wenge-research/yayi2-30b