천위(琴樂) 대형 모델 168

천러(琴乐) 대형 모델은 텐센트 천(琴) 연구실과 텐센트 ai Lab이 공동으로 개발한 AI 음악 대형 모델로, 풍부한 AI 작곡 및 편곡 능력을 갖추고 있습니다. 중국어 및 영어 키워드, 설명 문장 또는 오디오를 입력하기만 하면 천러 대형 모델이 직접 음악을 생성할 수 있습니다.

천러 대형 모델의 주요 기능 및 특징:

• 음악 생성: 천러 대형 모델은 사용자가 제공하는 중국어 및 영어 키워드, 설명 문장 또는 오디오 입력을 바탕으로 지능적으로 음악을 생성하여 음악의 자동 작곡을 실현합니다.

• 악보 생성: 오디오를 생성하는 것 외에도 천러 대형 모델은 멜로디, 코드, 반주, 타악기 등 여러 트랙을 포함하는 상세한 악보를 생성할 수 있어 사용자에게 풍부한 음악 구조를 제공합니다.

• 자동 편집: 모델은 생성된 악보에 대한 일련의 자동 편집 작업을 지원합니다. 여기에는 악보 이어 쓰기, 특정 트랙 또는 마디 재생성, 편성 조정, 악기 유형 및 리듬 수정이 포함됩니다.

• 오디오-텍스트 정렬: 대조 학습(contrastive learning) 기술을 통해 천러 대형 모델은 오디오 태그 또는 텍스트 설명과 오디오 자체를 정렬하는 공유 특징 공간을 구축하여 생성 모델에 조건 제어 신호를 제공하고, 음악 생성의 연관성과 정확성을 강화합니다.

• 악보/오디오 특징 추출: 모델은 악보 또는 오디오를 일련의 이산적인 특징(token) 시퀀스로 변환할 수 있으며, 이러한 시퀀스는 대규모 언어 모델의 예측을 위한 기반을 제공합니다.

• 대규모 언어 모델 예측: decoder-only 구조를 사용하여 천러 대형 모델은 특징 예측(next token prediction) 훈련을 통해 예측된 시퀀스를 악보 또는 오디오로 다시 변환하여 텍스트에서 음악으로의 전환을 실현합니다.

• 오디오 복원: 플로우 매칭(flow matching)과 보코더(vocoder) 기술을 통해 천러 대형 모델은 예측된 오디오 특징 시퀀스를 들을 수 있는 오디오로 복원하여 오디오의 사실감과 품질을 높입니다.

• 음악 이론 준수: 음악을 생성하는 과정에서 천러 대형 모델은 멜로디, 코드, 박자 등의 요소가 음악 논리와 인간의 미적 감각에 부합하도록 음악 이론을 따릅니다.

천러 대형 모델 응용 분야

• 음악 창작: 전문 음악인에게 효율적인 작곡 및 편곡 도구를 제공하여 창작 과정의 번거로운 작업을 단순화합니다.
  

• 교육 분야: 학생들이 음악 이론을 이해하고 학습하는 데 도움을 주며, 자동 생성된 악보를 통해 실습 연습을 진행합니다.

• 엔터테인먼트 산업: 일반 사용자도 간단한 조작으로 음악 창작의 매력을 체험할 수 있어 상호작용성과 엔터테인먼트성을 높입니다.

텐센트 뮤직 천친(天琴) 연구실은 QQ뮤직, 퀸밤K(全民K歌), 텐센트 뮤지션, 쿠워(酷我), 쿠고우(酷狗) 등 제품의 멀티미디어 및 AI 응용 기술 연구와落地(적용)를 담당합니다. 담당하는 주요 프로젝트에는 QQ뮤직의 노래 인식, 허밍 인식, 커버 곡 인식, 가사 타임스탬프, 프리미엄 음질, DMEE, mv 영상 편집, 자막 인식, 스타 인식; 퀸밤K(全民K歌)의 노래 채점, 지능형 음성 보정, 지능형 음향 효과,歌声 합성(보컬 합성); 레인런 창팅(懒人畅听)의 AI 낭독, AI 원고; 라이브 방송 상호작용의 지능형 품평, 하이라이트 인식, 단말-클라우드 통합 영상 품질 향상이 포함됩니다. 동시에 메타버스에서의 가상 인물 기술도 탐색하고 있으며, 가상 이미지, 가상 댄스, 노래 표정 생성, 음악 라이트쇼 등을 핵심으로 하는 샤오톈 샤오친(小天小琴) 남매 가상 인물이 곧 공개될 예정이니 많은 기대 부탁드립니다.

현재 천러 대형 모델 관련 기술은 이미 텐센트 뮤직 계명성(启明星) 플랫폼에 출시되었으며, 사용자는 무료로 가입하여 체험할 수 있습니다.