琴楽（QinYue）大規模音楽モデル 171

琴楽大規模モデルは、テンセント琴研究室とテンセント ai Lab が共同開発した AI 音楽大規模モデルであり、豊富な AI 作曲・編曲能力を備えています。中国語と英語のキーワード、説明的な文章、または音声を入力するだけで、琴楽大規模モデルは音楽を直接生成できます。

琴楽大規模モデルの主な機能と特徴：

• 音楽生成：琴楽大規模モデルは、ユーザーが提供する中国語と英語のキーワード、説明的な文章、または音声入力に基づいて音楽をインテリジェントに生成し、音楽の自動作曲を実現します。

• 楽譜生成：音声生成に加えて、琴楽大規模モデルはメロディー、コード、伴奏、パーカッションなど複数のトラックを含む詳細な楽譜を生成することができ、ユーザーに豊富な音楽構造を提供します。

• 自動編集：モデルは生成された楽譜に対して一連の自動編集操作をサポートしており、楽譜の続きの作曲、特定のトラックや小節の再生成、編曲の調整、楽器の種類やリズムの変更などが含まれます。

• 音声テキスト整合：対比学習技術を通じて、琴楽大規模モデルは共有特徴空間を構築し、音声ラベルやテキスト記述を音声自体と整合させ、生成モデルに条件制御信号を提供することで、音楽生成の関連性と正確性を強化します。

• 楽譜/音声特徴抽出：モデルは楽譜や音声を一連の離散的な特徴（token）シーケンスに変換することができ、これらのシーケンスは大規模言語モデルの予測の基礎を提供します。

• 大規模言語モデル予測：decoder-only 構造を採用し、琴楽大規模モデルは特徴予測（next token prediction）学習を通じて予測されたシーケンスを楽譜や音声に変換することができ、テキストから音楽への変換を実現します。

• 音声復元：フローマッチングとボコーダー技術により、琴楽大規模モデルは予測された音声特徴シーケンスを聴取可能な音声に復元し、音声のリアル感と品質を強化します。

• 音楽理論の遵守：音楽を生成する過程において、琴楽大規模モデルは音楽理論に従い、メロディー、コード、テンポなどの要素が音楽論理と人間の美意識に適合するようにします。

琴楽大規模モデルの応用分野

• 音楽制作：プロの音楽家のために効率的な作曲・編曲ツールを提供し、制作過程の煩雑な作業を簡素化します。
  

• 教育分野：学生が音楽理論を理解し学ぶのを助け、自動生成された楽譜を通じて実践練習を行います。

• エンターテインメント産業：一般ユーザーも簡単な操作で音楽制作の魅力体験でき、インタラクティブ性と娯楽性を高めます。

テンセント音楽天琴研究室は、QQ音楽、全民K歌、テンセント音楽人、酷我（Kuwo）、酷狗（Kugou）などの製品に向けたマルチメディアとAI応用型技術研究と実用化を担当しています。担当する主要プロジェクトには、QQ音楽での楽曲認識、ハミング認識、カバー認識、歌詞タイムスタンプ、極上音質、DMEE、MV動画編集、字幕認識、アーティスト認識；全民K歌での歌唱採点、智能修音、智能音效、歌声合成；Lazy MusicでのAI朗読、AI原稿；ライブ配信インタラクションでの智能品鑑、ハイライト認識、エンドクラウド一体型映像品質向上などがあります。また、メタバースにおけるバーチャルヒューマンテクノロジーの探求にも取り組んでおり、バーチャルイメージ、バーチャルダンス、歌表情生成、音楽ライトショーなどを核とした小天小琴兄妹バーチャルヒューマンが間もなく登場予定ですので、ご期待ください。

現在、琴楽大規模モデルの関連技術はテンセント音楽啓明星プラットフォームに搭載されており、ユーザーは無料で登録して体験することができます。