Qinyue Large Model 170

琴乐大模型 — это модель искусственного интеллекта для генерации музыки, совместно разработанная лабораторией Tencent Qin Lab и AI-лабораторией Tencent. Она обладает широкими возможностями в области AI-композиции и аранжировки. Достаточно ввести ключевые слова на китайском или английском языке, описательное предложение или аудио — и琴乐大模型 сразу же сгенерирует музыку.

Основные функции и особенности琴乐大模型:

• Генерация музыки:琴乐大模型 способна интеллектуально создавать музыку на основе предоставленных пользователем ключевых слов на китайском или английском языке, описательных предложений или аудиовхода, реализуя автоматическое сочинение музыки.

• Генерация нот: помимо генерации аудио,琴乐大模型 также может создавать подробные нотные партитуры, включающие несколько дорожек — мелодию, аккорды, аккомпанемент и ударные, предоставляя пользователю богатую музыкальную структуру.

• Автоматическое редактирование: модель поддерживает ряд операций автоматического редактирования сгенерированных партитур, включая продолжение нот, повторную генерацию определённых дорожек или тактов, настройку инструментовки, изменение типа инструментов и ритма.

• Выравнивание аудио и текста: с помощью техники контрастного обучения琴乐大模型 создаёт общее пространство признаков, в котором аудиотеги или текстовые описания сопоставляются с самим аудио, обеспечивая генеративную модель сигналами условного управления и повышая релевантность и точность генерации музыки.

• Извлечение представлений партитуры/аудио: модель способна преобразовывать партитуру или аудио в последовательности дискретных признаков (токенов), которые служат основой для предсказаний большой языковой модели.

• Предсказание с помощью большой языковой модели: используя архитектуру decoder-only,琴乐大模型 обучается с помощью предсказания следующего токена (next token prediction); предсказанные последовательности могут быть преобразованы обратно в партитуру или аудио, что обеспечивает преобразование текста в музыку.

• Восстановление аудио: с помощью технологий flow matching и вокодера琴乐大模型 способна восстанавливать предсказанные последовательности аудиопредставлений в слышимое аудио, повышая реалистичность и качество звука.

• Следование музыкальной теории: в процессе генерации музыки琴乐大模型 придерживается музыкальной теории, обеспечивая соответствие мелодии, аккордов, ритма и других элементов музыкальной логике и человеческим эстетическим представлениям.

Области применения琴乐大模型

• Создание музыки: предоставляет профессиональным музыкантам эффективные инструменты для композиции и аранжировки, упрощая трудоёмкие задачи в процессе творчества.
  

• Образовательная сфера: помогает учащимся понимать и изучать музыкальную теорию, выполняя практические упражнения на основе автоматически сгенерированных партитур.

• Индустрия развлечений: обычные пользователи также могут простыми действиями ощутить очарование создания музыки, что повышает интерактивность и развлекательную ценность.

Лаборатория Tencent Music Tianqin занимается исследованиями и внедрением мультимедийных и AI-приложений для таких продуктов, как QQ Music, Quanmin K Ge (全民K歌), Tencent Music Ren, Kuwo и Kugou. Среди её звёздных проектов — распознавание песен и напевов на QQ Music, распознавание каверов, временны́е метки текстов песен, звук высочайшего качества, DMEE, монтаж видео, распознавание субтитров, распознавание знаменитостей; оценка пения, интеллектуальная коррекция вокала, интеллектуальные звуковые эффекты и синтез вокала на Quanmin K Ge; AI-чтение и AI-тексты на Lanren Changting; интеллектуальная оценка контента, распознавание ярких моментов и комплексное повышение качества видео «облако + устройство» в прямых трансляциях. Кроме того, лаборатория исследует технологии виртуальных людей в метавселенной: скоро будут представлены виртуальные персонажи — братья Xiao Tian и Xiao Qin (小天小琴), ядром которых являются виртуальный образ, виртуальные танцы, генерация мимики при пении, а также музыкально-световые шоу. Следите за обновлениями.

В настоящее время технологии, связанные с琴乐大模型, уже запущены на платформе Tencent Music Qiming; пользователи могут бесплатно зарегистрироваться и попробовать их в действии.