TMEStudio: онлайн-помощник для создания музыки от Tencent 138

TME Studio — это онлайн-помощник для создания музыки, запущенный компанией Tencent Music Entertainment. Он разработан совместно подразделениями Yinhe Audio Effects, MUSE, Tianqin Lab и Tencent ai Lab и предоставляет инструменты для творчества, включая разделение музыки, вычисления MIR, помощь в написании текстов и интеллектуальные нотные записи. Помогает любителям музыки сделать творчество проще.

TME Studio объединяет четыре функции: «Разделение музыки» для отделения вокала и инструментов в песне, «Вычисления MIR» для распознавания различных элементов песни на основе понимания музыкального контента, «Помощь в написании текстов», которая рекомендует подходящие рифмующиеся слова с помощью алгоритмов рекомендаций на основе искусственного интеллекта, а также «Интеллектуальные ноты», где ИИ автоматически генерирует гитарные табулатуры для огромного количества песен, помогая в практике игры и пения.

Основные функции TME Studio:

1. Разделение музыки

Основано на технологии глубокого обучения. Загрузите любую песню и выполните разделение. Можно отделить не только вокал, но и звук фортепиано, гитары, баса, барабанов и другие звуки в музыке. Каждый звук выводится на отдельную дорожку с возможностью индивидуального извлечения.

2. Вычисления MIR

TME Studio использует искусственный интеллект и обработку сигналов для понимания и анализа музыкального контента, извлекая такую информацию, как частота дискретизации, разрядность, BPM, ритм, размер, тональность, аккордовая прогрессия, распознавание ударов барабанов и припевов. Благодаря более глубокому распознаванию и анализу извлекается больше высокоуровневой информации, содержащейся в музыке, что позволяет создавать более интеллектуальные музыкальные инструменты и помогает машинам лучше понимать вашу музыку.

3. Помощь в написании текстов

Инструмент для написания текстов, запущенный лабораторией Tencent Music · Tianqin Lab. Анализируя тексты песен из всей библиотеки TME, а также разнообразные материалы из прозы, поэзии и других источников, он поддерживает ввод китайских слов и подбор рифмующихся слов, а также слов, связанных по смыслу и настроению, включая одиночные, двойные и множественные рифмы, открывая пространство для вдохновения.

4. Интеллектуальные ноты

TME Studio, основанный на алгоритмах глубоких нейронных сетей, позволяет просто загрузить композицию и сразу играть песню, которую вы хотите. Поддерживается интеллектуальная генерация нот для гитары, укулеле и фортепиано, а также настройки повторов AB, метронома, ритма и фонового звука.

В будущем TME Studio также представит такие аудиоинструменты, как «Микширование пространственного звука», «Синтез музыкальных стилей», «Микшерный пульт» и «Синтез вокала». В сочетании с ИИ они предоставят музыкантам интересные источники вдохновения и помогут создавать ещё больше качественных музыкальных произведений.

Лаборатория Tencent Music Tianqin Lab занимается исследованиями и внедрением мультимедийных и AI-приложений для таких продуктов, как QQ Music, Quanmin K Ge, TV88, Kuwo и Kugou. Среди звёздных проектов подразделения: распознавание песен и напевов, распознавание каверов, временны́е метки текстов, качество звука Zhenpin, DMEE, монтаж видео для MV, распознавание субтитров, распознавание знаменитостей в QQ Music; оценка пения, интеллектуальная коррекция вокала, интеллектуальные звуковые эффекты и синтез вокала в Quanmin K Ge; ИИ-чтение и ИИ-тексты в Lanren Changting; интеллектуальная оценка контента, распознавание ярких моментов и повышение качества видео «облако-устройство» в прямых трансляциях. Кроме того, ведётся исследование виртуальных аватаров в метавселенной — скоро появятся виртуальные персонажи Xiaotian и Xiaoqin, ориентированные на виртуальные образы, виртуальные танцы, генерацию мимики при пении и музыкальные светошоу. Следите за обновлениями.