DiffRhythm: первый в мире end-to-end инструмент генерации музыки на основе диффузионной модели 187

Что такое DiffRhythm?

DiffRhythm — это первый в мире end-to-end инструмент для генерации музыки на основе ИИ, построенный на диффузионной модели. Независимо от того, новичок вы в музыке или опытный профессиональный продюсер, достаточно просто ввести текстовое описание — слова песни, стиль, настроение — и инструмент быстро создаст музыку в любом жанре, от классической симфонии до киберпанка, позволяя вам без труда создавать собственные произведения без какого-либо ручного вмешательства.

Функциональные особенности DiffRhythm

• Сквозная генерация (end-to-end): напрямую обрабатывает исходные звуковые волны, устраняя промежуточные этапы символьного преобразования и позволяя полностью сохранять тонкие эмоциональные оттенки в музыке.

• Мультимодальное понимание: способен комплексно анализировать текстовую, музыкальную и даже визуальную информацию, точно улавливая такие абстрактные стилистические характеристики, как «тёплый ретро» или «футуристическая технологичность».

• Динамическая управляемость: позволяет в реальном времени корректировать ритм и последовательность аккордов, гибко комбинируя музыкальные элементы — подобно тому, как художник смешивает краски на палитре.

• Латентная диффузионная модель: на основе диффузионной модели способна всего за десять секунд синтезировать полноценную композицию с вокалом и аккомпанементом длительностью до 4 минут 45 секунд, отличаясь высокой музыкальностью и разборчивостью.

• Неавторегрессионная архитектура: высокая скорость вывода и простая структура обеспечивают масштабируемость инструмента.

Основные технологии DiffRhythm

В основе DiffRhythm лежит диффузионная модель. Принцип её работы напоминает игру в «удаление шума» и состоит из двух этапов:

• Прямое зашумление: к исходному музыкальному фрагменту постепенно добавляется случайный шум, пока он не превращается в белый шум.

• Обратное удаление шума: обученная нейросеть шаг за шагом восстанавливает из этого шума музыку, соответствующую запросу пользователя, формируя на выходе высококачественный аудиосигнал.

Преимущества по сравнению с традиционными ИИ-инструментами для создания музыки

• Сквозная генерация: прямая обработка исходных звуковых волн без промежуточных преобразований, что позволяет сохранять тонкие эмоциональные оттенки.

• Мультимодальное понимание: комбинирование различных типов входных данных для точного распознавания абстрактных стилей.

• Динамическая управляемость: корректировка ритма и последовательности аккордов в реальном времени и гибкое комбинирование музыкальных элементов.

Как пользоваться DiffRhythm

1. Генерация текста песни с таймкодами с помощью ИИ: вы можете задать тему и стиль композиции, и ИИ сгенерирует текст песни с таймкодами; также можно написать текст самостоятельно, а затем добавить таймкоды.

2. Генерация песни: отправьте текст с таймкодами через интерфейс, и вы получите композицию. Однако в текущей версии длина сгенерированной песни ограничена 95 секундами — слишком длинный текст будет обрезан.

Применение DiffRhythm

• Контент-мейкеры: блогеры, снимающие короткие видео, могут менее чем за минуту получить фоновую музыку, точно соответствующую настроению ролика, не беспокоясь о проблемах с авторскими правами.

• Инди-разработчики игр: возможность с минимальными затратами создавать высококачественные библиотеки звуковых эффектов для игровых сцен.

• Музыкальная индустрия: звукозаписывающие компании используют ИИ для создания ремиксов на популярные треки, продлевая жизненный цикл своих IP.

• Событийная индустрия: генерация импровизационной музыки в реальном времени, синхронно реагирующей на реакцию зрителей.

Репозиторий на GitHub:https://github.com/ASLP-lab/DiffRhythm

Онлайн-демо:https://huggingface.co/spaces/ASLP-lab/DiffRhythm

Адрес проекта:https://aslp-lab.github.io/DiffRhythm.github.io/