InspireMusic: открытый фреймворк для генерации музыки от лаборатории Alibaba Tongyi 124

InspireMusic — это открытый фреймворк для генерации музыки, разработанный лабораторией Tongyi компании Alibaba. Его техническая архитектура объединяет множество передовых исследований в области аудио и предоставляет разработчикам и исследователям комплексное решение для создания музыки, преобразования стилей и синтеза звуковых эффектов. Фреймворк основан на технологии мультимодальных больших моделей, поддерживает интеллектуальное создание контента с помощью текстовых описаний или аудиовхода, а также предлагает полный набор инструментов для тонкой настройки моделей.

Режим генерации музыки из текста в InspireMusic очень мощный. Он поддерживает создание музыки различных стилей и эмоций по текстовому описанию: пользователи могут генерировать разнообразные произведения, такие как джаз или мелодичные колыбельные, в соответствии со своими предпочтениями.

Ключевые функции InspireMusic:

• Генерация музыки: InspireMusic может автоматически создавать музыкальные произведения на основе предоставленного пользователем текстового описания, включая эмоции, стиль, гармонию и другую информацию.

• Преобразование стиля аудио: данная технология позволяет преобразовывать существующие аудиосэмплы в музыку различных направлений, обеспечивая лёгкое достижение эффекта смены стиля.

• Инструменты обучения и тонкой настройки: InspireMusic предоставляет разработчикам набор инструментов для обучения и тонкой настройки моделей генерации аудио, что позволяет оптимизировать результаты генерации и удовлетворять индивидуальные потребности.

• Мультимодальные приложения: благодаря сочетанию текста, аудио и их взаимодействия InspireMusic обеспечивает богатый опыт создания музыки и поддерживает различные виды генерации и редактирования музыки.

Основные особенности

• Унифицированный фреймворк генерации аудио: основанный на технологии большой аудиомодели, InspireMusic поддерживает генерацию музыки, песен и аудио, предоставляя пользователям разнообразные возможности;

• Гибкое и управляемое создание: на основе текстовых подсказок и описаний музыкальных характеристик пользователи могут точно контролировать стиль и структуру генерируемой музыки;

• Простота использования: удобные инструменты тонкой настройки и инференса моделей обеспечивают эффективное обучение и настройку для пользователей.

Основные технические принципы InspireMusic:

• Аудио-Tokenizer: с помощью высокосжатого однокодового WavTokenizer преобразует входные непрерывные аудиопризнаки в дискретные аудиотокены, обеспечивая формат аудиоданных, пригодный для обработки моделью.

• Авторегрессионная модель Transformer: данная модель инициализируется на базе модели Qwen и используется для предсказания аудиотокенов по текстовым подсказкам, что позволяет понимать и генерировать музыкальные последовательности, соответствующие текстовому описанию.

• Диффузионная модель (Conditional Flow Matching, CFM): используется для восстановления высококачественных аудиопризнаков из сгенерированных аудиотокенов, повышая связность и естественность генерации музыки.

• Vocoder: преобразует восстановленные аудиопризнаки в высококачественные аудиоконву, формируя итоговое музыкальное произведение. Поддерживает различные частоты дискретизации (например, 24 кГц и 48 кГц) и способен создавать аудиозаписи длительностью более 5 минут.

Основные модели:

Модельный фреймворк InspireMusic включает аудио-токенизатор, авторегрессионную модель Transformer, диффузионную модель на основе обыкновенных дифференциальных уравнений — Conditional Flow Matching (CFM) и Vocoder, что позволяет выполнять такие задачи, как генерация музыки из текста и продолжение музыки.

Применения InspireMusic:

• Создание музыки: пользователи могут генерировать музыкальные произведения различных стилей с помощью простых текстовых описаний или аудиоподсказок.

• Образование и обучение: данный инструментарий предоставляет удобную платформу для создания музыки музыкантам-любителям и учащимся.

• Игры и развлечения: InspireMusic можно использовать для генерации фоновой музыки или звуковых эффектов для игр.

• Кинопроизводство и видеопродакшн: используется для создания саундтреков и звуковых эффектов в кино и на телевидении.

• Реклама и маркетинг: InspireMusic может генерировать музыку, соответствующую рекламным потребностям.

• Научные исследования и разработка: предоставляет исследователям и разработчикам инструменты для обучения и тонкой настройки моделей генерации музыки.

Способ использования:

Недавно лаборатория Tongyi лаборатория Alibaba объявила об официальном открытии исходного кода технологии генерации музыки InspireMusic. Пользователи могут получить доступ к InspireMusic и использовать его через репозиторий на GitHub, пространство ModelScope, а также платформу HuggingFace Spaces.

Репозиторий на GitHub:https://github.com/FunAudioLLM/InspireMusic

ModelScope:https://modelscope.cn/studios/iic/InspireMusic/summary

HuggingFace:https://huggingface.co/spaces/FunAudioLLM/InspireMusic