ACE-Step: новая открытая базовая модель для генерации музыки 62

Что такое ACE-Step?

ACE-Step — это новая базовая модель генерации музыки с открытым исходным кодом, совместно разработанная ACE Studio и StepFun. Она объединяет методы генерации на основе диффузии, глубокий сжатый автокодировщик Sana и легковесный линейный трансформер, преодолевая ограничения существующих методов генерации музыки в скорости генерации, музыкальной связности и управляемости. Модель способна синтезировать музыку длительностью до 4 минут за 20 секунд на GPU A100, что в 15 раз быстрее базовых решений на основе LLM, при этом обеспечивая лучшую музыкальную связность и согласование с текстом песни по показателям мелодии, гармонии и ритма. Модель также поддерживает расширенные механизмы управления, такие как клонирование голоса и редактирование текста песни, а также указывает на такие ограничения, как нестабильность вывода и недостаточно хорошее исполнение в отдельных стилях.

Основная архитектура ACE-Step

ACE-Step объединяет диффузионную модель, глубокий сжатый автокодировщик и легковесный линейный трансформер, а также использует MERT и m-hubert для согласования семантических представлений (REPA) во время обучения, что обеспечивает быструю сходимость. Такое архитектурное решение позволяет достичь баланса между скоростью генерации, музыкальной связностью и управляемостью.

Преимущества ACE-Step

• Скорость генерации: ACE-Step генерирует музыку длительностью до 4 минут на GPU NVIDIA A100 всего за 20 секунд, что в 15 раз быстрее базовых методов на основе больших языковых моделей (LLM).

• Музыкальная связность: модель демонстрирует превосходную музыкальную связность и согласование с текстом песни по показателям мелодии, гармонии и ритма.

• Сохранение деталей: ACE-Step сохраняет тонкие акустические детали и поддерживает расширенные механизмы управления, такие как клонирование голоса, редактирование текста песни, ремикширование и генерация дорожек.

Функциональные особенности ACE-Step

• Разнообразие стилей: поддержка основных музыкальных стилей и возможность работы с различными форматами описаний — короткими тегами, описательным текстом или описаниями сценариев применения. Хорошо проявляет себя и в экспериментальных входных тестах, а также способна генерировать инструментальные треки с множеством инструментов.

• Многоязычная поддержка: поддерживается 19 языков, но из-за дисбаланса данных некоторые языки показывают менее удовлетворительные результаты. В топ-10 языков с лучшим качеством входят английский, китайский, русский и другие.

• Высокая управляемость:

• Variations Generation: использует технику оптимизации во время инференса без обучения, регулируя соотношение смешивания начального и добавляемого гауссова шума для создания вариантов с различной степенью сходства с исходным треком.

• Repaint: путём добавления шума к целевому аудиовходу и применения ограничений маскирования в ODE-процессе позволяет изменять определённые фрагменты, а в сочетании с технологией генерации вариантов — реализовывать локальные изменения стиля, текста или вокала.

• Edit: использует технологию flow-edit, позволяющую изменять текст песни без изменения мелодии, тембра вокала и фоновой музыки, однако за раз можно редактировать лишь небольшой фрагмент текста.

Сценарии применения ACE-Step

• Lyric2Vocal (LoRA): дообучение LoRA на чисто вокальных данных, позволяющее напрямую генерировать вокальные сэмплы из текста для вокальных демо, помощи в написании песен и других задач.

• Text2Samples (LoRA): дообучение LoRA на чисто инструментальных и сэмпл-данных, позволяющее генерировать по текстовому описанию концептуальные сэмплы для музыкального производства — создание инструментальных лупов, звуковых эффектов и т. д.

Ограничения ACE-Step

• Нестабильность вывода: чувствительность к случайному зерну и длительности входа, результаты неустойчивы.

• Неравномерное качество стилей: недостаточно хорошее исполнение в некоторых специфических стилях (например, китайский рэп).

• Проблемы непрерывности: неестественные переходы при перерисовке или расширении.

• Качество вокала требует улучшения: синтезированный вокал довольно грубый и лишён деталей.

• Недостаточная гранулярность управления: необходим более тонкий контроль музыкальных параметров.

• Оптимизация многоязычного текста песен: необходимо улучшить поддержку многоязычного текста песен, повысить точность и естественность.

Часто задаваемые вопросы об ACE-Step

Какое главное преимущество ACE-Step по сравнению с другими моделями генерации музыки?

Ответ: Главное преимущество ACE-Step заключается в решении проблемы компромисса между скоростью генерации, музыкальной связностью и управляемостью, существующей у существующих моделей. Модель способна синтезировать музыку длительностью до 4 минут за 20 секунд на GPU A100, что в 15 раз быстрее базовых моделей на основе LLM, при этом обеспечивая лучшую музыкальную связность и согласование с текстом по показателям мелодии, гармонии и ритма. Кроме того, она обладает мощными функциями управления, такими как клонирование голоса и редактирование текста песни, которые другим моделям сложно реализовать одновременно.

Какие проблемы существуют у ACE-Step в многоязычной поддержке?

Ответ: Хотя ACE-Step поддерживает 19 языков, из-за дисбаланса данных менее распространённые языки показывают недостаточно хорошие результаты. При работе с многоязычным текстом песен точность и естественность оставляют желать лучшего, поэтому требуется дальнейшая оптимизация поддержки многоязычного текста для повышения общей производительности модели на разных языках.

Каким этапам创作 соответствуют Lyric2Vocal и Text2Samples среди сценариев применения ACE-Step?

Ответ: Lyric2Vocal — это дообучение LoRA на чисто вокальных данных, подходящее для этапа вокальной демонстрации в написании песен: помогает авторам быстро тестировать звучание текста при исполнении, а также используется для создания направляющих треков, помощи в написании песен и экспериментов с вокальной аранжировкой. Text2Samples — это дообучение LoRA на чисто инструментальных и сэмпл-данных, подходящее для быстрого создания инструментальных лупов, звуковых эффектов и различных музыкальных элементов на ранних этапах музыкального производства, предоставляя концептуальные сэмплы и повышая эффективность创作.

Ссылки по теме

https://ace-step.github.io/