Voicebox: генеративная модель ИИ для задач синтеза речи 154

Voicebox, передовая генеративная модель ИИ для голоса, разработанная Meta ai, способна выполнять задачи генерации речи, такие как редактирование, сэмплирование и стилизация, однако она не была специально обучена выполнять эти задачи через контекстное обучение.

Voicebox может генерировать высококачественные аудиоклипы и редактировать предварительно записанное аудио (например, убирать звук автомобильного гудка или собачьего лая), сохраняя при этом содержание и стиль оригинала. Модель также является многоязычной и может создавать речь на шести языках.

Функциональные особенности Voicebox:

Универсальность Voicebox позволяет решать широкий спектр задач, включая:

• Контекстный синтез речи из текста: используя аудиосэмпл длительностью всего две секунды, Voicebox может подобрать стиль озвучивания и применить его для генерации речи по тексту.

• Редактирование и шумоподавление речи: Voicebox может восстанавливать фрагменты речи, прерванные шумом, или заменять неправильно произнесённые слова без необходимости перезаписи всей записи. Например, вы можете определить фрагмент речи, прерванный лаем собаки, вырезать его и попросить Voicebox сгенерировать этот фрагмент заново — подобно ластику в аудиоредакторе.

• Межъязыковой перенос стиля: получив образец голоса человека и текст на английском, французском, немецком, испанском, польском или португальском языке, Voicebox может озвучить этот текст на любом из перечисленных языков, даже если образец голоса и текст на разных языках. В будущем эта функция может помочь людям общаться естественным и реалистичным образом, даже если они говорят на разных языках.

• Разнообразное сэмплирование речи: благодаря обучению на разнообразных данных Voicebox способен генерировать речь, которая более точно отражает то, как люди разговаривают в реальном мире, в том числе на шести упомянутых языках.

Преимущества Voicebox:

• Передовые инструменты шумоподавления и преобразования стиля повышают качество и универсальность аудио.

• Обширное обучение на более чем 50 000 часов голосовых данных обеспечивает высокую точность и естественность звучания голоса.

• Поддержка шести различных языков делает модель идеальным выбором для глобальных приложений и межъязыковых задач.

Недостатки Voicebox:

• Ограниченная доступность из-за потенциального неправомерного применения может затруднить доступ для добросовестных пользователей и разработчиков.

В дальнейшем подобные многоцелевые генеративные модели искусственного интеллекта, как Voicebox, смогут обеспечивать естественное звучание голоса для виртуальных ассистентов и неигровых персонажей в метавселенных. Они позволят незрячим людям слышать, как ИИ озвучивает письменные сообщения друзей, предоставят создателям контента новые инструменты для лёгкого создания и редактирования звуковых дорожек к видео и многое другое.

Voicebox — это важный шаг вперёд в наших исследованиях в области генеративного искусственного интеллекта, и мы с нетерпением ожидаем продолжения исследований в области аудио и того, как другие исследователи будут развивать нашу работу.