Voila: открытая сквозная ИИ-модель для голоса 67

Что такое Voila?

Voila — это end-to-end AI голосовая модель, использующая технологию полного дуплекса, которая позволяет одновременно слушать и говорить с низкой задержкой — время отклика составляет всего 195 миллисекунд, что меньше среднего времени реакции человека, и отказалась от традиционной конвейерной системы.

Модель содержит более одного миллиона предустановленных голосов и поддерживает множество функций, включая автоматическое распознавание речи (ASR), преобразование текста в речь (TTS) и многоязыковой голосовой перевод. Кроме того, Voila способна вести автономный диалог в реальном времени, постоянно слушая, анализируя и активно отвечая пользователю. Пользователи также могут задавать идентичность говорящего, тон и другие характеристики с помощью текстовых инструкций, обеспечивая более персонализированный и естественный опыт голосового взаимодействия.

Особенности и функции Voila

• Низкая задержка и полнодуплексный диалог: Voila обеспечивает полнодуплексный диалог с низкой задержкой — время отклика составляет всего 195 миллисекунд, что превосходит среднее время реакции человека.

• Сохранение деталей речи: способна сохранять богатые детали голоса, такие как интонация, ритм и эмоции.

• Иерархическая мультимасштабная архитектура Transformer: объединяет возможности рассуждения больших языковых моделей (LLM) с мощным акустическим моделированием, обеспечивая естественную, учитывающую персонажа генерацию речи; пользователи могут задавать идентичность говорящего, тон и другие характеристики с помощью текстовых инструкций.

• Мощные возможности настройки голоса: поддерживается более одного миллиона предустановленных голосов, а также эффективное создание новых голосов на основе аудиосэмплов длительностью всего 10 секунд.

• Единая архитектура модели: подходит для широкого спектра голосовых приложений, включая автоматическое распознавание речи (ASR), преобразование текста в речь (TTS), а также многоязыковой голосовой перевод при минимальной адаптации.

Технические принципы

• Высококачественная, низкозадержная обработка потокового аудио в реальном времени: обеспечивает диалог с низкой задержкой и сохраняет детали голоса.

• Эффективная интеграция возможностей голосового и языкового моделирования: объединение текстового и голосового моделирования повышает естественность взаимодействия.

• Миллионы предустановленных и пользовательских голосов: поддерживается быстрое переключение голосов в ходе диалога, что обогащает интерактивный опыт.

• Единая модель для различных аудиозадач: одна модель поддерживает множество аудиозадач, снижая затраты на разработку и развёртывание.

Сценарии применения Voila

• Голосовой ассистент: может выступать в роли интеллектуального голосового ассистента, взаимодействуя с человеком автономно, в реальном времени и эмоционально выразительно — непрерывно слушая, анализируя и активно отвечая, обеспечивая плавное, динамичное и эмоционально резонирующее взаимодействие.

• Голосовая ролевая игра: в сценариях ролевой игры пользователи могут задавать идентичность говорящего, тон и другие характеристики, обеспечивая естественную, учитывающую персонажа генерацию речи.

• Многоязыковой голосовой перевод: после минимальной адаптации может использоваться для многоязыкового голосового перевода.

Ссылки по проекту

Домашняя страница проекта: https://voila.maitrix.org/

Модель: https://huggingface.co/collections/maitrix-org/voila-67e0d96962c19f221fc73fa5

Демо: https://huggingface.co/spaces/maitrix-org/Voila-demo

Статья: https://arxiv.org/abs/2505.02707

Репозиторий на GitHub: https://github.com/maitrix-org/Voila