Zonos-TTS: многоязычная модель преобразования текста в речь с клонированием голоса и управлением эмоциями 229

Zonos-TTS — это модель преобразования текста в речь (TTS), выпущенная компанией Zyphraai. Она поддерживает клонирование голоса в реальном времени и многоязычное управление эмоциями, обеспечивая превосходное качество звука.

Основные функции Zonos-TTS:

• Многоязычная поддержка: модель Zonos-TTS поддерживает не только английский язык, но и делает особый акцент на многоязычной поддержке, включая китайский.

• Клонирование голоса в реальном времени: выдающейся особенностью Zonos является функция высококачественного клонирования голоса — достаточно всего от 5 до 30 секунд образца аудио, чтобы воспроизвести голос говорящего.

• Управление эмоциями и персонализация: пользователи могут настраивать эмоциональную окраску выводимой речи, такую как радость, страх, грусть и гнев, а также скорость речи, изменения тона и качество звука, что обеспечивает высокую степень индивидуализации синтеза речи. Кроме того, при использовании текстовых и аудио префиксов, когда пользователь предоставляет аудио-эмбеддинги или аудио-префиксы говорящего, качество генерации речи значительно повышается.

Технические особенности Zonos-TTS:

• Обучающие данные: модель обучена на 200 000 часах англоязычных речевых данных и демонстрирует выдающуюся производительность.

• Варианты развёртывания: поддерживается локальное развёртывание и доступ через API, что обеспечивает гибкость использования.

• Гибкость эмоций и диалектов: поддерживается детальное управление эмоциями и настройка акцентов.

Сценарии использования Zonos-TTS:

• Персонализированные ассистенты: генерация голоса конкретного человека.

• Клонирование голоса: возможность создания голоса конкретного человека на основе небольшого количества аудиообразцов.

• Образование и обучение: генерация речи с различными акцентами и интонациями помогает учащимся улучшать языковые навыки и произношение.

• Создание креативного контента: в рекламе, подкастах и производстве аудиокниг высококачественная сгенерированная речь повышает привлекательность видеоматериалов.

ZyphraAI предоставляет бесплатный сервис с возможностью генерации 100 минут аудио в месяц. Пользователи профессиональной версии могут выбрать тарифный план 300 минут за 5 долларов США, при этом превышение лимита тарифицируется по 0,02 доллара за минуту.

GitHub: https://github.com/Zyphra/Zonos