Kokoro TTS: высокопроизводительная модель преобразования текста в речь (TTS) с открытым исходным кодом 101

Kokoro TTS — это открытая, лёгкая и высокопроизводительная модель преобразования текста в речь (TTS) с 82 миллионами параметров, основанная на архитектуре StyleTTS 2. Она обеспечивает качественный и естественный синтез речи, подходит для аудиокниг, подкастов и других задач, став звёздным продуктом в области TTS.

Функции Kokoro TTS

• Высококачественный синтез речи: Kokoro TTS преобразует текст в естественную и плавную речь, поддерживая множество языков, включая американский и британский английский, французский, японский, корейский и китайский.

• Многоязычная поддержка: поддерживает американский английский, британский английский, французский, корейский, японский и китайский (мандарин) и другие языки.
  

• Разнообразие голосовых стилей: Kokoro TTS не только генерирует естественную и плавную речь, но и поддерживает особые стили, такие как шёпот, а также 10 различных голосовых пакетов, охватывающих разный пол и характеристики.

• Низкое потребление ресурсов: Kokoro TTS имеет всего 82 миллиона параметров, что значительно меньше, чем у многих популярных TTS-моделей, поэтому она эффективно работает на обычных компьютерах.

• Генерация в реальном времени: Kokoro TTS поддерживает генерацию речи в реальном времени, позволяя пользователям мгновенно получать нужный голосовой вывод.

• Поддержка различных форматов ввода: данный инструмент поддерживает различные форматы ввода, включая текстовые файлы и электронные книги (например, EPUB).

Ключевые особенности Kokoro TTS:

Лёгкость и высокая производительность

Имея всего 82 миллиона параметров, Kokoro TTS благодаря оптимизированной гибридной архитектуре StyleTTS 2 и ISTFTNet обеспечивает качество речи, сопоставимое с крупными моделями с миллиардами параметров (такими как MetaVoice и XTTS)37. Полностью декодерная конструкция отказывается от традиционной структуры кодировщика, снижает вычислительную сложность и обеспечивает синтез почти в реальном времени на CPU и ускорение на GPU710.

• Скорость и эффективность: скорость синтеза ниже 100 мс, поддержка граничных вычислений и развёртывания на устройствах с ограниченными ресурсами.

• Многоязычная поддержка: в настоящее время основное внимание уделяется английскому языку (американскому/британскому), однако архитектура поддерживает дальнейшее расширение на китайский, французский, японский и другие языки.

Открытый исходный код и коммерческое использование

• Используется лицензия Apache 2.0, разрешающая бесплатное коммерческое использование и доработку, что подходит как для индивидуальных разработчиков, так и для корпоративной интеграции. На платформе Hugging Face доступны веса модели и документация по развёртыванию, что снижает порог входа.

Разнообразие голосовых стилей

• Предлагается более 10 предобученных голосовых пакетов (например, Bella, Adam, Sarah), охватывающих разный пол и акценты, поддерживаются особые стили, такие как шёпот, что расширяет выразительные возможности.

Технические преимущества kokoroTTS:

Архитектурные инновации:Сочетание управления просодией StyleTTS 2 и эффективной генерации спектрограмм ISTFTNet не требует диффузионных моделей, снижает потребление вычислительных ресурсов и при этом обеспечивает высококачественное звучание.

Обучение и соответствие данных:Основано на курируемом наборе данных объёмом 100 часов; источники данных включают общедоступные аудиозаписи и соответствующий требованиям синтетический контент, что гарантирует безопасность авторских прав.

Гибкость развёртывания:Поддерживается оптимизация через ONNX Runtime, возможно локальное или облачное развёртывание без зависимости от GPU, совместимость с Docker, FastAPI и другими инструментами, предоставляется REST API интерфейс.

Сценарии применения kokoroTTS:

• Системы интерактивного взаимодействия в реальном времени: например, голосовые помощники и ответы в службе поддержки, использующие низкую задержку для мгновенной голосовой обратной связи710.

• Создание контента: озвучка аудиокниг, рекламы, генерация голосов игровых персонажей с возможностью выбора индивидуальных тембров712.

• Сервисы доступности: предоставление поддержки преобразования текста в речь для слабовидящих пользователей, услуги чтения текста, помогающие им получать информацию.

• Образование и медиа: объяснение материалов онлайн-курсов, создание подкастов, генерация многоязычных учебных видео или обучающего аудиоконтента.

• Игры и виртуальная реальность: в играх и приложениях виртуальной реальности Kokoro TTS может обеспечивать персонажей естественной речью.

• Преобразование электронных книг в аудиокниги Kokoro: легко превращайте свою библиотеку электронных книг в качественные аудиокниги — даже для малоизвестных изданий это возможно благодаря естественным многоязычным голосам Kokoro.
  

Быстрый старт

• Загрузите с Github, установите зависимости через pip или npm;

• Клонируйте модель Kokoro TTS с Hugging Face и загрузите голосовые пакеты;

• Вызовите API для генерации аудио с частотой дискретизации 24 кГц, поддерживается работа на локальных или граничных устройствах.

Благодаря открытому исходному коду и дружественной коммерческой лицензии Kokoro TTS обладает конкурентным преимуществом на рынке, особенно в коммерческих приложениях, требующих высококачественного синтеза речи.

Связанные материалы:

llasa 3B TTS: модель преобразования текста в речь (TTS) на основе архитектуры LLaMA

Рекомендации: 10 отличных open-source TTS-моделей голоса

Seed-TTS: высококачественная модель преобразования текста в речь (TTS), разработанная ByteDance