ChatTTS-Forge: комплексный инструмент для TTS 205

ChatTTS-Forge — это проект, разработанный вокруг генеративных моделей TTS, предоставляющий пользователям гибкие возможности генерации TTS с поддержкой множества голосов, управления стилем, обработки длинных текстов и других функций. ChatTTS-Forge предлагает различные API (интерфейсы программирования приложений), которые разработчики могут напрямую использовать для лёгкого преобразования текста в речь.

ChatTTS-Forge — это проект, разработанный вокруг генеративных моделей TTS (преобразование текста в речь). Он предоставляет пользователям гибкие возможности генерации TTS с поддержкой множества голосов, управления стилем, обработки длинных текстов и других функций.

ChatTTS-Forge предлагает различные API (интерфейсы программирования приложений), которые разработчики могут напрямую использовать для лёгкого преобразования текста в речь. Кроме того, он предоставляет удобный веб-интерфейс (WebUI), позволяющий пользователям вводить текст и генерировать речь прямо на веб-странице без программирования.

Основные особенности ChatTTS-Forge:

• Генерация TTS: поддержка инференса множества моделей TTS, включая ChatTTS, CosyVoice, FishSpeech, GPT-SoVITS и другие, пользователи могут свободно выбирать и переключать голоса.

• Управление голосами: встроено множество голосов, также возможна загрузка пользовательских голосов. Пользователи могут создавать и использовать собственные голоса путём загрузки аудио или текста.

• Управление стилем: предоставляются различные опции управления стилем, включая настройку скорости речи, высоты тона, громкости, а также добавление усилителя речи (Enhancer) для повышения качества вывода.

• Обработка длинных текстов: поддержка автоматического разбиения и инференса сверхдлинных текстов, возможность генерации длинного аудиоконтента.

• Поддержка SSML: использование XML-подобного синтаксиса SSML для расширенного управления синтезом TTS, подходящего для более детализированных сценариев генерации речи.

• ASR (автоматическое распознавание речи): интеграция модели Whisper с поддержкой функции преобразования речи в текст.

Технологии и методы ChatTTS-Forge:

API-сервер: API-сервер, написанный на Python, обеспечивает эффективный сервис TTS с поддержкой нескольких параллельных запросов и пользовательских конфигураций.

WebUI: пользовательский интерфейс на основе Gradio, позволяющий пользователям работать с функциями TTS через простой интерфейс.

Поддержка Docker: предоставляются варианты контейнеризации с Docker для упрощения развёртывания как локально, так и на серверах.

Особенности ChatTTS-Forge WebUI:

• TTS (текст в речь): через WebUI пользователи могут использовать различные модели TTS для ввода текста и генерации речи.

• Переключение голосов: поддержка переключения между множеством предустановленных голосов, пользователи могут выбирать разные голоса для генерации речи.

• Загрузка пользовательских голосов: пользователи могут загружать свои собственные голосовые файлы и в реальном времени генерировать персонализированную речь.

• Управление стилем: можно настраивать стиль речи, включая такие параметры, как скорость речи, высота тона, громкость и другие, для генерации речи, отвечающей конкретным требованиям.

• Обработка длинных текстов: поддержка обработки очень длинных текстов с автоматическим разбиением их на небольшие фрагменты и последовательной генерацией речи, что подходит для создания длинного аудиоконтента.

• Пакетная обработка: пользователи могут настраивать размер пакета для повышения скорости инференса при обработке длинных текстов.

• Рафинёр: этот инструмент позволяет тонко настраивать текст для оптимизации генерируемой речи, что особенно полезно при работе с текстами неограниченной длины.

• Усиление речи: интегрированная модель усиления для повышения качества генерируемой речи и придания ей более естественного звучания.

• История генераций: сохраняются последние 3 результата генерации, что позволяет пользователям сравнивать качество речи при разных настройках.

• Поддержка нескольких моделей: WebUI поддерживает множество моделей TTS, включая ChatTTS, CosyVoice, FishSpeech, GPT-SoVITS и другие, пользователи могут выбирать подходящую модель в соответствии со своими потребностями.

• Поддержка SSML: использование XML-подобного синтаксиса SSML для управления процессом синтеза речи, подходящее для сценариев, требующих более сложного управления.

• Инструмент для подкастов: помогает пользователям создавать длинноформатный многоголосый аудиоконтент из сценариев блогов.

• Генерация субтитров: создание SSML-скриптов из файлов субтитров для генерации различного голосового контента.

GitHub: https://github.com/lenML/ChatTTS-Forge

Онлайн-версия: https://huggingface.co/spaces/lenML/ChatTTS-Forge