IndexTTS: модель преобразования текста в речь от Bilibili на базе XTTS и Tortoise 115

Модель TTS от Bilibili на базе XTTS и Tortoise с индустриальными возможностями zero-shot TTS. Для китайского языка используется гибридная символ-пиньин-модель, позволяющая быстро исправлять ошибки произношения.

#Ai工具箱 #Ai开源项目

Перейти IndexTTS: модель преобразования текста в речь от Bilibili на базе XTTS и Tortoise

IndexTTS: модель преобразования текста в речь от Bilibili на базе XTTS и TortoiseОписание

IndexTTS — это модель преобразования текста в речь, разработанная Bilibili на основе XTTS и Tortoise, обладающая промышленными возможностями zero-shot TTS. Для китайскоязычных сценариев инновационно применяется посимвольно-пиньинь смешанное моделирование, позволяющее быстро исправлять ошибки произношения. Сочетание кондиционного кодировщика Conformer и декодера BigVGAN2 повышает стабильность обучения, точность воспроизведения тембра и качество выходного звука.

IndexTTS: модель преобразования текста в речь, разработанная Bilibili на основе XTTS и Tortoise

Основные функции:

✅ Поддержка китайского и английского языков

✅ Коррекция произношения с помощью пиньинь: ввод пиньинь для корректировки произношения омофонов (например, для «长» можно указать «zhǎng» или «cháng»)

✅ Управление паузами с помощью пунктуации: управление ритмом речевых пауз через знаки пунктуации

✅ Улучшение качества звука: кодировщик Conformer извлекает характеристики тембра, декодер BigVGAN2 повышает качество генерации波形

✅ Раздельное управление эмоциями: независимая регулировка эмоциональной выразительности и тембра говорящего

✅ Точный контроль длительности: поддержка двух режимов — заданного количества меток или авторегрессионной генерации

Технические особенности:

✅ Смешанное моделирование для китайского языка: входной слой совместим с чистым текстом / смешанным вводом пиньинь, автоматическое предсказание непомеченного пиньинь, снижение частоты ошибок на словах

✅ Кодировщик Conformer: объединение свёрточных механизмов и механизма самовнимания, усиление моделирования тембра и просодии

✅ Декодер BigVGAN2: генератор波形 на основе архитектуры GAN, сочетающий вычислительную эффективность и качество звука

Основные преимущества:

✓ Точное произношение омофонов

✓ Естественный ритм пауз

✓ Высококачественный звук

✓ Быстрое клонирование голоса

✓ Поддержка китайского и английского языков

Типичные сценарии применения:

Синтезированная речь IndexTTS отличается естественными и насыщенными эмоциями, приближенными к человеческим, и широко применяется в таких сценариях, как интеллектуальные ассистенты | аудиокниги | озвучка видео | интеллектуальная поддержка клиентов | образовательные инструменты и др.

Производительность

✓ Естественность и согласованность: по показателям естественности, согласованности контента и клонирования голоса zero-shot IndexTTS демонстрирует значительные улучшения по сравнению с существующими моделями, такими как XTTS.

✓ Эффективность обучения и вывода: процесс обучения относительно прост, скорость вывода выше, производительность превосходит основные открытые TTS-системы, такие как Fish-Speech, CosyVoice2, FireRedTTS, F5-TTS.

✓ Утилизация кодовой книги: по сравнению с векторным квантованием (VQ) и конечным квантованием Шура (FSQ) решена проблема коллапса кодовой книги, утилизация приближается к 100%.