Llasa: TTS на базе Llama с естественной и выразительной генерацией голоса 211

Что такое Llasa?

Llasa — это система преобразования текста в речь (TTS) с открытым исходным кодом, разработанная Аудиолабораторией Гонконгского университета науки и технологий.Она основана на архитектуре LLaMA и использует технологию голосовых токенов XCodec2, что позволяет генерировать высококачественную, естественно звучащую и выразительную речь, улучшая естественность синтеза речи, точность просодии и выразительность эмоций. Результат генерации получается достаточно естественным.

Ключевые функции Llasa

• Высококачественный синтез речи: способна генерировать естественно звучащую речь с поддержкой китайского и английского языков, отличаясь высокой естественностью и выразительностью эмоций.

• Эмоциональная выразительность: может синтезировать речь с эмоциональной окраской — радостью, грустью, гневом и т. д., делая её более живой и естественной.

• Клонирование голоса: для точного клонирования голоса достаточно всего 15-секундного образца — сохраняются оригинальный тембр и эмоциональные характеристики.

• Обучение без примеров (zero-shot): позволяет выполнять синтез речи для ранее не встречавшихся дикторов или эмоций без дополнительной тонкой настройки.

• Поддержка длинных текстов: способна обрабатывать объёмные текстовые входные данные и генерировать связный речевой вывод, что подходит для аудиокниг, голосовых оповещений и других сценариев.

Технические принципы Llasa

• Архитектура: основана на однослойном векторно-квантованном (VQ) кодеке и единственной архитектуре Transformer, полностью совместимой со стандартной моделью LLaMA.

• Токенизатор речи: использует XCodec2 для кодирования аудиосигнала в дискретные токены, сохраняя семантическую и акустическую информацию.

• Масштабирование обучения и вывода: увеличение размера модели (например, 1B, 3B, 8B параметров) или объёма обучающих данных (например, 250 000 часов речевых данных) повышает естественность речи и выразительность эмоций.

• Авторегрессионная генерация: голосовые токены генерируются последовательно, что обеспечивает согласованность речи с входным текстом на семантическом и просодическом уровнях.

Версии моделей Llasa

Llasa выпускается в версиях с 1B, 3B и 8B параметрами, поддерживает китайский и английский языки и способна удовлетворить потребности различных аппаратных ресурсов и сценариев применения.

Сценарии применения Llasa

Подходит для виртуальной реальности, игр, вспомогательных сервисов, клиентской поддержки, образования, а также для создания аудиокниг или голосовых ассистентов.

• Интеллектуальные голосовые ассистенты: Llasa TTS обеспечивает естественное голосовое взаимодействие для умных устройств или программного обеспечения, улучшая пользовательский опыт.

• Аудиокниги и онлайн-образование: преобразует текстовый контент в живую речь для производства аудиокниг и онлайн-обучения, позволяя учащимся обучаться с помощью аудирования.

• Голосовые оповещения и клиентская поддержка: Llasa TTS может использоваться для новостных сводок, уведомлений о дорожной обстановке и систем клиентской поддержки, повышая эффективность передачи информации.

• Игры и развлечения: позволяет создавать персонализированное голосовое сопровождение для персонажей или виртуальных аватаров, усиливая эффект погружения.

• Реклама и маркетинг: компании могут использовать Llasa TTS для генерации рекламных голосовых сообщений, повышая эффективность брендовых коммуникаций.

• Клонирование голоса и создание контента: Llasa TTS поддерживает клонирование голоса без примеров — достаточно примерно 15-секундного аудиообразца для воссоздания тембра и эмоций конкретного человека. Это может применяться для рекламной озвучки, видеопроизводства или создания персонализированного голосового контента.

Репозиторий на GitHub:https://github.com/zhenye234/LLaSA_training

Коллекция моделей на HuggingFace:https://huggingface.co/collections/HKUSTAudio/llasa

Демо онлайн:https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts