SpeechGPT 2.0-preview: первая голосовая диалоговая модель для интерактивного и контекстного интеллекта 126

Лаборатория OpenMOSS Фуданьского университета, открытая лаборатория искусственного интеллекта, представила первую открытую модель голосового диалога, ориентированную на взаимодействие в реальном времени и контекстный интеллект: SpeechGPT 2.0-preview. SpeechGPT 2.0-previewобучена на китайскоязычных речевых данных объёмом в миллион часов и использует сквозную архитектуру для глубокой интеграции голосовых и текстовых модальностей. Модель способна генерировать речь с различными эмоциями и стилями по команде, включая воспроизведение эмоций заданного персонажа.

I. Ключевые технологические прорывы

1. Сквозное моделирование речи

Модель использует совместное семантико-акустическое моделирование, напрямую обрабатывая речевой ввод и генерируя речевой или текстовый вывод без традиционных каскадных модулей ASR (распознавание речи) и TTS (синтез речи). Собственный сверхнизкобитрейтный потоковый речевой кодек (750 бит/с) сжимает речь до 75 токенов в секунду, а в сочетании с технологией Codec Patchify, объединяющей соседние по времени речевые токены в единый вектор, эффективно смягчаются конфликты при кросс-модальном моделировании, поддерживается потоковый ввод-вывод и обеспечивается взаимодействие в реальном времени с задержкой менее 200 мс.

2. Гибридное моделирование речи и текста

Модель использует многоэтапный процесс обучения:

• Предварительное обучение адаптации модальности: использование неразмеченных речевых данных для изучения характеристик речевой модальности;

• Кросс-модальная донастройка по инструкциям: повышение способности понимать инструкции с помощью крупномасштабного набора данных кросс-модальных инструкций (SpeechInstruct);

• Цепочечная модальная донастройка: оптимизация точности кросс-модальных преобразований, например, получение голосовой команды, её осмысление в текстовой форме и ответ голосом.

3. Выравнивание мультимодальных возможностей

Благодаря предварительному обучению с выравниванием речи и текста, в модели «эмерджентно» появляются обобщающие способности, которым она не была явно обучена, например, управление скоростью речи без данных о её корректировке или имитация не виданных ранее стилей и интонаций персонажей.

II. Функциональные возможности и производительность

1. Очеловеченный опыт взаимодействия

Контроль эмоций и стиля: точное управление множеством эмоций (например, слабость, радость), голосов (переключение мужского/женского) и стилей (декламация стихов, имитация диалекта); выраженные способности к ролевому взаимодействию;

2. Прерывание в реальном времени: время отклика на уровне сотен миллисекунд обеспечивает естественное мгновенное прерывание и продолжение разговора.

Интеллект и практичность

• Интеграция текстовых возможностей: наряду с выразительной речью сохраняется «интеллект» текстовой модели, поддерживается вызов инструментов, поиск в интернете, подключение внешних баз знаний и другие функции;

• Совместимость с множеством задач: способна обрабатывать длинные документы, вести многотуровые диалоги и т. д., при этом производительность при работе с короткими текстами не снижается из-за возможностей обработки длинного контекста.

3. Поддержка открытой экосистемы

Исходный код модели, веса и технический отчёт полностью открыты (лицензия Apache 2.0), доступны предобученные модели на Hugging Face и демонстрационный интерфейс на Gradio, поддерживается локальное развёртывание;

Интеграция с фреймворком vLLM оптимизирует эффективность вывода, механизм разреженного внимания снижает потребление памяти на 96,7% и повышает скорость обработки в 3–7 раз.

III. Сценарии применения

• Интеллектуальные ассистенты: голосовые помощники для обслуживания клиентов, образования или медицины с естественным речевым взаимодействием, например, для тренировки разговорной речи в реальном времени или эмоциональной поддержки;

• Создание контента: автоматическая генерация аудиокниг, декламации стихов или диалектного контента, расширение форм мультимедийного творчества;

• Доступная коммуникация: предоставление услуг преобразования речи в текст и синтеза речи в реальном времени для людей с нарушениями слуха или речи.

SpeechGPT 2.0-preview благодаря сквозной архитектуре и технологиям кросс-модального выравнивания обеспечивает низкую задержку, высокую реалистичность и мощный интеллект при голосовом взаимодействии, что стало важным прорывом открытого сообщества в области больших речевых моделей. Её открытая экосистема и адаптируемость к различным сценариям не только предоставляют разработчикам эффективный инструмент, но и способствуют эволюции взаимодействия человека и машины в сторону большей эмоциональности и естественности.

Репозиторий на Github:https://github.com/OpenMOSS/SpeechGPT-2.0-preview

Онлайн-демо:https://sp2.open-moss.com (проверил — немного подтормаживает, при смехе прерывается, но в целом довольно естественно, хотя отвечает не по теме)