PengChengStarling: многоязычная система распознавания речи с открытым исходным кодом от лаборатории Pengcheng 112

PengChengStarling — это многоязычная система распознавания речи с открытым исходным кодом, разработанная лабораторией Peng Cheng (鹏城实验室). Она поддерживает распознавание речи в реальном времени «на лету»: достаточно начать говорить — и система сразу же распознаёт речь. Система применяется в таких областях, как преобразование записей международных конференций в текст, автоматическое создание субтитров для многоязычных видео, а также в многоязычных системах обслуживания.

PengChengStarling разработана на базе проекта icefall. Размер модели составляет всего 20% от размера Whisper-Large v3, однако скорость вывода в 7 раз выше. Система поддерживает 8 языков: китайский, английский, русский, вьетнамский, японский, тайский, индонезийский и арабский, и способна обрабатывать речевой ввод на нескольких языках в рамках единой платформы, что значительно повышает эффективность распознавания речи.

Функции PengChengStarling:

• Размер модели и производительность: размер модели PengChengStarling составляет всего 20% от размера Whisper-Large v3, что делает её более эффективной с точки зрения хранения и вычислительных ресурсов.

• Скорость вывода: скорость вывода системы PengChengStarling в 7 раз выше, чем у Whisper-Large v3, что позволяет обрабатывать речевой ввод за более короткое время и подходит для сценариев применения в реальном времени.

• Многоязычная поддержка: PengChengStarling поддерживает до 8 языков, включая китайский, английский, русский, вьетнамский, японский, тайский, индонезийский и арабский, что позволяет удовлетворить потребности различных пользователей.

• Архитектура модели: используется архитектура RNN-T, состоящая из трёх модулей — Encoder, Decoder и Joiner; речевой кодировщик построен на базе Zipformer.

• Повышение производительности: по сравнению с Whisper-Large v3 система PengChengStarling демонстрирует сопоставимую или лучшую производительность на 6 языках, коэффициент реального времени (RTF) составляет 0,016, а скорость вывода увеличена почти в 7 раз.

Сценарии применения PengChengStarling:

• Интеллектуальные ассистенты: может быть интегрирована в интеллектуальные ассистенты для распознавания голосовых команд и формирования ответов.

• Клиентское обслуживание: в центрах обслуживания клиентов технология распознавания речи позволяет повысить скорость и точность ответов на обращения клиентов.

• Образовательная сфера: в приложениях для изучения языков и образовательных приложениях помогает учащимся в отработке произношения и языковом общении.

• Протоколирование совещаний: транскрибирует выступления в реальном времени во время совещаний, повышая эффективность работы.

• Многоязычный перевод: в сочетании с системами перевода обеспечивает многоязычное общение в реальном времени.

PengChengStarling демонстрирует отличные результаты при оценке производительности, особенно в сравнении с Whisper-Large v3: по показателям потокового распознавания речи на шести языках она достигает сопоставимых или лучших результатов. Кроме того, объём обучающих данных для каждого языка составляет около 2000 часов, основными источниками которых являются открытые наборы данных, что обеспечивает очень прочную основу для многоязычной работы.

На практике PengChengStarling также может использоваться для адаптивных технологий распознавания речи, которые персонализируют настройку на основе голосовых характеристик пользователя, повышая точность распознавания. Особенно это заметно в условиях сильного шума.

GitHub: https://github.com/yangb05/PengChengStarling

HuggingFace: https://huggingface.co/stdo/PengChengStarling