Hibiki: высококачественная модель синхронного перевода речи от Kyutai Labs 104

Hibiki — это модель высококачественного перевода речи в реальном времени, разработанная Kyutai Labs, поддерживающая французский и английский языки. Она позволяет сохранять характеристики исходного голоса и выполнять перевод в реальном времени — слушая и переводя одновременно, подобно синхронному переводчику, с мгновенным выводом как голосового, так и текстового перевода.

Функциональные особенности Hibiki:

• Архитектура многонаправленной языковой модели: Hibiki использует многонаправленную архитектуру, аналогичную Moshi, что позволяет ей одновременно обрабатывать речь на исходном и целевом языках, обеспечивая бесшовное преобразование «речь-в-речь» (S2ST) и «речь-в-текст» (S2TT).

• Сохранение голосовых характеристик: одной из ключевых особенностей модели Hibiki является то, что сгенерированная речь звучит довольно естественно и плавно, приближаясь к обычной человеческой манере разговора.

• Автоматическая регулировка темпа речи: Hibiki интеллектуально адаптирует темп переведённой речи в зависимости от смыслового содержания исходного языка, обеспечивая плавность и точность перевода.

• Перевод в реальном времени: позволяет за короткое время выполнить преобразование речи в речь или речи в текст. Например, при общении в международной поездке, как только один собеседник заканчивает фразу, почти мгновенно получается переведённый результат, который воспроизводится — очень удобно, не правда ли?

• Компактная модель для работы на устройстве: Hibiki-M — это облегчённая версия Hibiki, содержащая 1,7 миллиарда параметров, способная работать в реальном времени на мобильных устройствах, таких как iPhone, без зависимости от облачной обработки, что демонстрирует передовые технологии оптимизации и сжатия моделей.

• Адаптивный перевод: Hibiki способен достаточно точно распознавать речевой ввод с различными акцентами. Например, будь то стандартный британский английский, американский английский или индийский английский с местным колоритом.

• Поддержка множества языков: помимо французского и английского, многонаправленная аудио-текстовая языковая модель Hibiki может быть расширена для перевода на другие языки, что повышает гибкость и адаптивность её применения.

Технология Hibiki:

Hibiki — это модель декодирования, которая благодаря точным алгоритмам синхронизации способна быстро переводить речь с одного языка на другой в виде голоса или текста. Ключевой особенностью этой технологии является многонаправленная языковая модель, которая позволяет в процессе распознавания и перевода речи генерировать аудио- и текстовый вывод в реальном времени. Кроме того, Hibiki поддерживает перенос голосовых характеристик, сохраняя интонацию и эмоции говорящего в процессе перевода, что делает результат более естественным и реалистичным.

Однако из-за необходимости передачи голосовых данных и облачных вычислений модель предъявляет высокие требования к сети. При слабом сетевом сигнале могут возникать ошибки распознавания или задержки перевода.

Сценарии применения Hibiki:

• Деловые встречи: для специалистов в международном бизнесе — на переговорах или деловых ужинах Hibiki помогает участникам осуществлять мгновенный перевод, устраняя языковой барьер.

• Онлайн-образование: на образовательных платформах Hibiki способен обеспечивать перевод речи в реальном времени, помогая студентам с разным языковым фоном лучше учиться и общаться.

• Туристический перевод: во время зарубежных поездок облегчает туристам простое общение с местными жителями — например, при расспросах о дороге или заказе еды. Турист может произнести свой запрос прямо в телефон и получить переведённый голосовой или текстовый ответ.

• Медицинское общение: в больницах и других учреждениях Hibiki может помогать врачам в общении с пациентами.

GitHub: https://github.com/kyutai-labs/hibiki

HuggingFace: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

Статья на arXiv: https://arxiv.org/pdf/2502.03382