Hibiki: Kyutai Labs에서 개발한 고정밀 실시간 음성 번역 모델 108

Hibiki는 Kyutai Labs에서 개발한 프랑스어와 영어를 지원하는 고정밀 실시간 음성 번역 모델로, 원래 음성의 특징을 유지하면서 실시간 번역을 할 수 있으며, 듣는 동시에 번역하여 동시통역처럼 실시간으로 출력하고, 음성과 텍스트 번역을 동시에 생성합니다.

Hibiki 기능 특징:

• 다중 스트림 언어 모델 아키텍처: Hibiki는 Moshi와 유사한 다중 스트림 아키텍처를 채택하여, 소스 언어와 대상 언어의 음성을 동시에 처리함으로써 음성 대 음성(S2ST)과 음성 대 텍스트(S2TT)의 원활한 변환을 구현합니다.

• 음성 특징 보존: Hibiki 모델의 큰亮点은 생성된 음성이 비교적 자연스럽고 부드럽게 들리며, 인간의 일반적인 말하기 방식에 가깝다는 점입니다.

• 자동 속도 조절: Hibiki는 소스 언어의 의미 내용에 따라 번역된 음성의 속도를 지능적으로 조절하여, 번역의流畅성과 정확성을 보장합니다.

• 실시간 번역: 짧은 시간 내에 음성 대 음성 또는 음성 대 텍스트 번역 변환을 완료할 수 있습니다. 예를 들어跨国 여행交流 시 한쪽이 한 문장을说完하면, 거의 즉시 번역된 결과를 얻어 재생할 수 있어 매우 편리합니다.

• 디바이스에서 실행되는 소형 모델: Hibiki-M은 Hibiki의 경량화 버전으로, 17억 개의 파라미터를 갖추고 있어 iPhone과 같은 모바일 디바이스에서 실시간으로 실행될 수 있으며, 클라우드 처리에 의존하지 않아 모델 최적화 및 압축 기술의先進성을 보여줍니다.

• 적응형 번역: Hibiki는 다양한 억양의 음성 입력을 비교적 정확하게 식별할 수 있습니다. 예를 들어, 표준 영국식 영어, 미국식 영어, 또는 지역적 지지를 갖춘 인도식 영어 등 모두 가능합니다.

• 다국어 지원: 프랑스어와 영어 외에도, Hibiki의 다중 스트림 오디오-텍스트 언어 모델은 다른 언어 번역으로 확장될 수 있어, 응용의 유연성과 적응성을 높입니다.

Hibiki 기술:

Hibiki는 정밀한 동기화 알고리즘을 통해 한 언어의 음성을 빠르게 다른 언어의 음성 또는 텍스트로 번역하는 디코딩 모델입니다. 이 기술의 핵심은 다중 스트림 언어 모델로, 음성 인식과 번역 과정에서 실시간으로 오디오와 텍스트 출력을 생성할 수 있습니다. 또한, Hibiki는 음성 특징 전이를 지원하여, 번역 과정에서 화자의 어조와 감정을 보존하여 번역 효과가 더 자연스럽고真实하게 만듭니다.

다만, 음성 데이터 전송과 클라우드 컴퓨팅 처리가 필요하기 때문에 네트워크 요구 사항이 높습니다. 네트워크 신호가 좋지 않으면 인식 오류나 번역 지연 현상이 발생할 수 있습니다.

Hibiki 응용 시나리오:

• 비즈니스 회의:跨国 비즈니스 인사를 위해 회의나 비즈니스 만찬 등의场合에서, Hibiki는与会자가 즉시 번역할 수 있도록 돕고, 언어 장벽을 해소합니다.

• 온라인 교육: 교육 플랫폼에서 Hibiki는 실시간 음성 번역을 제공하여, 다양한 언어 배경을 가진 학생들이 더 나은 학습과 교류를 할 수 있도록 돕습니다.

• 여행 번역: 해외 여행 시 관광객이 현지인과 간단한 교류(길 묻기, 주문 등)를 할 수 있도록 편리합니다. 관광객은 모바일에 자신의需求을 말하면 번역된 음성 또는 텍스트 답변을 얻을 수 있습니다.

• 의사-환자 소통: 병원과 같은 장소에서 Hibiki는 의사와 환자 간의 소통을 보조할 수 있습니다.

GitHub: https://github.com/kyutai-labs/hibiki

HuggingFace: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

arXiv 논문: https://arxiv.org/pdf/2502.03382