Voila: 오픈소스 엔드투엔드 AI 음성 모델 70

小编 · 2025-05-07

Voila는 엔드투엔드 AI 음성 모델로, 풀 듀플렉스 기술을 통해 듣기와 말하기를 동시에 처리하며 낮은 지연 시간을 자랑합니다. 응답 지연이 단 195ms에 불과해 인간의 평균 반응 속도보다 빠르며, 기존의 파이프라인 시스템을 대체합니다.

Voila: 오픈소스 엔드투엔드 AI 음성 모델

Voila란 무엇인가요?

Voila는 종단간(end-to-end) ai 음성 모델로, 전이중(full-duplex) 기술을 채택하여 동시에 듣고 말할 수 있으며, 지연 시간이 매우 낮습니다. 응답 지연 시간이 단 195밀리초에 불과하여 인간의 평균 반응 시간보다 빠르며, 기존의 파이프라인 시스템을摒弃했습니다.

이 모델은 100만 종 이상의 음성을 미리 갖추고 있으며, 자동 음성 인식(ASR), 텍스트 음성 변환(TTS), 다국어 음성 번역 등 다양한 기능을 지원합니다. 또한 Voila는 자율적인 실시간 대화를 구현하며, 지속적으로 청취하고 추론하여 사용자에게 능동적으로 응답합니다. 사용자는 텍스트 명령을 통해 화자의 정체성, 어조 등의 특징을 정의하여 보다 개인화되고 자연스러운 음성 상호작용 경험을 구현할 수 있습니다.

Voila：开源的端到端AI语音模型.jpg

Voila 기능 특징

저지연 및 전이중 대화: Voila는 전이중, 저지연 대화를 구현하며, 응답 지연 시간이 단 195밀리초에 불과하여 인간의 평균 반응 시간을 초월합니다.
음성 디테일 보존: 억양, 리듬, 감정 등 풍부한 음성 디테일을 보존할 수 있습니다.
계층적 다중 스케일 Transformer 아키텍처: 대규모 언어 모델(LLMs)의 추론 능력과 강력한 음향 모델링을 결합하여 자연스럽고 캐릭터 인식이 가능한 음성 생성을 구현하며, 사용자는 텍스트 명령만으로 화자의 정체성, 어조 및 기타 특징을 정의할 수 있습니다.
강력한 음성 맞춤 설정 기능: 100만 종 이상의 사전 제작된 음성을 지원하며, 단 10초 길이의 오디오 샘플로도 새로운 음성을 효율적으로 맞춤 설정할 수 있습니다.
통합 모델 디자인: 자동 음성 인식(ASR), 텍스트 음성 변환(TTS), 소량의 적응을 거친 다국어 음성 번역을 포함한 광범위한 음성 응용에 적합합니다.

기술 원리

고충실도, 저지연, 실시간 스트리밍 오디오 처리: 저지연 대화를 구현하고 음성 디테일을 보존합니다.
음성 및 언어 모델링 능력의 효율적 통합: 텍스트 및 음성 모델링을 결합하여 상호작용의 자연스러움을 향상시킵니다.
수백만 종의 사전 구축 및 맞춤 설정 음성: 대화 중 빠른 음성 전환을 지원하여 풍부한 상호작용 경험을 제공합니다.
통합 모델, 다양한 오디오 작업에 적용 가능: 하나의 모델이 다양한 오디오 작업을 지원하여 개발 및 배포 비용을 절감합니다.

Voila：一款开源的端到端AI语音模型.jpg

Voila 응용 시나리오

음성 비서: 지능형 음성 비서 역할을 하여 자율적, 실시간이며 풍부한 감정 표현 방식으로 인간과 상호작용하며, 지속적으로 청취하고 추론하여 능동적으로 응답함으로써 원활하고 역동적이며 감정적으로 공명하는 상호작용 경험을 촉진합니다.
음성 역할 수행: 역할 수행 등 시나리오에서 사용자는 화자의 정체성, 어조 및 기타 특징을 정의하여 자연스럽고 캐릭터 인식이 가능한 음성 생성을 구현할 수 있습니다.
다국어 음성 번역: 소량의 적응을 거친 후 다국어 음성 번역에 사용할 수 있습니다.