Llasa: Llama 기반 자연스럽고 감정 표현이 풍부한 TTS 223

Llasa란 무엇인가요?

Llasa는 홍콩과기대학교(HKUST) 오디오 랩이 개발한 오픈소스 텍스트 음성 변환(TTS) 시스템으로, LLaMA 아키텍처를 기반으로 하며 XCodec2 음성 토큰 기술을 결합하여 고품질의 자연스럽고 유창하며 감정이 풍부한 음성을 생성할 수 있습니다. 음성 합성의 자연스러움, 운율 정확도 및 감정 표현 능력을 향상시켜 비교적 자연스러운 생성 효과를 제공합니다.

Llasa의 핵심 기능

• 고품질 음성 합성: 자연스럽고 유창한 음성을 생성할 수 있으며, 중국어와 영어 이중 언어를 지원하고 음성의 자연스러움과 감정 표현이 뛰어납니다.

• 감정 표현: 기쁨, 슬픔, 분노 등 다양한 감정 색채를 담은 음성을 합성할 수 있어 더 자연스럽고 생동감 있게 들립니다.

• 음성 클로닝: 단 15초의 음성 샘플만으로 음성을 고정확도로 클로닝하여 원래 음색과 감정 특징을 그대로 유지합니다.

• 제로샷 학습: 이전에 접하지 못한 화자나 감정에 대해서도 추가 미세 조정 없이 음성 합성이 가능합니다.

• 긴 텍스트 지원: 긴 텍스트 입력을 처리하여连贯한 음성을 생성할 수 있으며, 오디오북, 음성 방송 등의场景에 적합합니다.

Llasa의 기술 원리

• 아키텍처: 단일 층 벡터 양자화(VQ) 코덱과 단일 Transformer 아키텍처를 기반으로 하며, 표준 LLaMA 모델과 완전히 정렬됩니다.

• 음성 토크나이저: XCodec2를 사용하여 음성 파형을 이산 토큰으로 인코딩하여 의미 정보와 음향 정보를 보존합니다.

• 학습 및 추론 확장: 모델 규모(예: 1B, 3B, 8B 파라미터)나 학습 데이터 양(예: 25만 시간의 음성 데이터)을 늘려 음성의 자연스러움과 감정 표현 능력을 향상시킵니다.

• 자기회귀 생성: 음성 토큰을 하나씩 생성하여 입력 텍스트와 의미 및 운율 면에서 일치하는 음성을 보장합니다.

Llasa 모델 버전

Llasa에는 1B, 3B, 8B 파라미터 버전이 있으며 중국어와 영어를 지원하여 다양한 하드웨어 자원과 응용 시나리오 요구 사항을 충족합니다.

Llasa의 응용 시나리오

가상 현실, 게임, 접근성 서비스, 고객 서비스, 교육 분야는 물론 오디오북이나 음성 어시스턴트 제작에도 적합합니다.

• 지능형 음성 어시스턴트: Llasa TTS는 스마트 기기나 소프트웨어가 자연스럽고 유창한 음성 상호작용 기능을 갖도록 하여 사용자 경험을 향상시킵니다.

• 오디오북 및 온라인 교육 분야: 텍스트 내용을 생동감 있는 음성으로 변환하여 오디오북 제작과 온라인 교육에 활용할 수 있으며, 학생들이 청취를 통해 학습하는 데 편리합니다.

• 음성 방송 및 고객 서비스: Llasa TTS는 뉴스 방송, 교통 정보 안내, 고객 서비스 시스템에 사용되어 정보 전달을 더욱 효율적으로 만듭니다.

• 게임 및 엔터테인먼트: 캐릭터나 가상 아바타에 개성 있는 음성을 부여하여 몰입감을 높일 수 있습니다.

• 광고 및 마케팅: 기업이 Llasa TTS를 사용하여 광고 음성을 생성함으로써 브랜드 홍보 효과를 높일 수 있습니다.

• 음성 클로닝 및 콘텐츠 제작: Llasa TTS는 제로샷 음성 클로닝을 지원하며, 약 15초 정도의 오디오 샘플만으로 특정 인물의 음색과 감정을 클로닝할 수 있어 광고 더빙, 영상 제작 또는 개성 있는 음성 콘텐츠 제작에 활용할 수 있습니다.

GitHub 저장소:https://github.com/zhenye234/LLaSA_training

HuggingFace 모델 라이브러리:https://huggingface.co/collections/HKUSTAudio/llasa

온라인 체험 Demo:https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts