Voicebox: 음성 생성 작업을 수행하는 생성형 AI 음성 모델 159

Voicebox는 Meta ai에서 개발한先进的 생성형 AI 음성 모델로, 음성 편집, 샘플링, 스타일링 등 음성 생성 작업을 수행할 수 있지만, 문맥 학습을 통해 이러한 작업을 수행하도록 특별히 훈련되지는 않았습니다.

Voicebox는 고품질 오디오 클립을 생성하고 사전 녹음된 오디오를 편집할 수 있으며(예: 자동차 경적 소리나 개 짖는 소리 제거), 동시에 오디오의 내용과 스타일을 유지합니다. 이 모델은 다국어를 지원하며 6개 언어로 음성을 생성할 수 있습니다.

Voicebox 기능 특징:

Voicebox의 다재다능함은 다음과 같은 다양한 작업을 가능하게 합니다:

• 문맥 기반 텍스트 음성 합성: 2초 분량의 오디오 샘플만 사용해도 Voicebox는 오디오더빙 스타일을 일치시켜 텍스트 음성 생성에 활용할 수 있습니다.

• 음성 편집 및 노이즈 제거: Voicebox는 소음에 의해 끊긴 음성 부분을 다시 생성하거나, 잘못 발음된 단어를 전체 음성을 다시 녹음할 필요 없이 교체할 수 있습니다. 예를 들어, 개 짖는 소리에 끊긴 음성 부분을 식별하고 잘라낸 다음 Voicebox에 해당 부분을 다시 생성하도록 지시할 수 있습니다 - 이는 마치 오디오 편집을 위한 지우개와 같습니다.

• 다국어 스타일 전송: 특정인의 음성 샘플과 영어, 프랑스어, 독일어, 스페인어, 폴란드어 또는 포르투갈어 텍스트가 주어지면, Voicebox는 샘플 음성과 텍스트가 서로 다른 언어인 경우에도 해당 언어 중 하나로 텍스트를 읽어줄 수 있습니다. 이 기능은 향후 서로 다른 언어를 사용하는 사람들이 자연스럽고 사실적인 방식으로 소통하는 데 도움을 줄 수 있습니다.

• 다양한 음성 샘플링: 다양한 데이터로부터 학습한 후, Voicebox는 실제 세계에서 사람들이 소통하는 방식과 앞서 언급한 6개 언어를 보다 잘 대표하는 음성을 생성할 수 있습니다.

Voicebox 장점:

• 先进的 노이즈 제거 및 스타일 변환 도구는 오디오 품질과 다재다능함을 향상시킵니다.

• 50,000시간 이상의 음성 데이터에 대한 광범위한 학습은 높은 정확도와 자연스러운 음성을 보장합니다.

• 6개 언어를 사용할 수 있는 능력은 글로벌 애플리케이션 및 다국어 작업에 이상적인 선택이 됩니다.

Voicebox 단점:

• 잠재적 오용으로 인한 제한된 가용성은 정당한 사용자와 개발자의 접근을 제한할 수 있습니다.

미래에는 Voicebox와 같은 다목적 생성형 인공지능 모델이 가상 비서와 가상 세계의 NPC에게 자연스러운 음성을 제공할 수 있습니다. 또한 시각장애인이 친구의 문자 메시지를 AI가 음성으로 읽어주는 것을 들을 수 있게 해주고, 창작자가 동영상 음轨를 쉽게 만들고 편집할 수 있는 새로운 도구를 제공하는 등 다양한 용도로 활용될 수 있습니다.

Voicebox는 생성형 인공지능 연구의 중요한 진전이며, 오디오 영역에서의 탐구를 계속하고 다른 연구자들이 우리의 작업을 기반으로 어떻게 발전시켜 나갈지 기대합니다.