Linly-Dubbing: AI 기반 지능형 다국어 비디오 더빙/번역 도구 129

Linly-Dubbing은 오픈 소스 다국어 AI 더빙 및 비디오 번역 도구입니다. Linly-Dubbing은 비디오를 자동으로 다른 언어로 번역하고 자막을 생성하며, 비디오 속 화자의 음성을 복제하여 자동으로 더빙하고 립싱크를 수행할 수 있습니다.

Linly-Dubbing 주요 특징:

• 비디오 자동 다운로드: YouTube 등 웹사이트에서 비디오 다운로드를 지원합니다.

• 다국어 지원: 중국어 및 여러 언어의 더빙 및 자막 번역을 지원합니다.

• AI 음성 인식: 정확한 음성 인식, 음성-텍스트 변환 및 화자 식별 기능을 제공합니다.

• LLM 번역: GPT 등 선도적인 대규모 언어 모델을 결합하여 빠르고 정확한 번역을 제공하며, 번역의 전문성과 자연스러움을 보장합니다.

• 음성 복제: 음성 복제 기술을 통해 원본 비디오 더빙과 매우 유사한 음성을 생성하여 감정과 어조의 일관성을 유지합니다.

• 립싱크: 립싱크를 유지함으로써 더빙이 비디오 화면과高度 일치하여, 비디오의 사실성과 상호작용성을 높입니다.

• 유연한 업로드 및 번역: 사용자는 비디오를 업로드하고 번역 언어 및 기준을 선택하여 개인화와 유연성을 보장할 수 있습니다.

Linly-Dubbing 기술 세부 사항

음성 인식

WhisperX: OpenAI Whisper 음성 인식 시스템의 확장으로, 음성 콘텐츠를 텍스트로 전사하고 비디오 프레임과 정확히 정렬하여 타임스탬프가 포함된 자막 파일을 생성하며, 다수의 화자 식별을 지원합니다.

FunASR: 음성 인식, 음성 활동 감지, 문장 부호 복구 등의 기능을 제공하는 종합 음성 인식 도구 키트로, 특히 중국어 음성에 최적화되어 있습니다.

음성 합성

Edge TTS, XTTS, CosyVoice 등 여러 최첨단 음성 합성 도구를 통합했습니다.

Edge TTS: 마이크로소프트에서 제공하는 고품질 텍스트 음성 변환 서비스로, 여러 언어와 음성 스타일을 지원하며 자연스럽고 매끄러운 음성 출력을 생성합니다.

XTTS: Coqui에서 제공하는 최첨단 딥러닝 텍스트 음성 변환 도구 키트로, 음성 복제와 다국어 음성 합성에 중점을 두며, 짧은 음성 클립을 통해 음성 복제와 사실적인 음성 출력을 생성할 수 있습니다.

CosyVoice: 알리바바 동의 실험실에서 개발한 다국어 음성 이해 및 합성 모델로, 여러 언어의 고품질 음성 합성과 언어 간 음성 복제를 지원합니다.

자막 번역

OpenAI API와 Qwen 모델을 사용하여 다국어 자막 번역을 수행합니다.

OpenAI API: OpenAI의 GPT-4 및 GPT-3.5-turbo를 사용하여 고품질 자막 번역을 수행합니다. 이러한 모델은 자연어 이해 및 텍스트 생성 능력으로 유명하며, 대화 생성과 텍스트 분석에 적합합니다.

Qwen: 다국어 번역을 지원하는 오픈 소스 로컬 대규모 언어 모델로, 여러 언어의 텍스트를 경제적이고 효율적으로 처리할 수 있습니다.

구글 번역: 광범위한 언어 지원과 양호한 번역 품질을 제공하는 번역 기능의 보충 역할을 하는 구글 번역을 통합했습니다.

음성 분리

Demucs 및 UVR5 기술을 사용하여 사람 음성과 반주를 분리합니다.

Demucs: Facebook 연구 팀이 개발한 음성 분리 모델로, 혼합 오디오에서乐器, 음성, 배경음 등 다양한 음원을 분리할 수 있습니다. 음악 제작 및 영화·TV 후반 제작에 널리 사용됩니다.

UVR5 (Ultimate Vocal Remover): 원본 스테레오에 가까운 반주를 추출할 수 있는 효율적인 음성 반주 분리 도구로, RX9, RipX, SpectraLayers 9 등 기타 유사 도구보다 성능이 우수합니다.

립싱크

Linly-Talker에서 영감을 받아, 우리는 디지털 휴먼 립싱크 기술에 중점을 두며, 컴퓨터 비전과 음성 인식 기술을 결합하여 가상 캐릭터의 립싱크를 더빙과 정확히 일치시켜高度 자연스러운 동기화 효과를 달성합니다. 이 기술은 애니메이션 캐릭터, 가상 진행자, 교육 비디오의 내레이션 등 다양한 시나리오에 적합합니다.

비디오 처리

Linly-Dubbing은 자막 추가, 배경 음악 삽입, 음량 및 재생 속도 조절 등의 기능을 제공하며, 사용자는 비디오 콘텐츠를 맞춤 설정하여 더 매력적이고 개인화할 수 있습니다.

yt-dlp 통합: yt-dlp는 YouTube 및 기타 웹사이트에서 비디오와 오디오를 다운로드하도록 설계된 강력하고 오픈 소스 명령 줄 도구입니다. 이 도구는 광범위한 매개변수 옵션을 갖추고 있어 사용자가 필요에 따라 다운로드 동작을 미세 조정할 수 있습니다. 특정 형식, 해상도를 선택하거나 오디오를 추출하는 등, yt-dlp는 유연한 솔루션을 제공합니다.