대본 기획 도우미▸ 
AI 앱 
AI 뉴스 Krillin AI: LLM 기반 프로급 영상 번역, 더빙 및 음성 클로닝 도구
小编 ·
Krillin AI: LLM 기반 프로급 영상 번역, 더빙 및 음성 클로닝 도구
Krillin ai란 무엇인가요?
Krillin AI는 대형 언어 모델(LLMs) 기반의 전문급 비디오 번역, 더빙 및 음성 클로닝 도구로, 원 클릭으로 전체 워크플로를 배포할 수 있으며, Douyin, Xiaohongshu, Bilibili, WeChat Channels, TikTok, YouTube Shorts 등 플랫폼에 적합한 콘텐츠를 생성할 수 있습니다. Bilibili를 지원하며, 중국어, 영어, 일본어, 독일어, 튀르키예어 등 56개 언어의 번역을 지원합니다. 엔드 투 엔드 워크플로를 통해 사용자는 몇 번의 클릭만으로 원본 영상을 멀티 플랫폼 콘텐츠로 변환할 수 있습니다.
Krillin AI 기능 특징
원 클릭으로 전체 워크플로 시작: 복잡한 설정 없이 의존성을 자동으로 설치하며, 비디오 다운로드부터 최종 출력까지 원 클릭으로 완료됩니다.
다국어 지원: 전 세계 주요 언어를 아우르는 56개 언어의 번역을 지원합니다.
멀티 플랫폼 지원: Douyin, Xiaohongshu, Bilibili, TikTok, YouTube 등 멀티 플랫폼 콘텐츠 형식을 지원합니다.
비디오 수집: yt-dlp를 통합하여 YouTube, Bilibili 등 플랫폼에서 비디오를 다운로드하거나 로컬 비디오를 업로드할 수 있습니다.
자막 인식 및 번역: Whisper 모델을 사용하여 고정밀 자막 인식을 수행하며, OpenAI, Alibaba Cloud 등 주요 공급업체의 음성 및 대형 모델 서비스를 지원합니다.
지능형 자막 분할 정렬: 자체 개발 알고리즘을 활용하여 자막을 지능적으로 분할하고 정렬하여 오정렬 및 문맥 손실을 방지합니다.
맞춤 어휘 대체: 특정 분야의 언어 스타일에 맞춰 한 번의 클릭으로 어휘를 대체할 수 있습니다.
전문급 번역: 단락 번역 엔진을 통해 문맥 일관성과 의미적连贯성을 보장합니다.
더빙 및 음성 클로닝: 기본 남성 및 여성 음색으로 번역된 비디오 내레이션을 생성하거나, 로컬 오디오 샘플을 업로드하여 음색을 클로닝하여 내레이션을 수행할 수 있습니다.
비디오 합성: 가로 및 세로 비디오를 원 클릭으로 합성하며, 너비 초과 자막을 자동으로 처리합니다.
Krillin AI 활용 시나리오
영상 애호가: 언어 장벽을 허물어 영상 애호가들이 전 세계 영상 세계를 자유롭게 탐험할 수 있도록 합니다.
크리에이터: 시간과 비용을 절약하고 다국어 버전의 비디오 콘텐츠를 빠르게 제작합니다.
기업 교육 및 국제 교류: 다국적 기업이 교육 비디오를 빠르게 번역하도록 지원하며, 국제 회의에서 발언을 실시간으로 번역합니다.
Krillin AI 사용 튜토리얼
설치 및 시작: 복잡한 설정 없이 Krillin AI를 직접 설치하고 시작합니다.
비디오 가져오기: 통합된 yt-dlp를 통해 비디오를 다운로드하거나 로컬 비디오를 업로드합니다.
자막 인식 및 번역: 대상 언어를 선택하면 Krillin AI가 자동으로 자막 인식 및 번역을 수행합니다.
더빙 및 합성: 더빙 음색을 선택하거나 오디오 샘플을 업로드하여 음성을 클로닝한 다음, 비디오를 원 클릭으로 합성합니다.
Krillin AI 설치 기본 단계
1. 실행 파일 다운로드:
Krillin AI의 Release 페이지에 접속하여 기기 시스템에 맞는 실행 파일(예: Windows 또는 macOS 버전)을 찾습니다.
다운로드한 파일을 빈 폴더에 넣습니다.
2. 설정 파일 구성:
폴더 내에 config라는 이름의 폴더를 생성합니다.
config 폴더 내에 config.toml이라는 이름의 파일을 생성합니다.
Krillin AI 소스 코드의 config 디렉터리에서 config-example.toml 파일의 내용을 복사하여 config.toml 파일에 붙여넣습니다.
필요에 따라 설정 정보를 입력합니다. OpenAI 모델을 사용해야 하지만 API Key를 가져오는 방법을 모르는 경우, 프로젝트에서 제공하는 QQ 그룹에 가입하여 무료로 체험할 수 있습니다.
3. 서비스 시작:
실행 파일을 더블 클릭하거나 터미널에서 해당 파일을 실행하여 서비스를 시작합니다.
브라우저를 열고 http://127.0.0.1:8888을 입력합니다(설정 파일에서 포트를 변경한 경우 설정한 포트를 사용하십시오).
Github 프로젝트:https://github.com/krillinai/KrillinAI
