Krillin AI:LLMベースのプロ向け動画翻訳・吹き替え・音声クローンツール
Krillin aiとは?
Krillin AIは、大規模言語モデル(LLMs)をベースとしたプロフェッショナル向けの動画翻訳・吹き替え・音声クローンツールで、ワンクリックで全工程をデプロイできます。抖音、小红書、哔哩哔哩、視頻号、TikTok、YouTube Shortsなどのプラットフォームに適応したコンテンツを生成でき、B站にも対応しています。また、中国語、英語、日本語、ドイツ語、トルコ語など56言語の翻訳をサポートしており、エンドツーエンドのワークフローにより、ユーザーは数回クリックするだけで、元の素材をクロスプラットフォーム向けコンテンツに変換できます。

Krillin AIの主な機能
ワンクリックで全工程を起動:複雑な設定は不要で、依存関係も自動インストール。動画のダウンロードから最終出力までワンクリックで完了します。
多言語サポート:56言語の翻訳に対応し、世界の主要言語をカバーしています。
マルチプラットフォーム対応:抖音、小红書、哔哩哔哩、TikTok、YouTubeなど複数プラットフォームのコンテンツ形式に適応します。
動画取得:yt-dlpを統合し、YouTube、Bilibiliなどからの動画ダウンロードに対応。ローカル動画のアップロードも可能です。
字幕認識と翻訳:Whisperモデルによる高精度な字幕認識を採用し、OpenAIや阿里雲などの主要プロバイダーの音声および大規模モデルサービスをサポートします。
字幕のスマート分割とアライメント:自社開発アルゴリズムにより字幕を智能的に分割・整列し、ズレや文脈の欠落を防ぎます。
カスタム単語置換:特定分野の言語スタイルに適応するため、ワンクリックで単語を置き換えできます。
プロフェッショナル翻訳:段落全体を翻訳するエンジンにより、文脈の一貫性と意味のつながりを確保します。
吹き替えと音声クローン:デフォルトの男性・女性ボイスから選択して翻訳後の動画ナレーションを生成するか、ローカル音声サンプルをアップロードしてクローン音声で読み上げることができます。
動画合成:横画面・縦画面動画をワンクリックで合成し、幅オーバーの字幕も自動処理します。

Krillin AIの活用シーン
映像愛好家:言語の壁を越え、世界中の映像作品を自由に楽しめます。
クリエイター:時間とコストを節約し、多言語バージョンの動画コンテンツを迅速に制作できます。
企業研修と国際交流:多国籍企業の研修動画を迅速に翻訳し、国際会議での発言をリアルタイムに翻訳します。
Krillin AIの使い方
インストールと起動:複雑な設定は不要で、Krillin AIをインストールしてそのまま起動します。
動画のインポート:統合されたyt-dlpで動画をダウンロードするか、ローカル動画をアップロードします。
字幕認識と翻訳:ターゲット言語を選択すると、Krillin AIが自動的に字幕認識と翻訳を行います。
吹き替えと合成:ナレーション音声を選択するか、音声サンプルをアップロードして音声クローンを行い、動画をワンクリックで合成します。
Krillin AIの基本的なインストール手順
1. 実行ファイルのダウンロード:
Krillin AIのReleaseページにアクセスし、お使いのデバイスOSに合った実行ファイル(Windows版やmacOS版など)を見つけます。
ダウンロードしたファイルを空のフォルダーに配置します。
2. 設定ファイルの構成:
フォルダー内に「config」という名前のフォルダーを作成します。
configフォルダー内に「config.toml」という名前のファイルを作成します。
Krillin AIのソースコードのconfigディレクトリにあるconfig-example.tomlの内容をコピーし、config.tomlファイルに貼り付けます。
必要に応じて設定情報を記入します。OpenAIモデルを使用したいがAPI Keyの取得方法がわからない場合は、プロジェクトが提供するQQグループに参加すれば無料で試用できます。
3. サービスの起動:
実行ファイルをダブルクリックするか、ターミナルで実行してサービスを起動します。
ブラウザーを開き、http://127.0.0.1:8888(設定ファイルでポートを変更した場合は設定したポート)を入力します。
Githubリポジトリ:https://github.com/krillinai/KrillinAI
脚本プランナー▸
AIアプリ
AIニュース 