Krillin AI:LLMベースのプロ向け動画翻訳・吹き替え・音声クローンツール 129

小编 ·

Krillin AI:LLMベースのプロ向け動画翻訳・吹き替え・音声クローンツール

Krillin AIは、大規模言語モデル(LLM)をベースにしたプロ向けの動画翻訳・吹き替え・音声クローンツールです。フルパイプラインをワンクリックでデプロイでき、抖音、小红書、Bilibili、微信視頻号、TikTok、YouTube Shortsなどのプラットフォームに最適化されたコンテンツを生成します。Bilibiliにも対応し、中国語、英語、日本語、ドイツ語、トルコ語など56言語の翻訳をサポート。エンドツーエンドのワークフローにより、数クリックで生素材をクロスプラットフォーム向けコンテンツに変換できます。

Krillin AI:LLMベースのプロ向け動画翻訳・吹き替え・音声クローンツール

Krillin aiとは?

Krillin AIは、大規模言語モデル(LLMs)をベースとしたプロフェッショナル向けの動画翻訳・吹き替え・音声クローンツールで、ワンクリックで全工程をデプロイできます。抖音、小红書、哔哩哔哩、視頻号、TikTok、YouTube Shortsなどのプラットフォームに適応したコンテンツを生成でき、B站にも対応しています。また、中国語、英語、日本語、ドイツ語、トルコ語など56言語の翻訳をサポートしており、エンドツーエンドのワークフローにより、ユーザーは数回クリックするだけで、元の素材をクロスプラットフォーム向けコンテンツに変換できます。

Krillin AI:LLMsベースのプロフェッショナル向け動画翻訳・吹き替え・音声クローン

Krillin AIの主な機能

  • ワンクリックで全工程を起動:複雑な設定は不要で、依存関係も自動インストール。動画のダウンロードから最終出力までワンクリックで完了します。

  • 多言語サポート:56言語の翻訳に対応し、世界の主要言語をカバーしています。

  • マルチプラットフォーム対応:抖音、小红書、哔哩哔哩、TikTok、YouTubeなど複数プラットフォームのコンテンツ形式に適応します。

  • 動画取得:yt-dlpを統合し、YouTube、Bilibiliなどからの動画ダウンロードに対応。ローカル動画のアップロードも可能です。

  • 字幕認識と翻訳:Whisperモデルによる高精度な字幕認識を採用し、OpenAIや阿里雲などの主要プロバイダーの音声および大規模モデルサービスをサポートします。

  • 字幕のスマート分割とアライメント:自社開発アルゴリズムにより字幕を智能的に分割・整列し、ズレや文脈の欠落を防ぎます。

  • カスタム単語置換:特定分野の言語スタイルに適応するため、ワンクリックで単語を置き換えできます。

  • プロフェッショナル翻訳:段落全体を翻訳するエンジンにより、文脈の一貫性と意味のつながりを確保します。

  • 吹き替えと音声クローン:デフォルトの男性・女性ボイスから選択して翻訳後の動画ナレーションを生成するか、ローカル音声サンプルをアップロードしてクローン音声で読み上げることができます。

  • 動画合成:横画面・縦画面動画をワンクリックで合成し、幅オーバーの字幕も自動処理します。

Krillin AI:LLMsベースのプロフェッショナル向け動画翻訳・吹き替え・音声クローン

Krillin AIの活用シーン

  • 映像愛好家:言語の壁を越え、世界中の映像作品を自由に楽しめます。

  • クリエイター:時間とコストを節約し、多言語バージョンの動画コンテンツを迅速に制作できます。

  • 企業研修と国際交流:多国籍企業の研修動画を迅速に翻訳し、国際会議での発言をリアルタイムに翻訳します。

Krillin AIの使い方

  1. インストールと起動:複雑な設定は不要で、Krillin AIをインストールしてそのまま起動します。

  2. 動画のインポート:統合されたyt-dlpで動画をダウンロードするか、ローカル動画をアップロードします。

  3. 字幕認識と翻訳:ターゲット言語を選択すると、Krillin AIが自動的に字幕認識と翻訳を行います。

  4. 吹き替えと合成:ナレーション音声を選択するか、音声サンプルをアップロードして音声クローンを行い、動画をワンクリックで合成します。

Krillin AIの基本的なインストール手順

1. 実行ファイルのダウンロード:

  • Krillin AIのReleaseページにアクセスし、お使いのデバイスOSに合った実行ファイル(Windows版やmacOS版など)を見つけます。

  • ダウンロードしたファイルを空のフォルダーに配置します。

2. 設定ファイルの構成:

  • フォルダー内に「config」という名前のフォルダーを作成します。

  • configフォルダー内に「config.toml」という名前のファイルを作成します。

  • Krillin AIのソースコードのconfigディレクトリにあるconfig-example.tomlの内容をコピーし、config.tomlファイルに貼り付けます。

  • 必要に応じて設定情報を記入します。OpenAIモデルを使用したいがAPI Keyの取得方法がわからない場合は、プロジェクトが提供するQQグループに参加すれば無料で試用できます。

3. サービスの起動:

  • 実行ファイルをダブルクリックするか、ターミナルで実行してサービスを起動します。

  • ブラウザーを開き、http://127.0.0.1:8888(設定ファイルでポートを変更した場合は設定したポート)を入力します。

Githubリポジトリ:https://github.com/krillinai/KrillinAI