Krillin AI: Herramienta profesional de traducción, doblaje y clonación de voz basada en LLMs 128

¿Qué es Krillin ai?

Krillin AI es una herramienta profesional basada en modelos de lenguaje grandes (LLMs) para traducción de vídeo, doblaje y clonación de voz, con un flujo de trabajo completo desplegable con un solo clic. Permite generar contenido adaptado para plataformas como Douyin, Xiaohongshu, Bilibili, Video Account (WeChat), TikTok y YouTube Shorts, y es compatible con Bilibili. Ofrece traducción en 56 idiomas, incluidos chino, inglés, japonés, alemán y turco, entre otros. Gracias a su flujo de extremo a extremo, los usuarios pueden transformar material original en contenido multiplataforma con solo unos clics.

Características y funcionalidades de Krillin AI

• Flujo completo con un solo clic: sin necesidad de configuraciones complejas, instalación automática de dependencias; desde la descarga del vídeo hasta la salida del producto final se completa con un solo clic.

• Soporte multilingüe: traducción en 56 idiomas, cubriendo los principales idiomas del mundo.

• Adaptación multiplataforma: formatos de contenido adaptados para Douyin, Xiaohongshu, Bilibili, TikTok, YouTube y otras plataformas.

• Obtención de vídeos: integra yt-dlp, compatible con la descarga de vídeos desde YouTube, Bilibili y otras plataformas, además de permitir la carga de vídeos locales.

• Reconocimiento y traducción de subtítulos: utiliza el modelo Whisper para reconocimiento de subtítulos de alta precisión, compatible con servicios de voz y modelos grandes de proveedores principales como OpenAI y Alibaba Cloud.

• División y alineación inteligente de subtítulos: emplea un algoritmo propio para dividir y alinear los subtítulos de forma inteligente, evitando desajustes y la pérdida de contexto.

• Sustitución personalizada de vocabulario: permite reemplazar vocabulario con un solo clic, adaptándose al estilo lingüístico de dominios específicos.

• Traducción profesional: motor de traducción por párrafos completos que garantiza coherencia contextual y semántica.

• Doblaje y clonación de voz: opcionalmente se pueden elegir voces predeterminadas masculinas o femeninas para generar el doblaje del vídeo traducido, o bien cargar muestras de audio locales para clonar una voz y utilizarla en la locución.

• Composición de vídeo: genera con un solo clic vídeos en formato horizontal y vertical, gestionando automáticamente los subtítulos que excedan el ancho.

Escenarios de aplicación de Krillin AI

• Amantes del cine y las series: rompe las barreras lingüísticas y permite a los aficionados disfrutar del mundo audiovisual global.

• Creadores de contenido: ahorra tiempo y costes, produciendo rápidamente versiones multilingües de contenido en vídeo.

• Formación corporativa y comunicación internacional: ayuda a las empresas multinacionales a traducir rápidamente vídeos formativos y traduce intervenciones en tiempo real durante conferencias internacionales.

Tutorial de uso de Krillin AI

1. Instalación y arranque: sin configuraciones complejas, simplemente instala e inicia Krillin AI.

2. Importación de vídeo: descarga vídeos mediante el yt-dlp integrado, o sube un vídeo local.

3. Reconocimiento y traducción de subtítulos: elige el idioma de destino y Krillin AI realizará automáticamente el reconocimiento y la traducción de los subtítulos.

4. Doblaje y composición: selecciona una voz para el doblaje o sube una muestra de audio para clonar la voz, y luego genera el vídeo con un solo clic.

Pasos básicos para instalar Krillin AI

1. Descarga del archivo ejecutable:

• Visita la página de Release de Krillin AI y busca el archivo ejecutable que se corresponda con el sistema de tu dispositivo (por ejemplo, versión Windows o macOS).

• Coloca el archivo descargado en una carpeta vacía.

2. Configuración del archivo de configuración:

• Crea una carpeta llamada config dentro de la carpeta.

• Crea un archivo llamado config.toml dentro de la carpeta config.

• Copia el contenido del archivo config-example.toml del directorio config del código fuente de Krillin AI y pégalo en el archivo config.toml.

• Rellena la información de configuración según tus necesidades. Si necesitas usar el modelo de OpenAI pero no sabes cómo obtener una API Key, puedes unirte al grupo de QQ proporcionado por el proyecto para probarlo de forma gratuita.

3. Inicio del servicio:

• Haz doble clic en el archivo ejecutable, o ejecútalo en la terminal para iniciar el servicio.

• Abre el navegador e introduce http://127.0.0.1:8888 (si has cambiado el puerto en el archivo de configuración, utiliza el puerto que hayas establecido).

Proyecto en Github:https://github.com/krillinai/KrillinAI