Hotshot: genera vídeos de hasta 10 segundos en 720P 206

Hotshot ha presentado un modelo de ia capaz de generar clips de 10 segundos con una resolución de 1280 x 720 píxeles.

La startup lanzó el lunes dicho modelo, también conocido como Hotshot, en versión de prelanzamiento público. Se une a la creciente lista de generadores de inteligencia artificial de vídeos disponibles en el mercado. OpenAI, Runway ML Inc. y muchas otras startups también ofrecen modelos capaces de generar cortometrajes a partir de las indicaciones del usuario.

El año pasado, Hotshot lanzó una aplicación de generación de imágenes con IA orientada al consumidor. Según informó VentureBeat, la empresa parece haber cerrado dicho servicio para centrarse en el emergente campo de la generación de vídeo. Según los informes, Hotshot cuenta con el respaldo de SV Angel, del inversor ángel Lachy Groom y del cofundador de Reddit Inc., Alexis Ohanian.

La empresa dedicó varios meses a desarrollar su último modelo de generación de vídeo. Como parte de dicho proyecto, creó tres redes neuronales diferentes: el modelo principal de Hotshot y otras dos redes neuronales que ayudan a preparar el conjunto de datos de entrenamiento del generador de vídeo con IA.

Principales funciones de Hotshot:

• Conversión de texto a vídeo: los usuarios pueden introducir descripciones de texto, como escenas, personajes o acciones, y Hotshot generará automáticamente un vídeo de 3 segundos.

• Generación de vídeos en alta definición de hasta 10 segundos: esta herramienta es capaz de generar clips de 10 segundos con una resolución de 1280 x 720 píxeles.

• Generación de animaciones GIF: utilizando la tecnología más avanzada de generación de imágenes, Hotshot puede convertir descripciones de texto complejas en animaciones GIF realistas.

• Salida de vídeo sin marca de agua: los vídeos generados por los usuarios gratuitos no llevan marca de agua, lo que ofrece a los creadores una mayor libertad.
  

En la primera fase de su plan, Hotshot recopiló un repositorio de 600 millones de clips, acompañados de subtítulos que describen su contenido. Combinó dichos clips con mil millones de imágenes para crear el conjunto de datos de entrenamiento del modelo de generación de vídeo. Los miembros del equipo de Hotshot, John Mullan, Duncan Crawbuck, Chaitu Aluru y Aakash Sastry, declararon: "Sabíamos que queríamos entrenar conjuntamente el modelo con imágenes y vídeos, para aprovechar los datos de imágenes públicamente accesibles, que son mucho más abundantes que los de vídeo". Así lo explicaron en una entrada de blog.

En la siguiente fase del proyecto, la empresa desarrolló un modelo de inteligencia artificial que genera los subtítulos de los vídeos de su conjunto de datos de entrenamiento. Los subtítulos pueden ayudar a la red neuronal a comprender mejor los clips con los que se está entrenando. Los conocimientos adicionales que la IA recopila de este modo mejoran la calidad de su salida.

Hotshot descubrió que los modelos de generación de subtítulos disponibles en el mercado no satisfacían sus requisitos. En respuesta, la empresa adoptó uno de esos modelos existentes y lo personalizó con un conjunto de datos de entrenamiento compuesto por 300.000 clips con subtítulos creados manualmente. "Semanas después, teníamos un generador de subtítulos de vídeo con el que estábamos encantados de anotar nuestros cientos de millones de muestras de vídeo", detallaron desde el equipo de Hotshot.

El segundo modelo de IA auxiliar que la empresa construyó para respaldar el desarrollo del generador de vídeo es un autocodificador. Este algoritmo toma un fragmento de datos (en este caso, un vídeo) y elimina los detalles innecesarios para el entrenamiento de la IA. Eliminar la información redundante reduce los requisitos de almacenamiento, lo que a su vez abarata los costes.

Una vez preparados el autocodificador y el modelo de subtítulos, Hotshot dedicó cuatro meses a entrenar su generador de vídeo con IA. La empresa utilizó miles de unidades de procesamiento gráfico H100 de Nvidia, acumulando millones de horas de procesamiento a lo largo del proyecto.

Los ingenieros de Hotshot aplicaron varias optimizaciones para reducir los requisitos de infraestructura de las ejecuciones de entrenamiento. La empresa almacenó muchos de los archivos utilizados en el proyecto en formato bfloat16, que comprime los datos de 32 bits a 16 bits para ahorrar espacio de almacenamiento. Además, adelantó algunos cálculos que normalmente se realizan durante el proceso de entrenamiento, con el fin de aprovechar mejor la capacidad de procesamiento de los chips de Nvidia.

La nueva IA de Hotshot está disponible como parte de su servicio gratuito de generación de vídeo en su sitio web. La empresa también planea ofrecer el modelo a los desarrolladores a través de una interfaz de programación de aplicaciones.

El modelo de generación de vídeo con IA de Hotshot ya se encuentra en una fase de "prelanzamiento" pública; los usuarios pueden probar este modelo de forma gratuita en el sitio web oficial de Hotshot, aunque conviene tener en cuenta que el número de generaciones diarias está limitado a dos vídeos.

Dirección del sitio web oficial de Hotshot:https://hotshot.co/