Hotshot : générez des vidéos 720P jusqu'à 10 secondes 207

Hotshot a lancé un modèle d'IA capable de générer des clips de 10 secondes d'une résolution de 1280 x 720 pixels.

Cette startup a lancé lundi ce modèle, également connu sous le nom de Hotshot, en version préliminaire publique. Il rejoint la liste croissante de générateurs de vidéos par intelligence artificielle disponibles sur le marché. OpenAI, Runway ML Inc. et de nombreuses autres startups proposent également des modèles capables de générer de courts clips à partir des invites des utilisateurs.

Hotshot avait lancé l'année dernière une application grand public de génération d'images par IA. Selon VentureBeat, la société semble avoir fermé ce service pour se concentrer sur le domaine émergent de la génération de vidéos par IA. Hotshot serait soutenue par SV Angel, l'investisseur providentiel Lachy Groom, et Alexis Ohanian, cofondateur de Reddit Inc.

La société a passé plusieurs mois à développer son dernier modèle de génération de vidéos. Dans le cadre de ce projet, elle a créé trois réseaux de neurones distincts : le modèle Hotshot principal et deux autres réseaux de neurones qui ont aidé à préparer le jeu de données d'entraînement pour le générateur de vidéos par IA.

Principales fonctionnalités de Hotshot :

• Conversion de texte en vidéo : les utilisateurs peuvent saisir une description textuelle, telle qu'une scène, un personnage ou une action, et Hotshot génère automatiquement une vidéo de 3 secondes.

• Génération de vidéos HD d'une durée maximale de 10 secondes : cet outil est capable de générer des clips de 10 secondes d'une résolution de 1280 x 720 pixels.

• Génération de GIFs animés : grâce à la dernière technologie de génération d'images, Hotshot peut convertir des descriptions textuelles complexes en animations GIF réalistes.

• Sortie vidéo sans filigrane : les vidéos générées par les utilisateurs gratuits ne comportent pas de filigrane, offrant ainsi plus de liberté aux créateurs.
  

Lors de la première phase du programme, Hotshot a compilé un référentiel contenant 600 millions de clips, accompagnés de sous-titres décrivant leur contenu. Elle a combiné ces clips avec un milliard d'images pour créer le jeu de données d'entraînement de son modèle de génération de vidéos. Les membres de l'équipe Hotshot, John Mullan, Duncan Crawbuck, Chaitu Aluru et Aakash Sastry, ont déclaré : « Nous savions que nous souhaitions entraîner conjointement le modèle sur des images et des vidéos, afin de tirer parti des données d'images accessibles au public, bien plus abondantes que les vidéos. » dans un article de blog explicatif.

Lors de la phase suivante du projet, la société a développé un modèle d'IA pour générer des sous-titres pour les vidéos de son jeu de données d'entraînement. Les sous-titres peuvent aider le réseau de neurones à mieux comprendre les clips sur lesquels il s'entraîne. Les connaissances supplémentaires ainsi acquises par l'IA améliorent la qualité de ses résultats.

Hotshot a constaté que les modèles de génération de sous-titres disponibles sur le marché ne répondaient pas à ses besoins. En réponse, la société a pris l'un de ces modèles existants et l'a personnalisé sur un jeu de données d'entraînement contenant 300 000 clips accompagnés de sous-titres créés manuellement. « Quelques semaines plus tard, nous disposions d'un sous-titreur vidéo que nous étions ravis d'utiliser pour annoter nos plusieurs centaines de millions d'échantillons vidéo », a détaillé l'équipe Hotshot.

Le deuxième modèle d'IA auxiliaire que la société a construit pour soutenir le développement du générateur de vidéos est un autoencodeur. Cet algorithme peut prendre un ensemble de données (dans ce cas, une vidéo) et supprimer les détails non nécessaires à l'entraînement de l'IA. La suppression des informations redondantes permet de réduire les besoins de stockage et donc les coûts.

Après avoir préparé les modèles d'autoencodeur et de sous-titres, Hotshot a passé quatre mois à entraîner son générateur de vidéos par IA. La société a utilisé plusieurs milliers de processeurs graphiques H100 de Nvidia, accumulant des millions d'heures de traitement au cours du projet.

Les ingénieurs de Hotshot ont appliqué plusieurs optimisations pour réduire les besoins en infrastructure des sessions d'entraînement. La société a stocké de nombreux fichiers utilisés dans le projet au format bfloat16, qui permet de compresser les données 32 bits en 16 bits afin d'économiser de l'espace de stockage. De plus, elle a pré-exécuté certains calculs normalement effectués pendant l'entraînement, afin de mieux exploiter la puissance de traitement des puces Nvidia.

Le nouveau modèle d'IA de Hotshot est accessible dans le cadre de son service gratuit de génération de vidéos disponible sur son site web. La société prévoit également de mettre ce modèle à la disposition des développeurs via une interface de programmation d'application.

Le modèle de génération de vidéos par IA de Hotshot est actuellement entré en phase publique de « prévisualisation ». Les utilisateurs peuvent découvrir gratuitement ce modèle sur le site officiel de Hotshot, mais il convient de noter que le nombre de générations quotidiennes est limité à deux vidéos.

Adresse officielle de Hotshot :https://hotshot.co/