Hotshot: Bis zu 10 Sekunden 720P-Videos generieren 202

Hotshot hat ein ai-Modell vorgestellt, das 10-Sekunden-Clips mit einer Auflösung von 1280 x 720 Pixeln erzeugen kann.

Das Startup stellte das Modell, ebenfalls Hotshot genannt, am Montag als Public Preview vor. Es reiht sich damit in die wachsende Zahl von KI-Videogeneratoren auf dem Markt ein. OpenAI, Runway ML Inc. und zahlreiche weitere Startups bieten ebenfalls Modelle an, die in der Lage sind, anhand von Nutzereingaben kurze Clips zu erzeugen.

Hotshot brachte im vergangenen Jahr eine KI-Bildgenerierungsanwendung für Endverbraucher auf den Markt. Wie VentureBeat berichtet, hat das Unternehmen diesen Dienst offenbar eingestellt, um sich auf den entstehenden Bereich der Video-Generierung zu konzentrieren. Berichten zufolge wird Hotshot von SV Angel, dem Angel-Investor Lachy Groom und dem Mitgründer von Reddit Inc., Alexis Ohanian, unterstützt.

Das Unternehmen hat mehrere Monate damit verbracht, das neueste Video-Generierungsmodell zu entwickeln. Im Rahmen dieses Projekts wurden drei verschiedene neuronale Netze erstellt: das zentrale Hotshot-Modell und zwei weitere, die bei der Aufbereitung der Trainingsdatensätze für den KI-Videogenerator helfen.

Die wichtigsten Funktionen von Hotshot:

• Text-zu-Video-Konvertierung: Nutzer können Textbeschreibungen wie Szenen, Charaktere oder Aktionen eingeben, und Hotshot erzeugt automatisch ein 3-Sekunden-Video.

• Erzeugung von HD-Videos mit bis zu 10 Sekunden Länge: Das Werkzeug kann 10-Sekunden-Clips mit einer Auflösung von 1280 x 720 Pixeln erzeugen.

• Erzeugung von GIF-Animationen: Mithilfe der neuesten Bildgenerierungstechnologie kann Hotshot komplexe Textbeschreibungen in realistische GIF-Animationen umwandeln.

• Videowiedergabe ohne Wasserzeichen: Für kostenlose Nutzer erzeugte Videos enthalten kein Wasserzeichen, was den Erstellern mehr Freiheit bietet.
  

In der ersten Phase des Projekts stellte Hotshot ein Archiv mit 600 Millionen Clips zusammen, jeweils mit Untertiteln, die deren Inhalt beschreiben. Diese Clips kombinierte das Unternehmen mit einer Milliarde Bildern, um den Trainingsdatensatz für das Video-Generierungsmodell zu erstellen. Die Hotshot-Teammitglieder John Mullan, Duncan Crawbuck, Chaitu Aluru und Aakash Sastry erklärten in einem Blogbeitrag: „Wir wussten, dass wir das Modell gemeinsam auf Bildern und Videos trainieren wollten, um die viel umfangreicheren, öffentlich zugänglichen Bilddaten nutzen zu können.“

In der nächsten Phase des Projekts entwickelte das Unternehmen ein KI-Modell, das für die Videos in seinem Trainingsdatensatz Untertitel erzeugt. Untertitel können dem neuronalen Netz helfen, die Clips, auf denen es trainiert wird, besser zu verstehen. Das zusätzliche Wissen, das die KI so sammelte, verbesserte die Qualität ihrer Ergebnisse.

Hotshot stellte fest, dass die auf dem Markt vorhandenen Untertitel-Generierungsmodelle seinen Anforderungen nicht gerecht wurden. Als Reaktion darauf nahm das Unternehmen eines der bestehenden Modelle und passte es auf einem Trainingsdatensatz mit 300.000 Clips mit manuell erstellten Untertiteln an. „Einige Wochen später hatten wir einen Video-Untertiteler, und wir waren begeistert, ihn zur Annotation unserer Hunderte Millionen von Videobeispielen zu verwenden“, so das Hotshot-Team ausführlich.

Das zweite unterstützende KI-Modell, das das Unternehmen zur Unterstützung der Entwicklung des Videogenerators entwickelte, ist ein Autoencoder. Dieser Algorithmus nimmt einen Datensatz (in diesem Fall Videos) und entfernt Details, die für das KI-Training nicht erforderlich sind. Das Entfernen überflüssiger Informationen kann die Speicheranforderungen senken und so die Kosten reduzieren.

Nachdem der Autoencoder und das Untertitel-Modell bereitstanden, trainierte Hotshot seinen KI-Videogenerator vier Monate lang. Das Unternehmen nutzte dafür tausende H100-Grafikprozessoren von Nvidia und sammelte im Laufe des Projekts Millionen von Verarbeitungsstunden an.

Die Ingenieure von Hotshot wendeten mehrere Optimierungen an, um den Infrastrukturbedarf der Trainingsläufe zu senken. Das Unternehmen speicherte viele der im Projekt verwendeten Dateien im bfloat16-Format, das 32-Bit-Daten auf 16 Bit komprimieren kann, um Speicherplatz zu sparen. Darüber hinaus führte es einige Berechnungen, die normalerweise während des Trainings durchgeführt werden, vorab aus, um die Verarbeitungskapazität der Nvidia-Chips besser zu nutzen.

Hotshots neue KI ist als Teil des kostenlosen Video-Generierungsdienstes auf seiner Website verfügbar. Das Unternehmen plant außerdem, das Modell Entwicklern über die Programmierschnittstelle der Anwendung bereitzustellen.

Das KI-Video-Generierungsmodell von Hotshot befindet sich derzeit in der öffentlichen „Preview“-Phase. Nutzer können dieses Modell auf der offiziellen Website von Hotshot kostenlos testen. Dabei ist jedoch zu beachten, dass die Anzahl der täglichen Generierungen auf zwei Videos begrenzt ist.

Offizielle Website-Adresse von Hotshot:https://hotshot.co/