Hotshot：最大10秒の720P動画を生成可能 205

Hotshotは、解像度1280×720ピクセルの10秒クリップを生成できるAIモデルを発表しました。

このスタートアップは月曜日、Hotshotと呼ばれるこのモデルのパブリックプレビュー版を発表しました。これは、市場で増加している人工知能動画ジェネレーターの仲間入りを果たしました。OpenAI、Runway ML Inc.、その他多くのスタートアップも同様に、ユーザーのプロンプトに基づいて短い映像を生成できるモデルを提供しています。

Hotshotは昨年、消費者向けAI画像生成アプリケーションを発売しました。VentureBeatの報道によると、同社はこのサービスを終了し、新興の動画生成分野に焦点を当てているようです。HotshotはSV Angel、エンジェル投資家のLachy Groom、Reddit Inc.の共同創業者Alexis Ohanianからの支援を得ているとされています。

同社は最新の動画生成モデルの開発に数ヶ月を費やしました。このプロジェクトの一環として、コアとなるHotshotモデルと、AI動画ジェネレーターのトレーニングデータセットを準備する2つの補助ニューラルネットワークを作成しました。

Hotshotの主な機能：

• テキストから動画への変換：ユーザーはシーン、キャラクター、アクションなどのテキスト説明を入力でき、Hotshotは自動的に3秒の動画を生成します。

• 最大10秒の高解像度動画を生成：このツールは、解像度1280×720ピクセルの10秒クリップを生成できます。

• GIFアニメーションの生成：最新の画像生成技術を使用して、Hotshotは複雑なテキスト説明を高品質なGIFアニメーションに変換できます。

• ウォーターマークなしの動画出力：無料ユーザーが生成した動画にはウォーターマークがなく、クリエイターにより多くの自由度を提供します。
  

計画の第1フェーズで、Hotshotは6億のクリップとその内容を説明するキャプションを含むリポジトリを整備しました。これらのクリップを10億の画像と組み合わせて、動画生成モデルのトレーニングデータセットを作成しました。HotshotチームのメンバーであるJohn Mullan、Duncan Crawbuck、Chaitu Aluru、Aakash Sastryは次のように述べています。「私たちは、動画よりもはるかに豊富な公開画像データを活用するために、画像と動画の両方でモデルを共同でトレーニングしたいと考えていました。」とブログ記事で説明しています。

プロジェクトの次のフェーズで、同社はトレーニングデータセット内の動画にキャプションを生成するAIモデルを開発しました。キャプションは、ニューラルネットワークがトレーニング中のクリップをよりよく理解するのに役立ちます。AIが収集したこの追加知識により、出力の品質が向上しました。

Hotshotは、市場で既存のキャプション生成モデルが要件を満たしていないことを発見しました。これに対し、同社は既存のモデルの1つを採用し、手動で作成されたキャプション付き300,000のクリップを含むトレーニングデータセットでカスタマイズしました。「数週間後、何億もの動画サンプルに注釈を付けるために喜んで使用できる動画キャプション生成器が手に入りました」とHotshotチームは詳細に説明しています。

動画ジェネレーターの開発をサポートするために構築された2番目の補助AIモデルは、オートエンコーダーです。このアルゴリズムは、データ（この場合は動画）を取得し、AIトレーニングに不要な詳細を削除します。冗長な情報を削除することでストレージ要件を削減し、コストを削減できます。

オートエンコーダーとキャプションモデルを準備した後、HotshotはAI動画ジェネレーターのトレーニングに4ヶ月を費やしました。同社はNvidia社のH100グラフィックスプロセッサーを数千個使用し、このプロジェクトで累計数百万の処理時間を蓄積しました。

Hotshotのエンジニアは、トレーニング実行のインフラ要件を削減するために複数の最適化を適用しました。同社は、プロジェクトで使用された多くのファイルをbfloat16形式で保存しました。この形式は、ストレージ容量を節約するために32ビットデータを16ビットに圧縮できます。さらに、通常はトレーニング中に実行されるいくつかの計算を事前に実行し、Nvidiaチップの処理能力を最大限に活用しました。

Hotshotの新しいAIは、ウェブサイト上の無料動画生成サービスの一部として利用できます。同社はまた、アプリケーションプログラミングインターフェースを通じて開発者にもこのモデルを提供することを計画しています。

Hotshot AI動画生成モデルは現在、公開「プレビュー」段階に入っており、ユーザーはHotshotの公式ウェブサイトで無料でこのモデルを体験できます。ただし、1日の生成回数は2つの動画に制限されていることに注意してください。

Hotshot公式サイトのURL：https://hotshot.co/