Hotshot: генерация видео до 10 секунд в 720P 203

Hotshot представил AI-модель, способную генерировать 10-секундные ролики с разрешением 1280 x 720 пикселей.

Этот стартап в понедельник выпустил данную модель, также известную как Hotshot, в публичное превью. Она присоединилась к растущему числу генераторов искусственного интеллекта видео на рынке. OpenAI, Runway ML Inc. и многие другие стартапы также предлагают модели, способные создавать короткие ролики на основе пользовательских запросов.

В прошлом году Hotshot запустил потребительское приложение для генерации изображений с помощью искусственного интеллекта. По сообщению VentureBeat, компания, по-видимому, закрыла этот сервис, чтобы сосредоточиться на развивающейся области генерации видео. По имеющимся данным, Hotshot получил поддержку от SV Angel, ангельского инвестора Lachy Groom и соучредителя Reddit Inc. Алексиса Оганяна.

Компания потратила несколько месяцев на разработку своей новейшей модели генерации видео. В рамках этого проекта она создала три различные нейронные сети: основную модель Hotshot и ещё две, помогающие подготовить обучающие наборы данных для AI-генератора видео.

Основные функции Hotshot:

• Преобразование текста в видео: пользователи могут вводить текстовое описание, например сцену, персонажей или действия, и Hotshot автоматически сгенерирует 3-секундное видео.

• Генерация HD-видео длительностью до 10 секунд: этот инструмент способен создавать 10-секундные ролики с разрешением 1280 x 720 пикселей.

• Генерация GIF-анимаций: используя новейшие технологии генерации изображений, Hotshot может преобразовывать сложные текстовые описания в реалистичные GIF-анимации.

• Видео без водяных знаков: у бесплатных пользователей сгенерированные видео не содержат водяных знаков, что предоставляет авторам больше свободы.
  

На первом этапе этой программы Hotshot собрал хранилище из 600 миллионов роликов с субтитрами, описывающими их содержание. Он объединил эти ролики с миллиардом изображений для создания обучающего набора данных модели генерации видео. Члены команды Hotshot Джон Маллан, Дункан Кроубак, Чаиту Алуру и Аакаш Састри заявили: «Мы знали, что хотим совместно обучать модель на изображениях и видео, чтобы использовать гораздо более обширные, чем видео, общедоступные данные изображений». Это было объяснено в одном из блогов.

На следующем этапе проекта компания разработала модель искусственного интеллекта, генерирующую субтитры для видео в её обучающем наборе данных. Субтитры могут помочь нейронной сети лучше понимать обрабатываемые ролики. Дополнительные знания, полученные таким образом искусственным интеллектом, повышают качество его выходных данных.

Hotshot обнаружил, что существующие на рынке модели генерации субтитров не отвечают его требованиям. В ответ компания взяла одну из существующих моделей и доработала её на обучающем наборе данных, содержащем 300 000 роликов с субтитрами, созданными вручную. «Через несколько недель у нас появился генератор субтитров для видео, которым мы были рады воспользоваться для аннотирования сотен миллионов наших видеообразцов», — подробно рассказала команда Hotshot.

Второй вспомогательной AI-моделью, созданной компанией для поддержки разработки видеогенератора, стал автоэнкодер. Этот алгоритм может взять порцию данных (в данном случае видео) и удалить детали, не нужные для обучения искусственного интеллекта. Удаление избыточной информации снижает требования к хранению и, следовательно, уменьшает затраты.

Подготовив автоэнкодер и модель субтитров, Hotshot потратил четыре месяца на обучение своего AI-генератора видео. Компания использовала тысячи графических процессоров H100 от Nvidia, накопив за время проекта миллионы часов обработки.

Инженеры Hotshot применили ряд оптимизаций для снижения инфраструктурных требований к обучающим запускам. Компания хранила многие файлы, используемые в проекте, в формате bfloat16, который позволяет сжимать 32-битные данные в 16-битные для экономии дискового пространства. Кроме того, она заблаговременно выполняла часть вычислений, обычно осуществляемых в ходе обучения, чтобы лучше использовать вычислительные возможности чипов Nvidia.

Новый искусственный интеллект Hotshot доступен как часть бесплатного сервиса генерации видео на его сайте. Компания также планирует предоставить модель разработчикам через программный интерфейс приложения.

Модель генерации AI-видео Hotshot в настоящее время находится на этапе публичного «превью», и пользователи могут бесплатно опробовать её на официальном сайте Hotshot, однако следует учитывать, что количество генераций в день ограничено двумя видео.

Официальный сайт Hotshot:https://hotshot.co/