Hotshot: 최대 10초 720P 영상 생성 204

Hotshot이 1280 x 720 픽셀 해상도의 10초짜리 클립을 생성할 수 있는 AI 모델을 출시했습니다.

해당 스타트업은 월요일에 Hotshot이라는 이름의 이 모델을 공개 프리뷰 버전으로 출시했습니다. 이 모델은 시장에서 점점 늘어나는 인공지능 비디오 생성기 라인업에 합류했습니다. OpenAI, Runway ML Inc. 및 여러 다른 스타트업들도 사용자 프롬프트를 기반으로 짧은 영상을 생성할 수 있는 모델을 제공합니다.

Hotshot은去年에 소비자向け 인공 지능 이미지 생성 애플리케이션을 출시했습니다. VentureBeat에 따르면, 회사는 새로운 비디오 생성 분야에 집중하기 위해 해당 서비스를 종료한 것으로 보입니다. 보도에 따르면 Hotshot은 SV Angel, 엔젤 투자자 Lachy Groom, Reddit Inc. 공동 창립자 Alexis Ohanian의 지원을 받았다고 합니다.

회사는 최신 비디오 생성 모델을 개발하는 데 수개월을 보냈습니다. 이 프로젝트의 일환으로 핵심 Hotshot 모델과 AI 비디오 생성기의 훈련 데이터셋을 준비하는 데 도움을 주는 두 개의 추가 신경망을 만들었습니다.

Hotshot의 주요 기능:

• 텍스트-비디오 변환: 사용자가 장면, 캐릭터, 동작과 같은 텍스트 설명을 입력하면 Hotshot이 자동으로 3초 영상을 생성합니다.

• 최대 10초 길이의 고화질 비디오 생성: 이 도구는 1280 x 720 픽셀 해상도의 10초짜리 클립을 생성할 수 있습니다.

• GIF 애니메이션 생성: 최신 이미지 생성 기술을 사용하여 Hotshot은 복잡한 텍스트 설명을 사실적인 GIF 애니메이션으로 변환할 수 있습니다.

• 워터마크 없는 비디오 출력: 무료 사용자가 생성한 비디오에는 워터마크가 없어 창작자에게 더 많은 자유를 제공합니다.
  

계획의 첫 번째 단계에서 Hotshot은 콘텐츠에 대한 설명 자막이 포함된 6억 개의 클립 저장소를 정리했습니다. 이러한 클립을 10억 장의 이미지와 결합하여 비디오 생성 모델의 훈련 데이터셋을 만들었습니다. Hotshot 팀 멤버인 John Mullan, Duncan Crawbuck, Chaitu Aluru 및 Aakash Sastry는 "우리는 비디오보다 훨씬 풍부한 공개적으로 접근 가능한 이미지 데이터를 활용하기 위해 이미지 및 비디오 모델을 공동으로 훈련하고자 했습니다."라고 블로그 게시물에서 설명했습니다.

프로젝트의 다음 단계에서 회사는 훈련 데이터셋의 비디오에 자막을 생성하는 인공지능 모델을 개발했습니다. 자막은 신경망이 훈련 중인 클립을 더 잘 이해하는 데 도움이 될 수 있습니다. 인공지능이 이로써 얻은 추가 지식은 출력물의 품질을 향상시켰습니다.

Hotshot은 시장에 존재하는 기존 자막 생성 모델이 요구 사항을 충족하지 못한다는 것을 발견했습니다. 이에 대응하여 회사는 기존 모델 중 하나를 채택하고 수동으로 만든 자막이 포함된 300,000개 클립의 훈련 데이터셋에서 이를 맞춤 설정했습니다. "몇 주 후, 우리는 수억 개의 비디오 샘플에 주석을 다는 데 기꺼이 사용할 수 있는 비디오 자막 생성기를 갖게 되었습니다."라고 Hotshot 팀은 자세히 설명했습니다.

비디오 생성기 개발을 지원하기 위해 회사가 구축한 두 번째 보조 인공지능 모델은 자동 인코더입니다. 이 알고리즘은 데이터(이 경우 비디오)를 가져와서 인공지능 훈련에 필요하지 않은 세부 정보를 제거합니다. 불필요한 정보를 제거하면 저장 요구 사항이 줄어들어 비용이 절감됩니다.

자동 인코더와 자막 모델을 준비한 후, Hotshot은 AI 비디오 생성기를 훈련하는 데 4개월을 보냈습니다. 회사는 Nvidia 회사의 수천 개 H100 그래픽 처리 장치를 사용했으며, 이 프로젝트 동안 누적 수백만 시간의 처리 시간을 소모했습니다.

Hotshot의 엔지니어들은 훈련 실행의 인프라 요구 사항을 줄이기 위해 여러 가지 최적화를 적용했습니다. 회사는 프로젝트에서 사용된 많은 파일을 bfloat16 형식으로 저장했는데, 이 형식은 32비트 데이터를 16비트로 압축하여 저장 공간을 절약할 수 있습니다. 또한, Nvidia 칩의 처리 능력을 더 잘 활용하기 위해 일반적으로 훈련 과정에서 수행되는 일부 계산을 미리 실행했습니다.

Hotshot의 새로운 인공지능은 회사 웹사이트에서 제공되는 무료 비디오 생성 서비스의 일부로 접근할 수 있습니다. 회사는 또한 응용 프로그램 프로그래밍 인터페이스를 통해 개발자들에게 이 모델을 제공할 계획입니다.

Hotshot AI 비디오 생성 모델은 현재 공개 "프리뷰" 단계에 진입했으며, 사용자는 Hotshot 공식 웹사이트에서 이 모델을 무료로 체험할 수 있습니다. 다만 하루에 생성할 수 있는 횟수가 두 개의 비디오로 제한되어 있다는 점에 유의해야 합니다.

Hotshot 공식 웹사이트 주소:https://hotshot.co/