FlashVideo: 바이트댄스의 고해상도 비디오 생성 프레임워크 107

FlashVideo는 字节跳动과 홍콩대학교가 공동 개발한 프레임워크로, 고해상도 비디오를 빠르게 생성하기 위해 설계되었으며, 특히 텍스트-비디오 생성에 적합합니다. FlashVideo의 코드는 이미 오픈소스로 공개되어 GitHub에서 받을 수 있습니다.

FlashVideo 기술 특징

• 2단계 프레임워크 설계: FlashVideo는 비디오 생성 과정을 "저해상도 우선"과 "고해상도 향상"의 두 단계로 나눕니다. 첫 번째 단계에서는 50억 개의 파라미터를 가진 저해상도 모델(270p)을 사용하여 텍스트 설명에 부합하는 비디오 콘텐츠를 빠르게 생성하고, 두 번째 단계에서 해상도를 높이고 세부 사항을 최적화하여 최종적으로 1080p 고화질 비디오를 생성합니다.

• 플로우 매칭 기술: 플로우 매칭(Flow Matching) 기술을 혁신적으로 사용하여 단 4단계만으로 고해상도 디테일 생성이 가능하며, 기존 방법에 비해 속도가 크게 향상되었습니다.

• 빠른 미리보기 기능: 빠른 미리보기 기능을 지원하여, 사용자는 30초 이내에 초기 결과를 얻은 후 고해상도 비디오 생성을 계속할지 결정할 수 있습니다.

FlashVideo의 기술은 최첨단 모델 아키텍처와 혁신적인 알고리즘을 결합하여, RetNet 아키텍처를 비디오 생성에 처음으로 성공적으로 적용했습니다. 이는 효율성을 크게 향상시키고 추론 시간 복잡도를 O(L^2)에서 O(L)로 낮추었으며, 길이가 L인 시퀀스를 생성할 때 처리 시간을 단축시켰습니다.

이 프레임워크는 또한 비디오의 부드러움을 최적화하기 위해 redundant frame interpolation(중복 프레임 보간) 방법을 도입하여 생성된 비디오의 품질을 더욱 향상시켰습니다. 종합 실험 결과에 따르면 FlashVideo는 기존 자기회귀 모델 대비 효율성이 9.17배 향상되었으며, 추론 속도는 BERT 계열 모델의 속도와 비슷하여, 대규모의 역동적이고 사실적인 장면 합성에 새로운 가능성을 제시합니다.

FlashVideo 주요 장점:

• 생성 속도: 1080p 비디오를 단 102초 만에 생성하며, 기존 방법보다 4배 빠릅니다.

• 컴퓨팅 비용: 단일 단계 모델 대비 VRAM 사용량을 90% 절감합니다.

• 생성 품질: 동적 시간 모듈을 통해 동작의 일관성을 유지하고, 초당 24프레임의 부드러움을 지원합니다.

• 적용 시나리오: 쇼츠 콘텐츠 제작, 영화·드라마 프리비주얼라이제이션, 광고 제작 등 빠른 프로토타이핑이 필요한 분야

FlashVideo 적용 시나리오

현재 FlashVideo는 학술 연구뿐만 아니라 상업 분야, 특히 쇼츠 콘텐츠 제작에서도 뛰어난 성능을 보이고 있습니다:

• 온라인 광고: FlashVideo는 웹사이트 광고에서 널리 사용되어, 창의적인 애니메이션과 비디오 광고를 통해 사용자의 관심을 유도합니다. 예를 들어, 한 브랜드의 제품을 위해 출시된 Flash 광고는 생생한 애니메이션 효과와 스토리텔링을 활용하여 제품 정보를 효과적으로 전달했습니다.

• 교육 및 트레이닝: 많은 온라인 교육 플랫폼이 교육 과정을 제작하기 위해 FlashVideo를 사용합니다. 애니메이션과 비디오를 결합하면 복잡한 개념을 더 생생하게 설명할 수 있습니다. 예를 들어, 한 교육 기관은 Flash로 제작한 일련의 애니메이션 강의를 사용하여 학생들이 수학과 과학 지식을 더 잘 이해하도록 도왔습니다.

• 기업 홍보: 기업은 브랜드 마케팅을 할 때 브랜드 이미지를 강화하기 위해 FlashVideo를 자주 제작합니다. 예를 들어, 한 대형 기술 회사는 Flash 애니메이션을 통해 제품 특징과 사용 시나리오를展示하여 브랜드 인지도를 높이고 매출을 촉진했습니다.

FlashVideo의 코드는 2025년 2월 12일에 오픈소스로 공개될 예정이며, GitHub에서 받을 수 있습니다.

GitHub：https://github.com/FoundationVision/FlashVideo

프로젝트 주소：https://jshilong.github.io/flashvideo-page/