FlashVideo: фреймворк генерации видео высокого разрешения от ByteDance 104

FlashVideo — это фреймворк, разработанный совместно ByteDance и Гонконгским университетом, предназначенный для быстрой генерации видео высокого разрешения, особенно подходящий для генерации видео из текста. Код FlashVideo уже открыт и доступен на GitHub.

Технические особенности FlashVideo

• Двухэтапная архитектура фреймворка: FlashVideo разделяет процесс генерации видео на два этапа — «сначала низкое разрешение» и «повышение разрешения». На первом этапе используется низкоразрешающая модель с 5 миллиардами параметров (270p) для быстрого создания видеоконтента, соответствующего текстовому описанию. На втором этапе выполняется повышение разрешения и оптимизация деталей, в результате чего получается видео высокой чёткости 1080p.

• Технология Flow Matching: инновационное использование технологии Flow Matching, которая позволяет завершить генерацию деталей высокого разрешения всего за 4 шага, что значительно быстрее по сравнению с традиционными методами.

• Функция быстрого предпросмотра: поддерживается функция быстрого предпросмотра, позволяющая пользователям получить предварительный результат в течение 30 секунд, после чего решить, продолжать ли генерацию видео в высоком разрешении.

Технология FlashVideo сочетает передовую архитектуру модели с инновационными алгоритмами и впервые успешно применяет архитектуру RetNet для генерации видео. Это значительно повышает эффективность и снижает временную сложность вывода с O(L^2) до O(L), сокращая время обработки для последовательностей длиной L.

Фреймворк также引入ил метод интерполяции избыточных кадров для оптимизации плавности видео, что дополнительно повышает качество генерируемого видео. Комплексные эксперименты показывают, что FlashVideo обеспечивает повышение эффективности в 9,17 раза по сравнению с традиционными авторегрессионными моделями, а скорость его вывода сопоставима со скоростью моделей типа BERT, что открывает новые возможности для синтеза большого количества динамичных и реалистичных сцен.

Основные преимущества FlashVideo:

• Скорость генерации: видео в формате 1080p генерируется всего за 102 секунды, что в 4 раза быстрее традиционных методов

• Вычислительные затраты: потребление видеопамяти снижено на 90% по сравнению с одноэтапными моделями

• Качество генерации: модуль динамической временной согласованности обеспечивает плавность движений, поддерживая частоту 24 кадра в секунду

• Сценарии применения: создание коротких видео, предварительная визуализация в кино и на телевидении, производство рекламы и другие области, требующие быстрого прототипирования

Сценарии применения FlashVideo

В настоящее время FlashVideo применяется не только в академических исследованиях, но и в коммерческой сфере, где также демонстрирует выдающиеся результаты в производстве коротких видео:

• Онлайн-реклама: FlashVideo широко используется в веб-рекламе для привлечения пользователей с помощью креативной анимации и видеорекламы. Например, классический случай — Flash-реклама для продукта определённого бренда, в которой яркие анимационные эффекты и сюжет эффективно передают информацию о продукте.

• Образование и обучение: многие платформы онлайн-образования используют FlashVideo для создания учебных курсов. Сочетание анимации и видео позволяет более наглядно объяснять сложные концепции. Например, одно образовательное учреждение использовало Flash для создания серии анимационных курсов, помогающих учащимся лучше понять математику и естественные науки.

• Корпоративное продвижение: компании при продвижении бренда часто создают FlashVideo для укрепления имиджа бренда. Например, крупная технологическая компания с помощью Flash-анимации продемонстрировала особенности и сценарии использования своих продуктов, что повысило узнаваемость бренда и способствовало продажам.

Код FlashVideo был объявлен открытым 12 февраля 2025 года и доступен на GitHub:

GitHub: https://github.com/FoundationVision/FlashVideo

Адрес проекта: https://jshilong.github.io/flashvideo-page/