Open-Sora 2.0: открытая SOTA-модель генерации видео от Luchen Tech (潞晨科技) 209

Что такое Open-Sora 2.0?

Open-Sora 2.0 — это новая открытая (open-source) модель генерации видео на основе ИИ уровня SOTA, выпущенная компанией Luchen Technology (潞晨科技). Модель с 11B параметрами, способная генерировать видео коммерческого качества, была обучена всего за 200 000 долларов (на 224 GPU), достигая качества, близкого к SOTA, но по производительности приближаясь к HunyuanVideo и Step-Video от Stepfun (阶跃星程) с 30B параметров, а также почти не уступая OpenAI Sora! Open-Sora 2.0 обладает эффективной оптимизацией обучения и инференса и способна быстро за генерировать плавное видео в разрешении 720p, что подходит для создания креативных видеороликов, генерации контента для социальных сетей и других областей.

Функциональные особенности Open-Sora 2.0

Генерация высококачественного видео: поддерживает генерацию видео в высоком разрешении 720p с частотой 24 кадра в секунду, способна создавать видео с богатыми деталями и естественными переходами между сценами.

Контролируемая амплитуда движений: позволяет задавать амплитуду движения в соответствии с потребностями, чтобы лучше демонстрировать тонкие движения персонажей или сцен.

Высокая производительность и низкая стоимость:

• Open-Sora 2.0 использует модель с 11B параметрами, чья производительность не уступает, а даже превосходит ведущие закрытые большие модели (такие как HunyuanVideo и модель Stepfun с 30B параметров), демонстрируя выдающиеся результаты в тестах VBench и по предпочтениям пользователей.

• Стоимость обучения значительно снижена: обучение выполняется всего за 200 000 долларов (на 224 GPU), что в 5–10 раз дешевле по сравнению с традиционными высокопроизводительными моделями генерации видео, и сопоставимо с OpenAI Sora.

Различные способы генерации:

• Генерация видео по тексту (Text-to-Video): поддерживает создание видеоконтента непосредственно по текстовому описанию.

• Генерация видео по изображению (Image-to-Video): в сочетании с открытой моделью обработки изображений позволяет генерировать видео на основе изображения.

Эффективное обучение и оптимизация:

• Используется многоэтапный, многоуровневый механизм фильтрации данных, обеспечивающий высококачественный ввод данных и повышающий эффективность обучения.

• Приоритетное обучение на низком разрешении для изучения ключевых динамических характеристик с последующим постепенным повышением разрешения, что значительно снижает вычислительные затраты.

• Приоритетное обучение задачи генерации видео по изображению, при которой характеристики изображения направляют генерацию видео, что ускоряет сходимость модели.

• Сочетание ColossalAI и системной оптимизации повышает эффективность использования вычислительных ресурсов.

• Внедрение видеоавтокодера с высокой степенью сжатия сокращает время инференса до менее чем 3 минут на одном GPU, увеличивая скорость инференса в 10 раз.

Мощная архитектура модели:

• Основана на 3D-автокодере, механизме 3D-полного внимания и архитектуре MMDiT, что значительно повышает эффективность обучения и скорость инференса.

• Механизм обучения по нескольким «бакетам» (multi-bucket) обеспечивает одновременное обучение для видео различной длины и разрешения.

Технологические прорывы Open-Sora 2.0

• Архитектура модели: используется механизм 3D-полного внимания и архитектура MMDiT, что усиливает возможности моделирования пространственно-временных признаков; основана на расширении диффузионного Transformer (DiT) с введением слоёв временного внимания, обеспечивающих динамическую генерацию видеопоследовательностей.

• Эффективная стратегия обучения: многоуровневый механизм фильтрации обеспечивает поступление высококачественных обучающих данных; приоритетное изучение характеристик движения с последующим повышением качества изображения за счёт задачи генерации видео по изображению (T2I2V), что позволяет экономить вычислительные ресурсы в 40 раз.

• Революция в ускорении инференса: использование автокодера с высокой степенью сжатия (коэффициент сжатия 4×32×32) сокращает время генерации видео в разрешении 768 пикселей с 30 минут до 3 минут, увеличивая скорость в 10 раз.

Сценарии применения Open-Sora 2.0

• Создание креативных видеороликов: может использоваться для производства научно-фантастических короткометражек, анимационных короткометражек и т. д., удовлетворяя потребности в создании креативного видеоконтента.

• Генерация контента для социальных сетей: способна генерировать высококачественный видеоконтент, подходящий для публикации в социальных сетях.

• Создание игрового видео: облегчает производство игрового видеоконтента.

Репозиторий с открытым исходным кодом на GitHub:https://github.com/hpcaitech/Open-Sora

Технический отчёт:https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2_tech_report.pdf