SkyReels-A2: генеративная модель для сборки произвольных визуальных элементов в синтетическое видео 135

Что такое SkyReels-A2?

SkyReels-A2 — это управляемая платформа для генерации видео, совместно разработанная Skywork ai и Kunlun Inc. Она способна собирать любые визуальные элементы (такие как персонажи, объекты, фоны и т.д.) в синтетическое видео на основе текстовых подсказок. Видео получается плавным и естественным, при этом каждый элемент сохраняет хорошую согласованность.

Основные особенности SkyReels-A2

• Генерация видео из нескольких элементов: позволяет создавать высококачественные, естественные видео на основе нескольких референсных изображений и текстовых подсказок.

• Строгое сохранение согласованности: обеспечивает строгую согласованность каждого элемента в сгенерированном видео (такого как персонажи, объекты, фоны) с референсными изображениями.

• Управляемая генерация: пользователи могут точно контролировать содержимое генерируемого видео с помощью текстовых подсказок и референсных изображений.

• Эффективный вывод: оптимизирован процесс вывода, что повышает скорость генерации и стабильность результата.

Технические детали SkyReels-A2

• Совместная модель встраивания изображений и текста: разработана новая модель совместного встраивания изображений и текста, которая внедряет представления нескольких элементов в процесс генерации, балансируя согласованность конкретных элементов с глобальной связностью и соответствием тексту.

• Конвейер данных: создан комплексный конвейер данных для генерации троек «текст — референс — видео», используемых для обучения модели.

• Оптимизированный процесс вывода: процесс вывода оптимизирован с помощью различных стратегий ускорения (таких как Context Parallel, CFG Parallel и VAE Parallel), что повышает скорость генерации.

• Открытый бенчмарк: представлен тщательно составленный бенчмарк A2-Bench для системной оценки задач «элемент в видео» (E2V).

SkyReels-A2 Сценарии применения

SkyReels-A2 имеет широкие перспективы применения в области креативных приложений, таких как создание AI-короткометражек, виртуальная электронная коммерция и т.д.

• Создание AI-короткометражек: создатели могут быстро генерировать персонализированные короткометражные фильмы.

• Реклама: компании могут производить недорогие, высококачественные рекламные короткометражные ролики.

• Виртуальная электронная коммерция: генерация ярких видеороликов с демонстрацией продуктов.

• Разработка игр: быстрая генерация сюжетных анимаций игр или видеороликов с представлением персонажей.

github проекта: https://github.com/SkyworkAI/SkyReels-A2

huggingface: https://huggingface.co/Skywork/SkyReels-A2