VACE: единая модель генерации и редактирования видео от команды Tongyi Wan в Alibaba 189

Что такое VACE?

VACE (Video Creation and Editing) — это универсальная модель для генерации и редактирования видео «всё в одном», разработанная лабораторией Tongyi компании Alibaba. Она позволяет выполнять широкий спектр задач по созданию и редактированию видео в рамках единой модельной архитектуры. Модель способна генерировать видео по текстовому описанию или изображению, а также выполнять стилизацию, реставрацию и расширение существующих видео. Объединяя множество функций в одной модели, VACE удобна в использовании и подходит как для создания креативного видеоконтента, так и для восстановления старых видеозаписей.

Основные функции VACE

Генерация видео:

• Генерация видео по тексту: создание видео на основе текстовых подсказок.

• Генерация видео по референсу: создание видео с использованием текста и референсного изображения.

• Расширение видео: генерация нового начала или конца на основе существующего видеофрагмента.

Редактирование видео:

• Видео-в-видео редактирование: комплексное преобразование стиля входного видео (например, колоризация, стилизация).

• Редактирование видео по маске: редактирование в заданных областях, такое как Inpainting (дорисовка) и Outpainting (расширение).

• Удаление и восстановление субъекта: удаление определённого объекта из видео с заполнением фона.

Комбинирование задач:

• Поддержка гибкого сочетания различных задач, например, генерация по референсу + замена субъекта, управление позой + расширение видео.

Технические принципы VACE

• Video Condition Unit (VCU): объединяет разнообразные модальные входные данные — текст, изображения, видео и маски — в единый условный блок, обеспечивая гибкое сочетание различных задач.

• Структура Context Adapter: внедряет концепции различных задач в модель посредством формализованного представления во временном и пространственном измерениях, что позволяет адаптироваться к разным требованиям задач.

• Диффузионная модель: построена на основе диффузионной модели (например, Diffusion Transformer) и генерирует высококачественное видеосодержимое путём пошагового устранения шума.

Преимущества VACE

• Единый фреймворк: задачи генерации и редактирования видео объединены в одной модели, что снижает сложность при переключении между задачами.

• Высокая эффективность: достигает производительности, сопоставимой со специализированными моделями, на множестве задач.

• Универсальность: поддерживает разнообразные комбинации задач, открывая более широкие возможности для создания видеоконтента.

Сценарии применения VACE

• Создание креативного видео: быстрая генерация рекламных, анимационных и других креативных видеороликов по тексту или изображениям.

• Реставрация и улучшение видео: восстановление старых видеозаписей, заполнение недостающих участков изображения или улучшение стилистики видео.

• Эффективное редактирование видео: выполнение сложных задач редактирования, таких как замена субъектов и добавление анимации.

• Расширение видео: генерация новых фрагментов для коротких видео с целью увеличения их длительности.

• Интерактивное создание видео: генерация персонализированных видео на основе пользовательского ввода (например, поз, эскизов).

Ресурсы проекта

Официальный сайт проекта:https://ali-vilab.github.io/VACE-Page/

Репозиторий на GitHub:https://github.com/ali-vilab/VACE

Техническая статья:https://arxiv.org/pdf/2503.07598