Alibaba открыла исходный код видеомодели Wan2.1-VACE 66

Вечером 14 мая 2025 года команда Tongyi Wanxiang, входящая в Alibaba, опубликовала в открытом доступе модель Wan2.1 - VACE — унифицированную модель для редактирования и генерации видео. Эта AI-модель способна не только непосредственно «генерировать» видео, но и выполнять различные сложные операции редактирования и переработки уже существующих видеоматериалов. При этом все эти задачи решаются с помощью одной модели, позволяя точно контролировать движения, позы, направление, композицию кадра, траекторию движения, стиль и другие параметры персонажей в видео.

Ключевые преимущества

Wan2.1 - VACE является наиболее комплексным на сегодняшний день решением для генерации и редактирования видео. Единая архитектура модели позволяет выполнять множество задач обработки видео: генерацию видео по тексту, создание видео на основе референсного изображения, перерисовку видео, локальное изменение содержимого видео, расширение фона видео, а также увеличение его длительности. Кроме того, модель поддерживает одновременное выполнение нескольких задач, позволяя пользователю осуществлять сложное видеоредактирование в рамках одного процесса, что значительно упрощает творческий процесс.

Кроме того, ещё одним важным преимуществом Wan2.1-VACE является возможность свободно комбинировать несколько базовых функций, гибко сочетая их для формирования сложных сценариев применения.

Модель выпускается в двух вариантах по количеству параметров: 1.3B и 14B. Облегчённая версия 1.3B обеспечивает плавную работу на потребительских видеокартах и позволяет получать видео в разрешении 480P; полноразмерная версия 14B поддерживает более высокое разрешение, например 720P, обеспечивая лучшее качество.

Технологические инновации

В модели реализован全新的 видео-условный блок VCU, который объединяет такие задачи генерации и редактирования видео, как генерация видео по тексту, генерация видео по изображению, генерация видео на основе видео и локальная генерация видео из видео. VCU преобразует различные входные данные, такие как текст и изображения, в текстовые последовательности, последовательности кадров и последовательности масок, закладывая основу для свободной комбинации множества задач.

Кроме того, модель выполняет обработку последовательностей кадров, поступающих на вход VCU, разделяя их на изменяемые и неизменяемые последовательности и кодируя каждую из них по отдельности, что решает проблему токенизации и повышает эффективность обработки мультимодальных входных данных.

Практическое применение

С помощью этой модели можно превратить статичную вертикальную версию «Моны Лизы» в горизонтальное динамическое видео, а также добавить персонажу очки — всё это выполняется одновременно: расширение формата изображения, увеличение длительности и использование изображения в качестве референса, что открывает широкий простор для творчества.

Способы загрузки

Разработчики могут загрузить и протестировать эту модель на таких площадках, как GitHub, Huggingface и сообщество Modash (魔搭社区).

• GitHub：https://github.com/Wan-Video/Wan2.1

• HuggingFace：https://huggingface.co/Wan-AI

• 魔搭社区：https://www.modelscope.cn/organization/Wan-AI?tab=model

Открытие исходного кода Wan2.1 - VACE стало важным шагом вперёд в развитии технологий генерации видео — от выполнения отдельных задач к комбинированию множества задач, предоставляя создателям видео ещё более удобный и эффективный инструмент.