Alibaba официально открывает исходный код модели генерации видео Tongyi Wanxiang Wan2.1 243

小编 · 2025-02-26

Alibaba официально открывает исходный код модели генерации видео Tongyi Wanxiang Wan2.1

通义万相Wan2.1视频生成AI模型.webp

Что такое Wan2.1?

Wan2.1 (通义万相 2.1) — это совершенно новая модель генерации видео с открытым исходным кодом, официально выпущенная Alibaba 25 февраля 2025 года. Данная AI-модель распространяется с открытым исходным кодом по лицензии Apache 2.0 и предоставляет код и веса для вывода в двух вариантах параметров — 14B и 1.3B, поддерживая задачи генерации видео по тексту и по изображению. Производительность значительно улучшена: по результатам множества бенчмарков модель превосходит другие передовые модели, включая отечественные и зарубежные модели генерации видео, такие как Sora, HunyuanVideo, Minimax, Luma, Gen3, Pika и другие.

Функции Wan2.1:

Генерация видео на китайском и английском языках:

Wan2.1 — первая видеомодель, способная генерировать текст на китайском и английском языках, обладающая мощными возможностями генерации текста и способная создавать надписи и анимацию кинематографического качества.
Поддерживается применение шрифтов в различных сценариях, включая шрифты со спецэффектами, плакатные шрифты, а также отображение шрифтов в реальных сценах.

Поддержка множества задач:

Предоставляется генерация «текст-в-видео» (text-to-video) и «изображение-в-видео» (image-to-video).
Поддерживаются задачи редактирования видео, преобразования видео в аудио и другие.
Генерация изображений по тексту (T2I): поддерживается генерация изображений по тексту.
Генерация аудио по видео (V2A): позволяет автоматически создавать подходящее аудио для видео.

Высокое качество производительности:

Основана на архитектуре гибридного вариационного автокодировщика (VAE) и диффузионного трансформера (DiT), что усиливает возможности моделирования временной динамики и понимания сцены.
Способна одновременно генерировать видео высокого разрешения, динамические субтитры и многоязычную озвучку, поддерживая разрешение 1080p и эффективное кодирование/декодирование.

Поддержка потребительского оборудования:

Версия Wan2.1 с 1.3B параметрами требует всего лишь 8,19 ГБ видеопамяти и подходит для видеокарт RTX 4090, что выводит профессиональное создание видео на уровень потребительского оборудования.

Разнообразие стилей:

Поддерживаются различные художественные стили, такие как мультипликационный, кинематографический цветовой, 3D-стиль, масляная живопись, классический и другие.

Генерация длинных видео:

Благодаря механизму кэширования признаков поддерживается генерация видео в 1080P неограниченной длительности.

多任务支持.webp

Основная архитектура

Гибридный вариационный автокодировщик (VAE): используется для кодирования и декодирования видео, поддерживает кодирование/декодирование без потерь видеопотоков в 1080P произвольной длины с сохранением временной информации.
Диффузионный трансформер (DiT): основан на видеоструктуре DiT, а механизм Full Attention обеспечивает эффективное моделирование долгосрочных пространственно-временных зависимостей для генерации видео с пространственно-временной согласованностью.

核心架构.webp

Применения Wan2.1:

Кинопроизводство: быстрое создание сложных сцен и спецэффектов, например, инопланетных миров или масштабных батальных сцен в научной фантастике, что значительно снижает затраты и время производства.
Реклама и маркетинг: создание креативных рекламных видеороликов с учётом особенностей бренда, повышение узнаваемости и привлекательности бренда.
Образование: создание наглядных обучающих видео и анимированных учебных материалов, помогающих студентам более интуитивно усваивать знания и обогащающих образовательные ресурсы.
Игры и развлечения: генерация реалистичных игровых сцен и анимации персонажей, повышающая качество изображения и эффект погружения для игроков.
Короткие видео и социальные сети: быстрое создание качественных коротких видеороликов, подходящих для распространения в социальных сетях и легко привлекающих аудиторию.
Виртуальные персонажи и анимация: поддержка сложных движений персонажей и проектирования сцен, подходящая для создания виртуальных персонажей в фильмах, рекламе или играх.

Способы развёртывания:

Онлайн-тестирование:

Предоставляются сервисы онлайн-тестирования на Hugging Face Spaces и ModelScope.
Доступ через приложение или сайт Alibaba Tongyi Qianwen.

Локальное развёртывание:

Предоставлены подробные шаги для локального развёртывания, применимые к модели 1.3B.
Необходимо убедиться, что версия torch не ниже 2.4.0, и установить соответствующие зависимости.
Используйте Hugging Face CLI для загрузки весов модели и развёртывания с помощью фреймворка Gradio.

Облачный образ:

Рекомендуется использовать платформу Runninghub для онлайн-тестирования AI-приложений и рабочих процессов.
Новые зарегистрированные пользователи получают бесплатные квоты, поддерживается развёртывание облачного образа.