Wan 2.1: открытая модель генерации видео от Tongyi Wanxiang 256

Команда Tongyi Wanxiang представила Wan 2.1 (万相 2.1) — новейшую модель генерации видео, которая добилась значительного прогресса во многих аспектах генерации видео, таких как качество видео, воспроизведение сложных движений, моделирование физических законов и генерация китайских иероглифов. Особенно в части генерации китайскоязычного контента — это первая видеомодель, способная эффективно управлять созданием текстовых эффектов на китайском языке, что решает недостатки предыдущих моделей при работе с китайским контентом.

Функциональные особенности Wan 2.1

• Воспроизведение сложных движений: Wan 2.1 стабильно воспроизводит разнообразные сложные движения тела человека, такие как вращение, прыжки, кувырки — всё это отлично демонстрируется, что делает видео более живым и реалистичным.

• Воспроизведение физических законов: модель очень убедительно воспроизводит физические законы реального мира, благодаря чему генерируемое видео становится более реалистичным и соответствующим ожиданиям пользователей.

• Высококачественная генерация видео: видео, генерируемое этой моделью, имеет более реалистичные визуальные эффекты и улучшенное качество пикселей. Она позволяет создаваемому контенту следовать физическим законам и более точно выполнять сложные инструкции.

• Обработка сложных движений: Wan 2.1 особенно сильна в обработке сцен со сложными движениями, таких как фигурное катание, плавание, прыжки в воду — она обеспечивает согласованность и реалистичность движений, демонстрируя заметное улучшение в генерации сложных движений тела.

• Поддержка нескольких языков: Wan 2.1 — первая модель генерации видео, одновременно поддерживающая текстовые эффекты на китайском и английском языках, что значительно расширяет сферу её применения в креативных индустриях, таких как реклама и производство коротких видео, удовлетворяя как внутренние, так и международные потребности.

• Эффективная технология кодирования/декодирования: модель использует собственную разработку — VAE (вариационный автоэнкодер) и DiT (определённую архитектуру глубокого обучения), благодаря чему становится возможной генерация видео 1080P неограниченной длительности с повышенной эффективностью и качеством изображения.

Техническая архитектура Wan 2.1

Wan 2.1 использует собственно разработанные VAE (вариационный автоэнкодер) и архитектуру DiT (Diffusion Transformer), что значительно улучшает её способность моделировать пространственно-временные контекстные отношения. VAE разбивает видео на множество фрагментов и кэширует промежуточные признаки, обеспечивая эффективное кодирование/декодирование сверхдлинных видео 1080P и возможность генерации высококачественного видео неограниченной длины. DiT, благодаря механизму пространственно-временного полного внимания и механизму разделения параметров, обеспечивает значительное улучшение качества генерации и эффективности обучения.

Модель Wan 2.1 также поддерживает генерацию видео неограниченной длины, используя VAE для разбиения видео на несколько частей и кэширования промежуточных признаков для эффективного кодирования/декодирования, обеспечивая тем самым генерацию видео длиной 1080P. Кроме того, качество генерации и эффективность обучения значительно улучшены благодаря механизму пространственно-временного полного внимания и механизму разделения параметров, что делает результат генерации более детальным и стабильным. Кроме того, при настройке параметров пользователи могут выбирать различные предустановленные режимы, такие как простой и профессиональный, для удовлетворения различных уровней творчества и требований проекта.

Сценарии применения Wan 2.1

• Создание контента: для создателей видео Wan 2.1 — мощный инструмент, который помогает им создавать более разнообразное по эффектам видео.

• Производство рекламы: в сфере маркетинга и рекламы её можно использовать для создания привлекательных рекламных видеороликов.

• Образование и обучение: в образовательной сфере она способна улучшить процесс обучения благодаря наглядным демонстрационным видео, повышая эффективность передачи информации.

Как пользоваться Wan 2.1

• Доступ к платформе: перейдите по адресу http://tongyi.aliyun.com/wanxiang/, зарегистрируйте аккаунт и войдите.

• Выбор функции: после входа найдите в левой панели платформы «文字作画» (рисование по тексту), выберите функцию Wan 2.1 — здесь доступны различные варианты генерации.

• Ввод промпта: пользователь может ввести тему или элементы, на основе которых он хочет сгенерировать видео; поддерживается ввод как на китайском, так и на английском языке.

• Настройка параметров: в зависимости от своих потребностей пользователь может настраивать параметры генерируемого видео, такие как длина видео, тип эффектов, движения персонажей и т. д.

• Генерация и предпросмотр: после отправки система сгенерирует видео, пользователь может выполнить предпросмотр, и если результат удовлетворяет, скачать или поделиться им.

Демо-адрес:https://tongyi.aliyun.com/wanxiang/