Tongyi Dance King: создание танцевального видео с ИИ из одной фотографии 189

Tongyi Dance King (Quanmin Dance King) — это функция в приложении Tongyi Qianwen от Alibaba Cloud, бесплатный AI-инструмент для генерации видео с танцами. Достаточно загрузить одну фотографию, и изображённый на ней персонаж начнёт двигаться в соответствии с различными танцевальными шаблонами, создавая танцевальное видео, в котором сохранены и внешность, и дух оригинала.

После запуска функции Tongyi Dance King она привлекла широкое внимание и массу желающих её опробовать. Множество пользователей стали пробовать её и делиться результатами: терракотовые воины, Ультрамен, Железный человек, знаменитости и известные картины тоже пустились в танцевальные тренды.

Принцип работы Tongyi Dance King:

Алгоритм, лежащий в основе Tongyi Dance King, — это разработанная собственной лабораторией Alibaba Tongyi модель генерации видео Animate Anyone. Она способна превращать статичные изображения в динамичные видеоролики и анимировать любого персонажа на изображении. Особенность использования модели Animate Anyone заключается в точном распознавании мимики лица, пропорций тела, одежды и фона, что позволяет создавать персонализированные танцевальные AI-видео для каждого пользователя. По своим возможностям она схожа с технологией Magic Animate, совместно разработанной Национальным университетом Сингапура и ByteDance.

Особенности Tongyi Dance King:

• Нужны только изображение и танцевальное видео

• Комплексная генерация танцевального видео с целевым персонажем

• Возможность увеличения разрешения лица и фона видео

Как пользоваться Tongyi Dance King?

Это очень просто — всего четыре шага:

1. Скачайте приложение Alibaba Cloud «Tongyi Qianwen». Ссылка для скачивания Tongyi Qianwen: https://tongyi.aliyun.com/qianwen

2. В приложении «Tongyi Qianwen» введите кодовые слова «Tongyi Dance King» или «Quanmin Dance King», чтобы перейти на страницу Tongyi Dance King.

3. Выберите понравившийся танцевальный шаблон. Tongyi Dance King предлагает пользователям множество популярных танцевальных шаблонов, в том числе «Кэмусань», шаг гребца, шаг шэньбу, монгольский танец и другие — всего 12 танцевальных шаблонов.

4. Следуя подсказкам, загрузите фотографию. Tongyi Dance King позволяет загружать не только фото реальных людей, но и изображения аниме/игровых персонажей, скульптур, фигурок, «личные фото» закадычных друзей, мировых шедевров живописи — и даже нарисованный от руки рисунок тоже подойдёт для генерации видео! Подождите около десяти минут, и видео будет готово, при этом исходный образ отлично сохраняется.

Tongyi Qianwen — это сверхкрупная языковая модель, запущенная Alibaba Cloud. Её возможности включают многораундовый диалог, создание текстов, логические рассуждения, мультимодальное понимание и поддержку множества языков. Она способна вести многораундовое взаимодействие с человеком, обладает мультимодальным пониманием знаний, а также умеет создавать тексты: продолжать написание романов, составлять электронные письма и т. д.