StableAvatar: инструмент для прямой генерации видео с пением или речью по аудио 131

Что такое StableAvatar?

StableAvatar — это инструмент, разработанный исследователями из Фуданьского университета, Microsoft Research Asia и Сианьского транспортного университета, способный напрямую генерировать по аудио видео с пением или речью. При этом длительность видео не ограничена, а качество изображения остаётся очень высоким.

Основные технологии StableAvatar

• Адаптер аудио с учётом временных шагов: эта технология в основном предотвращает потерю или искажение аудиоинформации в процессе преобразования. Он выполняет «перекрёстное внимание» между исходной аудиоинформацией и первоначальной информацией изображения (проще говоря, устанавливает более тесную связь между ними), а затем корректирует результат с помощью «вложений временных шагов» (аналогично тонкой настройке информации в разные моменты времени). В итоге получается более точная аудиоинформация, что позволяет избежать рассинхронизации аудио и видео или деформации изображения на последующих этапах генерации.

• Механизм аудио-нативного управления: на заключительном этапе генерации видео (то есть на этапе вывода) он использует предсказанные самой моделью аудио- и видеоданные, рассматривая эту динамически изменяющуюся информацию как «управляющий сигнал», чтобы обеспечить более точную синхронизацию сгенерированного видео со звуком и избежать несовпадения голоса и движений губ.

• Стратегия денойзинга со скользящим окном и динамическим взвешиванием: при генерации длинных видео изображение часто «заикается» или выглядит несвязным. Эта технология объединяет латентную информацию изображения (можно понимать как скрытые признаки картинки) вдоль временной оси, обеспечивая более плавные переходы между кадрами длинного видео — без резких скачков или деформаций.

Принцип работы StableAvatar

• Обработка аудио: сначала из входного аудио с помощью модели Wav2Vec извлекаются аудиопризнаки (audio embeddings), которые затем оптимизируются с помощью упомянутого выше «аудиоадаптера», чтобы сделать аудиоинформацию более точной.

• Обработка референсного изображения (например, исходного фото персонажа): референсное изображение подаётся в модель генерации видео по двум путям:

• Первый путь: референсное изображение и кадры с нулевым заполнением (по сути пустые кадры) объединяются вдоль временной оси, а затем с помощью фиксированного 3D-кодера VAE преобразуются в латентный код (скрытую информацию изображения). Этот латентный код объединяется по оси каналов со сжатыми видеокадрами и бинарной маской (используемой для выделения областей, требующих особой обработки), формируя основу для последующей генерации изображения.

• Второй путь: с помощью кодировщика CLIP (модели, способной извлекать ключевые признаки изображения) референсное изображение преобразуется в image embeddings (признаки изображения), которые затем подаются в каждый «модуль перекрёстного внимания изображения и аудио» блока денойзинга (DiT). Цель — обеспечить соответствие внешности персонажа в сгенерированном видео референсному изображению.

• Генерация видео: на этапе вывода кадры реального видео, которые должны были бы подаваться на вход, заменяются случайным шумом (это стандартная практика для подобных моделей), тогда как остальные входные данные (оптимизированное аудио, обработанная информация о референсном изображении) остаются без изменений. В результате модель вычисляет и генерирует последовательные видеокадры, формируя готовое видео.

Преимущества StableAvatar

• Генерация видео любой длительности: большинство прежних инструментов могли создавать ролики длительностью не более 15 секунд, тогда как StableAvatar способен генерировать видео любой продолжительности, сохраняя при этом высокое качество изображения (высокая точность воспроизведения).

• Стабильность внешности персонажа: даже в очень длинных видео лицо и движения тела персонажа остаются неизменными — не возникает деформации лица, искажения пропорций тела или несоответствия внешности между началом и концом видео.

• Не требует дополнительной обработки: сгенерированное видео сразу готово к использованию и не нуждается в доработке другими инструментами для коррекции лица (например, популярными инструментами замены лиц FaceFusion или моделями восстановления GFP-GAN, CodeFormer и т. п.), что избавляет от множества хлопот.

Сценарии применения StableAvatar

1. Кинопроизводство и создание видео

• Сложные трюковые сцены: больше не нужно, чтобы актёры лично рисковали, выполняя опасные трюки (например, прыжки с высоты или сцены со взрывами) — генерация видео с помощью этого инструмента снижает затраты и риски.

• Анимация персонажей: добавление реалистичных движений и мимики персонажам фильмов или видео делает их более живыми.

• Реставрация старых фильмов: позволяет сделать персонажей на старых киноплёнках более чёткими, возвращая к жизни классических героев.

2. Разработка игр

• Анимация персонажей: движения и мимика игровых персонажей становятся более реалистичными, усиливая эффект погружения.

• Кат-сцены: видеоролики, сопровождающие развитие сюжета игры, становятся более зрелищными и удерживают внимание игроков.

• Взаимодействие с виртуальными персонажами: действия и мимика NPC (неигровых персонажей) выглядят естественнее, делая игровой мир более правдоподобным.

3. Виртуальная реальность (VR) и дополненная реальность (AR)

• Создание виртуальных персонажей: генерация реалистичных людей в VR/AR-приложениях создаёт у пользователей ощущение общения с живыми людьми.

• VR-общение: пользователи могут общаться и взаимодействовать со сгенерированными виртуальными персонажами, что делает социальный опыт более увлекательным.

• VR-туризм: позволяет пользователям с помощью VR-устройств «лично» знакомиться с достопримечательностями по всему миру, словно они действительно путешествуют.

4. Социальные сети и стриминг

• Виртуальные стримеры: сгенерированный образ виртуального ведущего всегда остаётся неизменным, а анимация во время трансляции выглядит более реалистичной.

• Творческий контент: авторы коротких видео и цифровые художники могут использовать инструмент для создания разнообразных динамичных образов и более креативного контента.

5. Образование и клиентская поддержка

• Виртуальные ассистенты: в образовательных сценариях или в сфере клиентской поддержки генерируются виртуальные преподаватели или консультанты с неизменным образом, что обеспечивает более живое и персонализированное обслуживание (например, виртуальный учитель сохраняет одну и ту же внешность на протяжении всех занятий).

6. Реклама и цифровой маркетинг

• Реклама кинематографического уровня: возможность генерировать сложные движения персонажей и кинематографические эффекты съёмки — идеально подходит для создания рекламы, короткометражных роликов или анимационных промо с качеством изображения на уровне кино.