FantasyPortrait: эмоциональная лицевая анимация нескольких персонажей по одному статичному изображению 78

小编 · 2025-07-23

FantasyPortrait — фреймворк, совместно разработанный командой Amap Alibaba и Пекинским университетом почт и телекоммуникаций, генерирующий эмоциональную лицевую анимацию нескольких персонажей по одному изображению. Использует имплицитное извлечение признаков для сложных выражений вместо традиционных геометрических априор, улучшая трансфер между личностями, и применяет маскированное кросс-внимание для предотвращения интерференции признаков. Также поддерживает адаптацию под разные стили, zero-shot анимацию животных и аудио-управляемую анимацию с малым объёмом данных — полезно для цифровых людей, виртуальных идолов и игровых NPC. Код открыт на GitHub.

FantasyPortrait: эмоциональная лицевая анимация нескольких персонажей по одному статичному изображению

FantasyPortrait — это фреймворк, совместно разработанный командой Amap компании Alibaba и Пекинским университетом почты и телекоммуникаций, который позволяет генерировать эмоциональные лицевые анимации нескольких персонажей на основе одного статичного изображения. Он извлекает сложные выражения с помощью неявных признаков, заменяя традиционные геометрические априорные данные и улучшая способность к межиндивидуальному переносу. Механизм маскированного кросс-внимания предотвращает интерференцию признаков между несколькими персонажами. Кроме того, он поддерживает адаптацию персонажей в разных стилях, генерацию анимации животных без обучения (zero-shot) и управление с помощью аудио при ограниченных ресурсах. Фреймворк применим в таких областях, как цифровые люди, виртуальные айдолы, игровые NPC и других. Исходный код опубликован на GitHub.

FantasyPortrait: генерация эмоциональной лицевой анимации нескольких персонажей по одному статичному изображению

Ключевые функции

✅ Усиленное обучение неявному выражению: извлечение сложных выражений, таких как движения губ и эмоциональные проявления, с помощью неявных признаков вместо традиционных явных геометрических априорных данных, что повышает способность к межиндивидуальному переносу.

✅ Механизм маскированного кросс-внимания: создание отдельных зон управления выражениями для каждого персонажа при генерации нескольких персонажей, предотвращая интерференцию признаков и обеспечивая согласованную анимацию по принципу «один персонаж — один канал».

✅ Мультимодальная расширяемость: поддержка управления с помощью текста и аудио, например, кодирование аудио с помощью Whisper для генерации lip-sync анимации; адаптация к нескольким языкам возможна при тонкой настройке на небольшом объёме данных.

✅ Наборы данных и оценочные бенчмарки: создан набор данных Multi-Expr (более 30 000 высококачественных многоперсонажных видео) и бенчмарк ExprBench, способствующие стандартизации в отрасли.

Аспекты методологии:

✅ Двухэтапная стратегия обучения: сначала кодирование признаков выражений через UNet, затем декодирование анимационной последовательности через диффузионный трансформер.

✅ Модуль управления несколькими персонажами: изоляция управляющих сигналов разных персонажей с помощью маскирования признаков с поддержанием согласованности по временному измерению.

Наборы данных и оценочные бенчмарки:

✅ Набор данных Multi-Expr: содержит более 500 000 кадров данных о выражениях с разных ракурсов и является первым набором данных для анимации нескольких персонажей.

✅ Оценочный бенчмарк ExprBench: используется для обучения и оценки многоперсонажной портретной анимации.

Результаты экспериментов:

✅ Задача межисточникового реконструирования: по сравнению с такими методами, как StyleHEAT и PIRender, показатель FID улучшен на 41,7%.

✅ Сценарии генерации многоперсонажной анимации: уровень пользовательских предпочтений достигает 83,5%, точно генерируются такие тонкие выражения, как микродвижения глаз и асимметричные движения уголков рта.

Сценарии применения:

✅ Многоперсонажная анимация: поддержка управления несколькими персонажами с помощью нескольких одноперсонажных видео или одного многоперсонажного видео для генерации детализированных выражений и реалистичной портретной анимации.

✅ Разнообразные стили персонажей: возможность генерировать динамичную, выразительную и естественно реалистичную анимацию в различных стилях.

✅ Анимация животных: хотя модель не обучалась на наборах данных с животными явно, она демонстрирует высокую способность к обобщению в задачах анимации животных.

✅ Аудиоуправляемая портретная анимация: преобразование аудиопризнаков в латентное управляющее представление с помощью кодирования аудио и сети на основе Transformer, обеспечивающее аудиоуправляемую портретную анимацию с хорошей синхронизацией аудио и видео при небольшом объёме обучающих данных.

Ответы на ключевые вопросы:

Какие технологические прорывы достигнуты?
Ответ: Во-первых, усиленное неявное управление выражениями — обучение тонким признакам выражений с помощью неявного представления лица, что повышает качество моделирования движений рта и эмоциональных выражений. Во-вторых, кросс-внимание с маскированием для нескольких персонажей — оригинальный механизм маскированного кросс-внимания, обеспечивающий независимое управление и совместную генерацию нескольких персонажей и решающий проблему интерференции признаков между ними.
Каковы функциональные особенности?
Ответ: включая синхронное управление несколькими персонажами — поддержку одновременного управления несколькими персонажами с помощью одного или нескольких одноперсонажных видео, а также одного многоперсонажного видео; адаптацию персонажей разных стилей — возможность генерации динамичных, плавных, живых и стилистически единых видео для персонажей в разных художественных стилях; анимацию животных без обучения (zero-shot) — выдающиеся генеративные способности без специального обучения; аудиоуправление при ограниченных ресурсах — возможность расширения до аудиоуправляемого фреймворка, использующего Whisper для кодирования аудио и лёгкую сеть на основе Transformer для отображения аудиопризнаков в латентное управляющее пространство.
Какова практическая ценность?
Ответ: в кинопроизводстве позволяет независимым аниматорам легко создавать сцены с массовкой; в игровой индустрии позволяет NPC демонстрировать уникальные микровыражения; в виртуальных трансляциях обеспечивает более живое и естественное взаимодействие нескольких персонажей.