TaoAvatar: высокоточный и легковесный проект интерактивного цифрового человека от Alibaba 205

Что такое TaoAvatar?

TaoAvatar — это высококачественная, лёгкая технология интерактивного полноразмерного цифрового аватара, разработанная на основе технологии 3D гауссовского сплаттинга (3DGS). Она создаёт персонализированный параметризованный шаблон одетого человека и привязывает к нему гауссовские точки для представления внешнего вида, что позволяет генерировать реалистичные полноразмерные цифровые аватары. Ключевое преимущество TaoAvatar заключается в возможности работы в реальном времени на мобильных устройствах и устройствах AR при сохранении высокого разрешения рендеринга и низких требований к объёму хранения данных.

Функции TaoAvatar

• Высококачественный рендеринг: TaoAvatar способен создавать реалистичные 3D-полноразмерные цифровые аватары с поддержкой рендеринга в высоком разрешении при низких требованиях к объёму хранения данных.

• Взаимодействие в реальном времени: технология может работать в реальном времени на различных мобильных устройствах и устройствах AR, обеспечивая рендеринг с высокой частотой кадров до 90 FPS, и подходит для HD-стереоскопических устройств, таких как Apple Vision Pro.

• Управление на основе нескольких сигналов: TaoAvatar может управляться различными сигналами, включая выражение лица, жесты и позы тела, что обеспечивает богатый интерактивный опыт.

• Лёгкая архитектура: за счёт «запекания» сложных нежёстких деформаций в лёгкую сеть MLP и компенсации деталей с помощью блендшейпов TaoAvatar значительно повышает эффективность работы при сохранении высокого качества рендеринга.

Применение TaoAvatar

• Прямые трансляции в электронной коммерции: TaoAvatar можно использовать для создания реалистичных виртуальных ведущих.

• Голографическая связь: в удалённых коммуникациях TaoAvatar способен генерировать реалистичные виртуальные аватары.

• Виртуальные развлечения: в играх и приложениях виртуальной реальности TaoAvatar позволяет создавать персонализированных виртуальных персонажей.

• Мобильные устройства и устройства AR: TaoAvatar поддерживает работу на различных мобильных устройствах и устройствах AR, таких как Android, MacBook и Apple Vision Pro.

Как использовать TaoAvatar

1. Подготовка данных: необходимы многовидовые RGB-видео последовательности и соответствующая регистрационная информация SMPLX.

2. Создание шаблона: путём привязки гауссовских точек к шаблону SMPLX++ создаётся персонализированный параметризованный шаблон одетого человека.

3. Обучение и оптимизация: предварительное обучение сети StyleUnet, затем запекание нежёстких деформаций в лёгкую сеть MLP с помощью технологии дистилляции знаний.

4. Развёртывание и запуск: развёртывание оптимизированной модели на целевом устройстве с поддержкой рендеринга и взаимодействия в реальном времени.

Ссылки по теме

Проект: https://pixelai-team.github.io/TaoAvatar/

Статья: https://arxiv.org/pdf/2503.17032

Модель: https://huggingface.co/datasets/PixelAI-Team/TalkBody4D