Mnn3dAvatar: открытый 3D-фреймворк цифровых аватаров от Alibaba — новый инструмент для прямых трансляций 60

Что такое Mnn3DAvatar?

Mnn3dAvatar — это открытая 3D-цифровая модель человека (digital human) от Alibaba, разработанная на базе лёгкого фреймворка MNN. Она позволяет в реальном времени захватывать выражения лица и переносить их на 3D-виртуального персонажа, делая его более живым и выразительным. Даже без опыта в сложном 3D-моделировании разработчики могут быстро создавать качественных 3D-цифровых персонажей.

Технические принципы Mnn3dAvatar

Mnn3dAvatar построен на фреймворке MNN и сочетает 3D-реконструкцию с помощью гауссовых splatting, а также технологии ИИ-управления на основе голосовых отпечатков. ИИ обеспечивает высокоточное распознавание мимики и рендеринг в реальном времени, а также поддерживает различные способы управления: голосом, выражениями лица, жестами и т. д.

Технические преимущества

• Захват лица в реальном времени: алгоритмы глубокого обучения точно распознают выражения лица пользователя и быстро переносят их на 3D-персонажа, что подходит для прямых трансляций, виртуальных совещаний и других сценариев.

• Лёгкое развёртывание: благодаря оптимизации фреймворка MNN Mnn3dAvatar эффективно работает на множестве устройств без необходимости в мощном оборудовании, что значительно снижает порог входа для разработчиков.

• Мультимодальная поддержка: помимо захвата лица поддерживаются также генерация текста и изображений, что предоставляет разработчикам гибкие интерфейсы.

• Открытая экосистема: как часть открытой экосистемы Alibaba, включает богатый набор API и инструментов и легко встраивается в приложения на платформах Android, iOS и других.

Сценарии применения Mnn3dAvatar

• Прямые трансляции с продажами: ведущие могут вести эфир в образе 3D-виртуального персонажа, что повышает интерес и интерактивность, снижает необходимость появления в кадре реальных людей и подходит для создания дифференцированного контента на платформах электронной коммерции.

• Виртуальные презентации и развлечения: позволяет создавать виртуальных идолов, анимировать игровых персонажей и обеспечивать эффект полного погружения в сценариях виртуальных совещаний.

• Образование и обучение: образовательные учреждения могут с его помощью создавать виртуальных преподавателей, повышая интерактивность и привлекательность онлайн-занятий.

Выход Mnn3dAvatar завершает экосистему MNN. С момента открытия исходного кода в 2019 году MNN широко применяется внутри Alibaba — более чем в 70 бизнес-сценариях, включая Taobao, Tmall, DingTalk и другие. Одновременно Alibaba также открыла исходный код другой модели генерации 3D-цифровых персонажей — LAM (Live Avatar Model), которая позволяет быстро создавать интерактивного 3D-цифрового человека по одному изображению.

Адрес открытого исходного кода:

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md