Mnn3dAvatar: el framework de humanos digitales 3D de código abierto de Alibaba, un nuevo aliado para el livestreaming comercial 64

¿Qué es Mnn3DAvatar?

Mnn3dAvatar es una arquitectura de humano digital 3D de código abierto desarrollada por Alibaba, basada en el framework ligero MNN. Puede capturar expresiones faciales en tiempo real y mapearlas sobre personajes virtuales en 3D, haciendo que los personajes sean más vivos y perceptibles. Incluso sin experiencia compleja en modelado, los desarrolladores pueden crear rápidamente hermosos humanos digitales en 3D.

Principio técnico de Mnn3dAvatar

Mnn3dAvatar está construido sobre el framework MNN, combinando reconstrucción gaussiana 3D y tecnologías de impulsión por ia de huella de voz. La IA permite captura de movimientos faciales de alta precisión y renderizado en tiempo real, con impulso mediante voz, expresiones, gestos y otros.

Aspectos técnicos destacados

• Captura facial en tiempo real: el aprendizaje profundo puede capturar con precisión las expresiones del usuario y mapearlas rápidamente sobre personajes 3D, siendo adecuado para escenarios como transmisiones en vivo y reuniones virtuales.

• Despliegue ligero: bajo la optimización del framework MNN, Mnn3dAvatar no requiere hardware de alta gama para realizar cálculos eficientes en numerosos dispositivos, lo que reduce enormemente la barrera de entrada para el desarrollo.

• Soporte multimodal: además de la captura facial, también admite tareas como generación de texto e imágenes, ofreciendo interfaces flexibles para los desarrolladores.

• Ecosistema de código abierto: como parte del ecosistema de código abierto de Alibaba, incluye abundantes API y herramientas, que pueden integrarse sin problemas en aplicaciones de plataformas como Android e iOS.

Escenarios de aplicación de Mnn3dAvatar

• Transmisiones en vivo de comercio electrónico: los anfitriones pueden transmitir en vivo en el estado de un personaje virtual 3D, aumentando la diversión y la interactividad, reduciendo la necesidad de aparecer en cámara, siendo adecuado para que las plataformas de comercio electrónico creen contenido diferenciado.

• Exhibición virtual y entretenimiento: permite experiencias visuales inmersivas en escenarios de ídolos virtuales, animación de personajes de juegos y reuniones virtuales.

• Educación y formación: las instituciones educativas pueden utilizarla para crear instructores virtuales, mejorando la interactividad y el atractivo de la enseñanza en línea.

El lanzamiento de Mnn3dAvatar ha completado el ecosistema de MNN. Desde su apertura en 2019, MNN se ha aplicado ampliamente dentro de Alibaba, incluyendo más de 70 escenarios de negocio como Taobao, Tmall y DingTalk. Al mismo tiempo, Alibaba también ha publicado como código abierto otro modelo de generación de humanos digitales 3D llamado LAM (Live Avatar Model), que permite generar rápidamente un humano digital 3D interactivo a partir de una sola imagen.

Dirección de código abierto:

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md