Make-A-Character: personas 3D a partir de texto 130

Make-A-Character permite generar, a partir de una sola frase que describa la forma del rostro, las facciones y las características del peinado, 3D humanos digitales ultrarrealistas con capacidades artísticas full-stack, de forma eficiente y escalable. El resultado generado incluye la cabeza y el cuerpo humano, así como accesorios y vestuario, y admite la animación mediante activos de expresiones faciales para mostrar los humanos digitales 3D de manera dinámica y realista. También puedes personalizar las características faciales, como la forma del rostro, el color de los ojos, el peinado, el tipo de cejas, la boca y la nariz, además de añadir arrugas y pecas, entre otros detalles. Make-A-Character admite indicaciones en inglés y en chino.

Dirección del proyecto Make-A-Character: https://human3daigc.github.io/MACH/

Dirección de demostración de Make-A-Character: https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summary

Características principales de Make-A-Character:

1. Gran realismo: los personajes se generan a partir de un conjunto de datos de escaneos de personas reales; el cabello se compone de hebras reales en lugar de una malla, y se renderiza utilizando la tecnología de renderizado basado en física (PBR) de Unreal Engine para conseguir efectos de renderizado en tiempo real de alta calidad.

2. Modelo completo: cada personaje es un modelo completo que incluye ojos, lengua, dientes, cuerpo entero y vestimenta, listo para usar sin necesidad de modelado adicional.

3. Animable: los personajes cuentan con un complejo sistema de armature (rig) que admite animaciones estándar, lo que aumenta su apariencia realista y sus diversas aplicaciones.

4. Controlable: los usuarios pueden personalizar en detalle las características faciales, como la forma del rostro, el color de los ojos, el peinado, el tipo de cejas, la boca y la nariz, además de añadir arrugas y pecas, entre otros.

5. Compatibilidad con la industria: los personajes 3D generados pueden integrarse sin problemas en los flujos de trabajo de gráficos por ordenador (CG) existentes, especialmente en los flujos de trabajo comúnmente utilizados en las industrias del videojuego y del cine.

Principio de Make-A-Character:

Make-A-Character (MACH) combina grandes modelos de lenguaje, modelos de visión y tecnologías de generación 3D.

El marco utiliza un modelo de lenguaje grande (LLM) para extraer diversos atributos faciales (por ejemplo, forma del rostro, forma de los ojos, forma de la boca, peinado y color, tipo de gafas). A continuación, estos atributos semánticos se asignan a las pistas visuales correspondientes, que a su vez guían la generación de una imagen de retrato de referencia utilizando Stable Diffusion junto con ControlNet. Mediante una serie de módulos de análisis facial 2D y de generación 3D, se generan la malla y la textura del rostro objetivo, y se ensamblan junto con otros accesorios que coincidan. La representación paramétrica facilita la animación de los avatares 3D generados.

Uso de Make-A-Character:

1. Introduce la descripción del rostro.

2. Haz clic en generar y espera 2 minutos.

3. Visualiza el resultado generado.

Siguiendo estos pasos, Make-A-Character puede generar rápidamente, a partir de una sencilla descripción de texto, personajes 3D realistas, completos y animables, adecuados para una amplia variedad de escenarios de entretenimiento y profesionales.