Meta presenta AssetGen 2.0: nuevo modelo base 3D 88

¿Qué es AssetGen 2.0?

AssetGen 2.0, presentado por Meta, es una nueva herramienta de generación de modelos 3D. Puede crear modelos 3D y texturas detallados y realistas de forma rápida a partir de indicaciones de texto o imagen. AssetGen 2.0 utiliza una técnica de difusión 3D de una sola etapa, lo que simplifica el proceso de generación y mejora la coherencia entre la forma y la textura de los modelos. Meta busca que, con esta herramienta, la creación de contenido 3D sea tan sencilla como la de contenido 2D, facilitando a todos la construcción de mundos virtuales. Además, Meta está desarrollando una nueva función que permitirá generar escenas 3D completas de una sola vez, haciendo que la creación de contenido 3D sea aún más accesible.

Funciones de AssetGen 2.0

AssetGen 2.0 es un modelo generativo diseñado específicamente para convertir indicaciones de texto e imagen en assets 3D de alta calidad. Está compuesto por dos submodelos desarrollados internamente por Meta: uno para generar mallas 3D (meshes) y otro para generar texturas (textures).

Arquitectura técnica

• Modelo de difusión 3D de una sola etapa: a diferencia de AssetGen 1.0, AssetGen 2.0 adopta un modelo de difusión 3D de una sola etapa que genera directamente mallas 3D a partir de indicaciones de texto, en lugar de generar primero vistas 2D y luego procesarlas. Esta arquitectura le permite generar assets 3D con coherencia geométrica y detalles finos.

• Mejoras en la generación de texturas: AssetGen 2.0 incluye un modelo TextureGen mejorado para generar texturas de alta calidad. El nuevo modelo presenta mejoras en coherencia de vistas, reparación de texturas y resolución de texturas.

Casos de uso

• Creación de mundos 3D: actualmente, Meta emplea AssetGen 2.0 internamente para crear mundos virtuales en 3D y planea extenderlo a los creadores de Horizon y al editor de Meta Horizon Desktop a finales de este año.

• Generación de escenas 3D completas: Meta también planea lanzar en los próximos meses una función de generación de escenas 3D completas basada en AssetGen 2.0, que permitirá a los creadores generar entornos virtuales complejos rápidamente mediante simples indicaciones de texto o imagen.

¿Qué mejoras presenta AssetGen 2.0 respecto a AssetGen 1.0?

Sobre la base de AssetGen 1.0, AssetGen 2.0 supone un gran avance en la investigación de IA generativa 3D. Adopta un modelo de difusión 3D de una sola etapa (single-stage 3D diffusion model), lo que mejora significativamente la expresividad de los detalles y el realismo de las mallas 3D. El modelo TextureGen asociado garantiza que los assets no solo resulten visualmente atractivos, sino que también dispongan de texturas de alta calidad capaces de satisfacer las exigencias de entornos de producción. Este modelo mantiene la coherencia en la estructura geométrica y, al mismo tiempo, ofrece detalles extremadamente finos. A diferencia de AssetGen 1.0, utiliza un mecanismo de difusión 3D para el modelado geométrico y se entrena sobre un gran corpus de assets 3D. En la generación de texturas, incorpora nuevas tecnologías como la mejora de la coherencia entre vistas, la reparación de texturas y la generación de texturas con mayor resolución.

Además, los assets 3D generados por AssetGen 2.0 presentan mejoras más evidentes en detalle y fidelidad en comparación con AssetGen 1.0, siendo capaz de generar assets con detalles geométricos finos.

Detalles:https://developers.meta.com/horizon/blog/AssetGen2