InstantMesh: generación eficiente de mallas 3D a partir de imágenes 95

InstantMesh es una herramienta basada en una sola imagen, que utiliza la arquitectura avanzada del modelo de reconstrucción grande con vistas dispersas (LRM) para generar rápidamente mallas (Mesh) en 3D. Este marco permite a los usuarios convertir imágenes 2D en modelos 3D, simplificando el proceso de creación de contenidos 3D mediante un procesamiento automatizado, lo cual resulta muy útil en campos como el diseño de videojuegos, la animación y la visualización arquitectónica.

La arquitectura de InstantMesh es similar a la de Instant3D, compuesta por un modelo de difusión multivista GM y un modelo de reconstrucción a gran escala con vistas dispersas GR. Dada una imagen de entrada, el modelo de difusión multivista GM genera imágenes multivista consistentes en 3D, que luego se introducen en el modelo de reconstrucción a gran escala con vistas dispersas GR para reconstruir mallas 3D de alta calidad.

Dirección de experiencia en línea de InstantMesh:https://huggingface.co/spaces/TencentARC/InstantMesh

Características principales de InstantMesh:

• Generación eficiente de mallas 3D: InstantMesh es capaz de generar mallas 3D a partir de una sola imagen con una velocidad y calidad sin precedentes, generalmente en menos de 10 segundos. Esto se logra mediante la integración de un modelo de difusión multivista listo para usar y un modelo de reconstrucción con vistas dispersas, lo que permite crear rápidamente diversos modelos 3D.

• Retopología automática: InstantMesh puede retopologizar automáticamente mallas complejas, lo que la convierte en una valiosa herramienta para simplificar el proceso de creación de modelos 3D. Puede manejar diversas representaciones de superficies de entrada, incluidas nubes de puntos, escaneos de rango y mallas de triángulos, y ejecuta el pipeline completo de inmediato, incluso en mallas con cientos de miles de caras.

• Alta calidad: los resultados experimentales en conjuntos de datos públicos muestran que InstantMesh supera de manera clara, tanto cualitativa como cuantitativamente, a otros modelos de referencia más recientes de imagen a 3D.

• Escalabilidad de entrenamiento: basada en la arquitectura LRM, ofrece una escalabilidad de entrenamiento superior, capaz de manejar conjuntos de datos a gran escala.

• Integración de un módulo diferenciable de extracción de isosuperficies: aplica supervisión geométrica directamente sobre la representación de malla, mejorando la eficiencia del entrenamiento y la calidad de la malla generada.

Implementación y compatibilidad

• Integración con Modo: a partir de la versión 10.2, Modo integra el algoritmo Instant Meshes para implementar su función de retopología automática, lo que demuestra la aplicación práctica de InstantMesh en software profesional.

• Software de código abierto: InstantMesh está disponible en GitHub como software de código abierto, y puede ser utilizado por una amplia variedad de usuarios en distintas plataformas (incluidas Windows, Mac y Linux 5).

• Requisitos técnicos: para quienes estén interesados en utilizar InstantMesh, se recomiendan unas especificaciones técnicas que incluyen el uso de Python>=3.10, PyTorch>=2.1.0 y CUDA=12.1, junto con requisitos específicos de instalación y de pesos del modelo.

La aparición de InstantMesh augura una nueva transformación en el campo del modelado y la visualización 3D,ofreciendo una solución potente y eficiente para la retopología automática y la generación de mallas 3D a partir de una sola imagen.Su objetivo es resolver el problema de la escasez de datos 3D y replicar en la generación 3D el éxito obtenido en la generación de imágenes y vídeos. Combina las ventajas de los modelos de difusión multivista y de los modelos de reconstrucción con vistas dispersas basados en la arquitectura LRM, logrando mejorar significativamente la eficiencia del entrenamiento y la escalabilidad sin sacrificar la calidad de la generación.