DSO: un framework de optimización de modelos 3D que respeta las leyes de la física, publicado por Oxford 162

¿Qué es DSO?

DSO (Direct Simulation Optimization) es un método publicado por la Universidad de Oxford para mejorar los generadores de modelos 3D a partir de imágenes (como TRELLIS). Mediante la optimización por simulación directa, refuerza la estabilidad de los objetos 3D generados en simulaciones físicas y en el mundo real. No requiere costes adicionales en el momento de la prueba y puede generar objetos 3D que se mantienen en pie en poco tiempo.

Características y funciones de DSO

• Mejora de la estabilidad de los modelos 3D: resuelve el problema de que los generadores tradicionales no pueden producir objetos 3D que se mantengan en pie bajo la gravedad, aumentando significativamente la estabilidad de los objetos 3D generados en simulaciones físicas y en la impresión 3D.

• Alta eficiencia: no añade costes adicionales en el momento de la prueba, y genera objetos 3D estables en cuestión de segundos.

• Compatibilidad: se optimiza sobre generadores existentes de modelos 3D a partir de imágenes (como TRELLIS), integrándose a la perfección y aprovechando al máximo sus funciones y ventajas originales.

• Proporciona modelos preentrenados: ofrece dos puntos de control de modelos preentrenados, entrenados mediante Optimización Directa de Preferencias (DPO) y Optimización Directa de Recompensas (DRO), lo que facilita a los usuarios comenzar a utilizarlos rápidamente.

Escenarios de aplicación de DSO

• Impresión 3D: los modelos 3D generados tienen más probabilidades de mantenerse en pie de forma estable tras la impresión real, lo que reduce los fallos de impresión o la necesidad de estructuras de soporte adicionales causados por la inestabilidad del modelo, aumentando la tasa de éxito y la practicidad de la impresión 3D.

• Realidad virtual y realidad aumentada: crea objetos 3D más realistas y estables en entornos virtuales, mejorando la experiencia del usuario; por ejemplo, los objetos colocados en escenas virtuales pueden existir de forma estable siguiendo las leyes de la física.

• Desarrollo de videojuegos: ofrece soluciones más acordes con las reglas físicas para la generación de modelos 3D en los juegos, haciendo que estos se comporten de forma más natural bajo factores físicos como la gravedad, aumentando el realismo y la inmersión del juego.

• Diseño arquitectónico y diseño industrial: ayuda a los diseñadores a generar rápidamente prototipos de modelos 3D que cumplen con los requisitos de estabilidad física, permitiendo la evaluación y verificación初步 del diseño, y reduciendo el número de revisiones e iteraciones causedas por problemas de estabilidad.

Tutorial de uso de DSO

1. Instalación de dependencias:

• Instale las dependencias de TRELLIS, cree un entorno de Python e instale la versión especificada de PyTorch y las bibliotecas de dependencias relacionadas, ejecute el script para instalar otras bibliotecas pertinentes y, por último, instale la biblioteca Kaolin.

• Instale las dependencias restantes mediante el comando pip install -r requirements.txt.

2. Descarga de los modelos preentrenados: descargue los modelos preentrenados entrenados con DPO y DRO mediante los comandos git lfs install y git clone.

3. Inicio rápido para generar: utilice el script example.py, cargue el modelo preentrenado y la imagen de entrada, realice el preprocesamiento y la generación con TrellisImageTo3DPipeline y, finalmente, exporte el modelo generado en formato GLB.

4. Evaluación:

• Descargue el conjunto de datos de evaluación.

• Genere modelos 3D utilizando los puntos de control entrenados.

• Calcule las métricas de estabilidad y geometría.

5. Entrenamiento:

• Genere datos sintéticos de entrenamiento, lo que incluye la adquisición de imágenes, la generación de modelos 3D y la adición de retroalimentación de la simulación, guardando las puntuaciones de plausibilidad física.

• Inicie el trabajo de entrenamiento, especificando el directorio de datos y ejecutando el script finetune.py.

Dirección de Github:https://github.com/RuiningLi/dso