Zero123: genera 3D de alta calidad a partir de una sola imagen 125

Hoy lanzamos la versión estable de Zero123, nuestro modelo entrenado internamente para generar imágenes condicionadas por vista. En comparación con el anterior modelo de última generación Zero123-XL, la versión estable de Zero123 produce resultados significativamente mejorados. Esto se logra mediante 3 innovaciones clave:

1. Un conjunto de datos de entrenamiento mejorado, con un filtrado masivo de Objaverse para retener solo objetos 3D de alta calidad; los objetos que renderizamos son más realistas que los de métodos anteriores.

2. Durante el entrenamiento y la inferencia, proporcionamos al modelo ángulos de cámara estimados. Esta condición de elevación le permite hacer predicciones más informadas y de mayor calidad.

3. Un conjunto de datos precalculado (variables latentes precalculadas) y un cargador de datos mejorado que admite tamaños de lote mayores; en combinación con la primera innovación, esto ofrece una eficiencia de entrenamiento 40 veces superior en comparación con Zero123-XL.

Características de Zero123:

La versión estable de Zero123 puede generar vistas novedosas de objetos, demostrando una comprensión 3D de la apariencia del objeto desde varios ángulos, con una calidad significativamente superior a la de Zero1-to-3 o Zero123-XL gracias a las mejoras en el conjunto de datos de entrenamiento y las condiciones de elevación.

El modelo se basa en Stable Diffusion 1.5 y consume la misma cantidad de VRAM que SD1.5 para generar 1 vista nueva. La generación de objetos 3D con Stable Zero123 requiere más tiempo y memoria (se recomienda 24 GB de VRAM).

Para avanzar en la investigación abierta sobre la generación de objetos 3D, hemos mejorado el código fuente abierto de Threestudio para que sea compatible con Zero123 y Stable Zero123. Una versión simplificada del flujo de Stable 3D se encuentra actualmente en vista previa privada. Técnicamente, esto utiliza el muestreo por destilación de puntajes (SDS) para optimizar un NeRF con el modelo Stable Zero123, a partir del cual podemos crear posteriormente mallas 3D texturizadas. Este proceso puede adaptarse a la generación de texto a 3D, generando primero una sola imagen con SDXL y luego creando el objeto 3D con Stable Zero123.

Proyecto Zero123: https://github.com/cvlab-columbia/zero123

Prueba Zero123: https://huggingface.co/spaces/cvlab/zero123-live

Paper de Zero123: https://arxiv.org/abs/2303.11328

El modelo ya está disponible en Hugging Face, donde investigadores y usuarios no comerciales pueden descargarlo y experimentar con él.