Zero123 : générer de la 3D de haute qualité à partir d'une seule image 138

Aujourd'hui, nous publions la version stable de Zero123, notre modèle entraîné en interne pour générer des images conditionnées par des points de vue. Par rapport au Zero123-XL, l'état de l'art précédent, Zero123 stable produit des résultats nettement améliorés. Cela a été rendu possible grâce à 3 innovations clés :

1. Un jeu de données d'entraînement amélioré, largement filtré à partir d'Objaverse pour ne conserver que les objets 3D de haute qualité ; les objets que nous rendons sont plus réalistes qu'avec les méthodes précédentes.

2. Pendant l'entraînement et l'inférence, nous fournissons au modèle des angles de caméra estimés. Cette condition d'élévation lui permet de faire des prédictions plus éclairées et de meilleure qualité.

3. Un jeu de données précalculé (variables latentes précalculées) et un chargeur de données amélioré prennent en charge des tailles de lots plus importantes. Combiné à la première innovation, cela permet une efficacité d'entraînement 40 fois supérieure à celle de Zero123-XL.

Caractéristiques de Zero123 :

Zero123 stable peut générer de nouvelles vues d'objets, démontrant une compréhension 3D de l'apparence des objets sous différents angles. Grâce aux améliorations du jeu de données d'entraînement et à la condition d'élévation, sa qualité est nettement supérieure à celle de Zero1-to-3 ou Zero123-XL.

Le modèle est basé sur Stable Diffusion 1.5 et consomme la même quantité de VRAM que SD1.5 pour générer 1 nouvelle vue. L'utilisation de Stable Zero123 pour générer des objets 3D nécessite plus de temps et de mémoire (24 Go de VRAM recommandés).

Pour permettre une recherche ouverte sur la génération d'objets 3D, nous avons amélioré le code open source de Threestudio afin de prendre en charge Zero123 et Stable Zero123. Une version simplifiée du pipeline Stable 3D est actuellement en aperçu privé. D'un point de vue technique, cela utilise le Score Distillation Sampling (SDS) pour optimiser un NeRF à l'aide du modèle Stable Zero123, à partir duquel nous pouvons ensuite créer un mesh 3D texturé. Ce processus peut être adapté à la génération texte-vers-3D, en utilisant d'abord SDXL pour générer une image unique, puis Stable Zero123 pour générer l'objet 3D.

Projet Zero123 : https://github.com/cvlab-columbia/zero123

Essai Zero123 : https://huggingface.co/spaces/cvlab/zero123-live

Papier Zero123 : https://arxiv.org/abs/2303.11328

Le modèle est désormais disponible sur Hugging Face, où les chercheurs et les utilisateurs non commerciaux peuvent le télécharger et l'expérimenter.