Zero123: hochwertiges 3D aus einem einzigen Bild 128

Heute veröffentlichen wir die stabile Version von Zero123, unser intern trainiertes Modell zur Erzeugung von ansichtsbedingten Bildern. Im Vergleich zum bisherigen Stand der Technik Zero123-XL liefert das stabile Zero123 deutlich verbesserte Ergebnisse. Dies wurde durch drei zentrale Innovationen erreicht:

1. Einen verbesserten Trainingsdatensatz, der aus Objaverse stark gefiltert wurde, sodass nur hochwertige 3D-Objekte erhalten bleiben; unsere gerenderten Objekte wirken dadurch realistischer als bei früheren Methoden.

2. Während des Trainings und der Inferenz stellen wir dem Modell geschätzte Kammerawinkel bereit. Diese Höhenwinkel-Bedingung ermöglicht es ihm, fundiertere und qualitativ hochwertigere Vorhersagen zu treffen.

3. Ein vorberechneter Datensatz (vorab berechnete Latents) sowie ein verbesserter Datenlader ermöglichen größere Batch-Größen, was in Kombination mit der ersten Innovation zu einer 40-fachen Steigerung der Trainingseffizienz im Vergleich zu Zero123-XL führt.

Zero123-Eigenschaften:

Das stabile Zero123 kann neuartige Ansichten von Objekten erzeugen und zeigt ein 3D-Verständnis des Aussehens eines Objekts aus verschiedenen Blickwinkeln. Dank des verbesserten Trainingsdatensatzes und der Höhenwinkel-Bedingung ist die Qualität deutlich höher als bei Zero1-to-3 oder Zero123-XL.

Das Modell basiert auf Stable Diffusion 1.5 und verbraucht beim Erzeugen einer neuen Ansicht dieselbe Menge VRAM wie SD1.5. Die Erzeugung eines 3D-Objekts mit Stable Zero123 erfordert mehr Zeit und Speicher (24 GB VRAM werden empfohlen).

Um offene Forschung im Bereich der 3D-Objekterzeugung zu ermöglichen, haben wir den Open-Source-Code von Threestudio verbessert, sodass er Zero123 und Stable Zero123 unterstützt. Eine vereinfachte Version des Stable-3D-Prozesses befindet sich derzeit in einer privaten Vorschau. Technisch gesehen wird dabei Score Distillation Sampling (SDS) verwendet, um mit dem stabilen Zero123-Modell ein NeRF zu optimieren, aus dem wir anschließend ein texturiertes 3D-Netz erstellen können. Dieses Verfahren kann auch für die Text-zu-3D-Erzeugung angepasst werden, indem zunächst mit SDXL ein einzelnes Bild erzeugt und anschließend mit Stable Zero123 das 3D-Objekt generiert wird.

Zero123-Projekt: https://github.com/cvlab-columbia/zero123

Zero123-Testversion: https://huggingface.co/spaces/cvlab/zero123-live

Zero123-Paper: https://arxiv.org/abs/2303.11328

Das Modell ist jetzt auf Hugging Face verfügbar, sodass Forscher und nicht-kommerzielle Nutzer es herunterladen und damit experimentieren können.