Hi3DGen: Framework zur Erzeugung hochwertiger 3D-Geometrie aus 2D-Bildern 132

Was ist Hi3DGen?

Hi3DGen ist ein Framework zur Erzeugung hochrealistischer 3D-Geometriemodelle aus 2D-Bildern. Es verwendet Normalenkarten als Zwischendarstellung und kombiniert einen Bild-zu-Normalen-Schätzer mit einem Normalen-zu-Geometrie-Lernverfahren, um die Wiedergabetreue zu verbessern. Darüber hinaus wurde der hochwertige synthetische Datensatz DetailVerse erstellt, um das Training zu unterstützen. Experimente zeigen, dass Hi3DGen bei der Erzeugung reichhaltiger geometrischer Details sehr gut abschneidet und sich für Szenarien wie Virtual Reality und Spieleentwicklung eignet.

Funktionsmerkmale von Hi3DGen

• Hochrealistische 3D-Generierung: Durch die Verwendung von Normalenkarten als Zwischendarstellung in Kombination mit fortschrittlichen Schätzern und Lernverfahren können aus 2D-Bildern hochrealistische und detailreiche 3D-Geometriemodelle erzeugt werden.

• Starke Generalisierungsfähigkeit: Durch eine Dual-Stream-Trainingsstrategie werden die niederfrequenten und hochfrequenten Bildmodi entkoppelt, sodass das Modell unter verschiedenen Eingabebedingungen stabil qualitativ hochwertige Ergebnisse liefert.

• Effiziente Geometrieüberwachung: Durch ein latentes Diffusionslernverfahren mit Normalenregularisierung wird ein klares Überwachungssignal für die 3D-Geometrieerzeugung bereitgestellt, was die Generierungsgenauigkeit deutlich verbessert.

• Unterstützung durch hochwertige Daten: Ausgestattet mit dem synthetischen Datensatz DetailVerse, der komplexe geometrische Strukturen und reichhaltige Details enthält, bietet er eine solide Datengrundlage für das Modelltraining.

Aufbau des Hi3DGen-Frameworks

• Bild-zu-Normalen-Schätzer (NiRNE): Durch Rauschinjektion und Dual-Stream-Training werden die nieder- und hochfrequenten Bildmodi entkoppelt, um eine generalisierungsfähige, stabile und klare Normalenschätzung zu erreichen.

• Normalen-zu-Geometrie-Lernverfahren (NoRLD): Verwendet ein latentes Diffusionslernverfahren mit Normalenregularisierung, um während des Trainings eine klare 3D-Geometrieüberwachung bereitzustellen und die Generierungswiedergabetreue deutlich zu erhöhen.

• 3D-Datensynthese-Pipeline: Aufbau eines hochwertigen synthetischen 3D-Datensatzes namens DetailVerse zur Unterstützung des Framework-Trainings.

Technische Vorteile von Hi3DGen

• Nutzung von Normalenkarten als Zwischendarstellung: Normalenkarten kodieren Informationen über die Oberflächenorientierung, können die Domänenlücke zwischen synthetischen Trainingsdaten und realen Anwendungen wirksam verringern und liefern klarere geometrische Hinweise für das geometrische Lernen.

• Dual-Stream-Trainingsstrategie: Durch die Entkopplung des Lernens niederfrequenter und hochfrequenter Bildmodi kann NiRNE klarere Normalenkarten erzeugen und gleichzeitig Stabilität gewährleisten.

• Hochwertiger synthetischer Datensatz: Der DetailVerse-Datensatz enthält komplexe geometrische Strukturen und reichhaltige Oberflächendetails und trägt dazu bei, präzisere Modelle zu trainieren.

Anwendungsszenarien von Hi3DGen

• Virtual Reality (VR) und Augmented Reality (AR): Schnelle Erzeugung realistischer 3D-Szenen und Objekte aus 2D-Bildern.

• Spieleentwicklung: Wird verwendet, um aus Konzeptzeichnungen oder vorhandenen 2D-Assets schnell 3D-Modelle für Spiele zu erzeugen.

• Architekturdesign und Visualisierung: Erzeugung von 3D-Architekturmodellen aus Bauzeichnungen oder Fotos, um Designern eine schnelle Erstellung von Designentwürfen zu ermöglichen.

• Film-Spezialeffekte und Animationsproduktion: Schnelle Erzeugung komplexer 3D-Szenen und Requisitenmodelle, wodurch Modellierungszeit gespart wird.

• Kulturerbe-Schutz: Erzeugung hochrealistischer 3D-Modelle aus Fotos von Kulturdenkmälern für die digitale Erhaltung und Präsentation.

Wie verwendet man Hi3DGen?

1. Online-Demo von Hi3DGen aufrufen: https://huggingface.co/spaces/Stable-X/Hi3DGen

2. Laden Sie ein oder mehrere Bilder hoch

3. Klicken Sie auf die Schaltfläche „Generate Shape" und warten Sie auf die Generierung

4. Verwenden Sie die Funktion „Export Mesh", um 3D-Assets in verschiedenen Formaten zu exportieren

Projekt-Hauptseite: https://stable-x.github.io/Hi3DGen/

Online-Demo: https://huggingface.co/spaces/Stable-X/Hi3DGen

GitHub-Repository: https://github.com/Stable-X/Hi3DGen

Paper: https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf