TRELLIS 3D: 3D-Modelle aus einem Bild oder einer Textbeschreibung generieren 82

Was ist TRELLIS 3D

TRELLIS 3D ist ein Open-Source-3D-Generierungsmodell, das vom Microsoft Research Asia in Zusammenarbeit mit der Tsinghua-Universität und der University of Science and Technology of China entwickelt wurde. Mithilfe der SLAT-Technologie kann es aus einem 2D-Bild oder einer Textbeschreibung direkt hochwertige 3D-Modelle erzeugen.

Das Modell TRELLIS 3D verfügt über 4 Milliarden Parameter und basiert auf der全新的 O-Voxel-Darstellung, die den Raum um das 16-fache komprimiert. In nur 3 Sekunden können texturierte Modelle mit einer Auflösung von 512³ erzeugt werden.

Hauptmerkmale von TRELLIS 3D

• Extrem schnelle Generierung: Auf einer H100 dauert 512³ nur 3 Sekunden, 1024³ etwa 17 Sekunden und 1536³ ungefähr 1 Minute

• Hohe Auflösung: 512³ bis 1536³ sind wählbar, mit beeindruckender Komprimierungsrate

• Jede Form möglich: Anders als herkömmliche Methoden, die nur geschlossene Modelle erzeugen können, werden auch offene Oberflächen wie Kleidung oder Blätter sowie Objekte mit inneren Strukturen unterstützt

• Vollständiges Materialsystem: Unterstützt den gesamten PBR-Workflow inklusive Grundfarbe, Rauheit, Metallizität und Transparenz

• Umfassende Formatunterstützung: Gängige Formate wie GLB, OBJ, STL, GLTF, USDZ, PLY und 3D Gaussian können exportiert werden

• Zwei Eingabemethoden: Sowohl Bild-zu-3D als auch Text-zu-3D werden unterstützt

• Lokale Bearbeitung möglich: Nach der Generierung können bestimmte Bereiche hinzugefügt, gelöscht oder geändert werden

• Einfache Verarbeitung: Die Umwandlung von Textur-Meshes zu O-Voxel dauert auf der CPU weniger als 10 Sekunden, die Rückumwandlung mit CUDA nur 100 Millisekunden

Anwendungsbereiche von TRELLIS 3D

• Spieleentwicklung: Schnelle Erstellung von Szenenrequisiten und Charakteren, ohne dass die Artists von Grund auf modellieren müssen

• Film und Animation: Praktisch für die Erstellung von VFX-Assets und Vorschau-Modellen

• VR/AR: Erzeugung realistischer virtueller Objekte zur Steigerung der Immersion

• Industriedesign: Schnelle Erstellung von Produktprototypen zur Designvalidierung

• E-Commerce: Erstellung interaktiver 3D-Produktdarstellungen

• 3D-Druck: Direkte Erzeugung druckfertiger Modelldateien

• Bildung und Forschung: Einsatz als Werkzeug zur 3D-Datengenerierung

Vor- und Nachteile von TRELLIS 3D

Stärken

• Tatsächlich hohe Qualität: 4 Milliarden Parameter plus Sparse 3D VAE sorgen für beeindruckende Details und Wiedergabetreue

• Ungeschlagene Geschwindigkeit: Modelle in 3 Sekunden – viel schneller als herkömmliche Modellierung

• Wenige Topologie-Einschränkungen: Auch komplexe geometrische Strukturen, einschließlich offener Oberflächen und innerer Strukturen, sind machbar

• Ausgereifte Materialien: Vollständiger PBR-Workflow, Transparenzeffekte werden ebenfalls unterstützt

• Vollständig Open Source: MIT-Lizenz, auch für kommerzielle Nutzung geeignet

• Moderate Hardware-Anforderungen: 16 GB VRAM reichen aus, RTX 3090/4090 werden unterstützt

Schwächen

• Hardwarehungrig: Für maximale Geschwindigkeit ist eine Top-Karte wie die H100 nötig, mit normalen Grafikkarten ist es deutlich langsamer

• Grenzen bei komplexen Details: Gesichtszüge und feine Texturen (z. B. Seile) werden noch nicht perfekt generiert

• Hohe Trainingskosten: Umfangreiches Pre-Training erfordert riesige 3D-Datenmengen, ein eigenes Training von Grund auf ist sehr teuer

• Auch bei Vergrößerung ein Low-Poly-Modell: Randdetails wirken vergrößert etwas grob – im Wesentlichen bleibt es ein Low-Poly-Modell

Tutorial zur Nutzung von TRELLIS 3D

1. Rufen Sie direkt die offizielle TRELLIS-3D-Webseite auf

2. Laden Sie ein JPG/PNG-Bild hoch (empfohlen 1920×1080 oder höher)

3. Klicken Sie auf „Generieren" und warten Sie einige Sekunden, bis das 3D-Modell erscheint

4. Wenn die Vorschau passt, laden Sie das Modell direkt als GLB oder in einem anderen Format herunter

Häufig gestellte Fragen

• TRELLIS 3D ist zu langsam?

  Stellen Sie sicher, dass die CUDA-Beschleunigung aktiviert ist; empfohlen werden eine RTX 4090 oder höher. Eine Reduzierung der Auflösung erhöht die Geschwindigkeit.

• VRAM-Speicher erschöpft?

  Setzen Sie die Umgebungsvariable PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True, um VRAM zu sparen.

• Transparenzeffekt wird nicht angezeigt?

  GLB ist standardmäßig nicht transparent. Sie müssen in der 3D-Software die Alpha-Textur manuell mit der Transparenz verknüpfen.

• Details nicht scharf genug?

  Probieren Sie Auflösungen von 1024³ oder 1536³; besonders komplexe Strukturen stoßen aktuell noch an technische Grenzen.

• Welche Bildformate werden unterstützt?

  JPG, PNG und WEBP sind möglich. Bilder mit Transparenzkanal werden als Maske verwendet.

• Ist eine kommerzielle Nutzung möglich?

  Ja, MIT-Lizenz, aber beachten Sie, dass Abhängigkeiten (wie nvdiffrast) eigene Lizenzen haben können.

• Sie möchten selbst feintunen?

  TRELLIS.2 stellt den vollständigen Trainingscode bereit. Mit train.py können Sie Feintuning betreiben oder von Grund auf trainieren.

Verwandte Informationen:

KI-generierte 3D-Modelle