PartCrafter: Ein 3D-Generierungsmodell, das mehrere Teile und Objekte aus einem einzigen Bild erstellt 62

小编 · 2025-06-12

PartCrafter ist ein neuartiges 3D-Generierungswerkzeug, das gemeinsam von der Peking-Universität, ByteDance und der Carnegie Mellon University entwickelt wurde. Es kann direkt mehrere 3D-Mesh-Teile mit klaren Strukturen und Formen aus einem einzigen gewöhnlichen RGB-Bild erzeugen.

PartCrafter: Ein 3D-Generierungsmodell, das mehrere Teile und Objekte aus einem einzigen Bild erstellt

Was ist PartCrafter?

PartCrafter ist ein neuartiges 3D-Generierungs-Tool, das in Zusammenarbeit zwischen der Universität Peking, ByteDance und der Carnegie Mellon University entwickelt wurde. Es kann aus einem gewöhnlichen RGB-Bild direkt mehrere 3D-Netzteile mit klar definierter Struktur und Form erzeugen.

PartCrafter: Ein 3D-Generierungsmodell, das aus einem einzelnen Bild mehrere Teile und Objekte erzeugt.webp

Kernfunktionen

Mehrteilgenerierung: PartCrafter kann aus einem einzigen Bild in einem Durchgang mehrere unabhängige 3D-Teile erzeugen, ohne dass das Bild zuvor segmentiert werden muss.
Teilebene-Bearbeitung: Die erzeugten 3D-Modelle unterstützen die separate Bearbeitung jedes Teils, etwa die Anpassung von Position, Drehwinkel oder Skalierung.
Ein-Klick-Generierung: Der Benutzer muss nur ein Bild bereitstellen, und PartCrafter erzeugt direkt komplexe 3D-Szenen.
Effiziente Generierung: Dank eines vortrainierten 3D-Netzdiffusions-Transformers (DiT) ist die Generierungsgeschwindigkeit von PartCrafter höher.

Technische Prinzipien

Kompositioneller latenter Raum: Jedes 3D-Teil wird durch eine Reihe unabhängiger latenter Tokens dargestellt. So können sich die Teile bei der Generierung unabhängig voneinander entwickeln und gleichzeitig die Details auf Teilebene bewahren.
Hierarchischer Aufmerksamkeitsmechanismus: Dieser Mechanismus ermöglicht einen geordneten Informationsfluss innerhalb eines einzelnen Teils sowie zwischen den einzelnen Teilen und stellt sicher, dass das Ergebnis insgesamt konsistent ist.
Basiert auf einem vortrainierten 3D-Netzdiffusions-Transformer (DiT): Er übernimmt vortrainierte Gewichte, Encoder und Decoder, was die Generierungsfähigkeit des Modells weiter verbessert.
Ende-zu-Ende teilebewusste Generierung: Mit nur einem Bild können mehrere 3D-Teile gleichzeitig entrauscht werden, sodass eine direkte Generierung von einem einzelnen Objekt bis hin zu komplexen Multi-Objekt-Szenen möglich ist.

Daten und Training

Datensatz: Aus umfangreichen 3D-Datensätzen wurden Annotationen auf Teilebene extrahiert und ein Datensatz mit rund 50.000 annotierten Objekten und 300.000 unabhängigen Teilen erstellt.
Trainingsmethode: Es wird eine Curriculum-Learning-Strategie verwendet, um die Modellleistung schrittweise zu optimieren.

Anwendungsszenarien

Spieleentwicklung: Ermöglicht die schnelle Erzeugung hochwertiger 3D-Spielassets wie Charaktere, Gegenstände und Szenen. Entwickler müssen nur ein Bild bereitstellen oder eine einfache Beschreibung liefern und erhalten so schnell eine große Menge an 3D-Modellen, was die Spieleentwicklung erheblich beschleunigt.
Architektur und Innenarchitektur: Ermöglicht die schnelle Erstellung von Architekturmodellen und Raumgestaltungslösungen. Designer laden Bauzeichnungen oder Entwurfsskizzen hoch und erhalten sofort 3D-Modelle, die die Präsentation von Entwürfen erleichtern und es Kunden ermöglichen, die Designideen klarer zu verstehen.
Film- und TV-Produktion: Mit seiner Fähigkeit zur Modellierung ultrahochauflösender geometrischer Details und der Erzeugung von PBR-Modellen aus Mehrfachansichten kann es Film- und TV-Produktionsteams hochwertige 3D-Modellressourcen liefern.

Leistung

Hohe Effizienz: Die Erzeugung eines strukturierten 3D-Modells aus einem einzelnen Bild dauert nur etwa 40 Sekunden.
Hohe Genauigkeit: Die Generierungsgenauigkeit auf Teilebene und die Szenenkonsistenz sind im Vergleich zu bestehenden Methoden um 32 % bzw. 28 % verbessert.