PrimitiveAnything: Ein neues 3D-Form-Generierungs-Framework von Tencent AIPD und der Tsinghua-Universität 74

小编 · 2025-05-14

PrimitiveAnything ist ein neues 3D-Form-Generierungs-Framework, das gemeinsam von der AI Platform Department (aiPD) von Tencent und der Tsinghua-Universität entwickelt wurde. Es zerlegt komplexe 3D-Formen in einfache Teile und fügt sie zu vollständigen Formen zusammen. Die erzeugten Modelle sind hochwertig, auf unterschiedliche Weise erstellbar, leicht zu speichern und zu bearbeiten. Ein klarer parametrischer Ansatz und eine autoregressive Architektur sorgen für stabiles und präzises Training. Es unterstützt text- oder bildbasierte 3D-Generierung, erlaubt das flexible Hinzufügen neuer Teiltypen und passt sich an verschiedene Repräsentationen an.

PrimitiveAnything: Ein neues 3D-Form-Generierungs-Framework von Tencent AIPD und der Tsinghua-Universität

Was ist PrimitiveAnything?

PrimitiveAnything ist ein neuartiges 3D-Formengenerierungs-Framework, das gemeinsam von der Künstliche-Intelligenz-Plattformabteilung (aiPD) von Tencent und der Tsinghua-Universität entwickelt wurde. Es kann komplexe 3D-Formen in einfache Komponenten zerlegen und sie anschließend wieder zu vollständigen Formen zusammensetzen. Die mit diesem Tool erzeugten Modelle sind von hoher Qualität, ermöglichen unterschiedliche Erstellungsweisen und sind einfach zu speichern und zu bearbeiten. Es verwendet ein klares parametrisches Verfahren und eine autoregressive Architektur, um einen stabilen und genauen Trainingsprozess sicherzustellen. Es unterstützt die Erzeugung von 3D-Inhalten aus Text oder Bildern und ermöglicht das flexible Hinzufügen neuer Komponententypen, um sich an verschiedene Darstellungsformen anzupassen.

PrimitiveAnything：腾讯AIPD和清华大学联合开发的新型3D形状生成框架.webp

Hauptfunktionen von PrimitiveAnything

Erzeugung hochwertiger 3D-Primitiven-Zusammensetzungen: Kann hochwertige 3D-Primitiven-Zusammensetzungen generieren, die der ursprünglichen Form geometrisch treu bleiben und der menschlichen intuitiven Vorstellung von Formen entsprechen.
Vielfältige 3D-Inhaltserstellung: Unterstützt die Erzeugung von 3D-Inhalten aus Text- oder Bildbedingungen und bietet den Nutzern so flexible Erstellungsmöglichkeiten.
Effiziente Speicherung und Bearbeitung: Durch die Verwendung von Primitivdarstellungen sind die erzeugten 3D-Modelle besonders speichereffizient und lassen sich zudem leicht bearbeiten und anpassen.
Autoregressive Transformer-Architektur: Generiert 3D-Primitiven Bild für Bild durch einen autoregressiven Transformer, kann Primitivsequenzen unterschiedlicher Länge verarbeiten und lässt sich problemlos um neue Primitivtypen erweitern.
Eindeutiges parametrisches Schema: Durch die Beseitigung von Mehrdeutigkeiten in der Parametrisierung wird sichergestellt, dass das Modell während des Trainings und der Generierung stabil und genau bleibt.
Geometrische Treue und semantische Konsistenz: Während der Generierung bleibt eine hohe geometrische Treue erhalten und es werden semantische Zerlegungsergebnisse erzeugt, die der menschlichen Wahrnehmung entsprechen.
Modulares Design: Das modulare Design des Frameworks ermöglicht die nahtlose Integration neuer Primitivtypen, ohne die Architektur zu verändern, und passt sich an unterschiedliche Primitivdarstellungen an.

PrimitiveAnything主要功能.webp

Technische Prinzipien

Eindeutiges parametrisches Schema: Verschiedene Arten von Primitiven (wie Würfel, elliptische Zylinder und Ellipsoide) werden in einem einheitlichen parametrischen Schema zur gemeinsamen Darstellung von 3D-Formen verwendet. Um die in der Parametrisierung inhärenten Mehrdeutigkeiten zu lösen, hat das Forschungsteam einen umfassenden Satz von Regeln entwickelt: Durch die Analyse der Symmetrien der Primitive wird die Gruppe mit der kleinsten L1-Norm der Rotationsparameter als eindeutige Darstellung ausgewählt, was die Stabilität und Genauigkeit des Trainingsprozesses sicherstellt.
Autoregressive Transformer-Architektur: Verwendet eine Decoder-basierte Transformer-Architektur, die variable Sequenzlängen von Primitiven basierend auf den Formmerkmalen erzeugen kann. Zunächst werden die Merkmalsrepräsentationen von 3D-Formen durch einen Punktwolken-Encoder extrahiert. Anschließend nimmt das autoregressive Transformer-Modell diese Formmerkmale sowie die zuvor erzeugten Primitivinformationen entgegen und sagt die Merkmale des nächsten Primitivs voraus. Um die Abhängigkeiten zwischen den Primitivattributen zu modellieren, werden mithilfe eines kaskadierten Decoders nacheinander Attribute wie Typ, Position, Rotation und Skalierung der Primitive vorhergesagt, wodurch die natürlichen Korrelationen zwischen den Primitivattributen erfasst werden, die der menschlichen Zusammenbaulogik entsprechen.
Autoregressiver Generierungsablauf: Der gesamte Primitiv-Abstraktionsprozess wird als Sequenzgenerierungsaufgabe neu konzipiert. Das Modell verwendet die Punktwolke als Eingabebedingung und generiert autoregressiv eine Primitivsequenz, bis ein Ende-Marker vorhergesagt wird. Während des Trainings werden Cross-Entropy-Verlust, Chamfer-Distanz (für die Rekonstruktionsgenauigkeit) und Gumbel-Softmax (für differenzierbares Sampling) kombiniert, bis der Ende-Marker der Sequenz generiert wird.

PrimitiveAnything技术原理.jpg

Leistung

Auf einem Testdatensatz, der 12 Kategorien wie Möbel, Verkehrsmittel und Architektur abdeckt, zeigt PrimitiveAnything eine beeindruckende Leistung. Beispielsweise erreicht PrimitiveAnything beim Chamfer-Distanz-Indikator (CD) einen Wert von 0,21, während herkömmliche Methoden 0,82 und der bisherige SOTA 0,45 erzielen; beim Voxel-IoU-Indikator erreicht PrimitiveAnything 89 %, während herkömmliche Methoden 68 % und der bisherige SOTA 75 % erreichen; beim Segmentierungskonsistenz-Indikator (SC) erreicht PrimitiveAnything 0,92, während herkömmliche Methoden 0,63 und der bisherige SOTA 0,71 erreichen; bei der Speicherkompressionsrate erreicht PrimitiveAnything 15x, während herkömmliche Methoden 1x und der bisherige SOTA 3x erreichen. Besonders bemerkenswert ist seine multimodale Generierungsfähigkeit: Bei Text-zu-3D-Generierungsaufgaben kann das System komplexe Beschreibungen wie „ein Holzstuhl mit geschwungener Rückenlehne" genau verstehen und semantisch passende Primitiv-Kombinationsstrukturen erzeugen.

Anwendungsszenarien für PrimitiveAnything

3D-Modellierung und -Design: Kann schnell das „geometrische Skelett" komplexer 3D-Modelle erzeugen, auf dessen Basis sich Designer auf die Feinbearbeitung der Details konzentrieren können, was die Arbeitseffizienz und Designgeschwindigkeit erhöht.
Generierung von Spiel-Assets: Spieldesigner können damit schnell verschiedene Spielumgebungen und Charaktermodelle erzeugen und so die Entwicklungseffizienz steigern. Spieler können ebenfalls durch einfaches Zusammensetzen geometrischer Bausteine neue Charaktere oder Gegenstände erschaffen, die von der KI automatisch optimiert und nahtlos in die Physik-Engine integriert werden.
User Generated Content (UGC): Das Framework unterstützt die Erzeugung von 3D-Inhalten aus Text- oder Bildeingaben, sodass Nutzer die erzeugten Ergebnisse einfach bearbeiten können, was neue Möglichkeiten für UGC in Spielen eröffnet.
Virtuelle Realität (VR) und Augmented Reality (AR): In VR- und AR-Umgebungen können realistische 3D-Objekte schnell erzeugt werden, um das Nutzererlebnis zu verbessern.