Tencent Hunyuan3D: Das erste Open-Source-3D-Modell mit Text- und Bild-zu-3D-Unterstützung 117

Tencent Hunyuan3D, vollständiger Name Hunyuan3D-1.0, ist ein von Tencent vorgestelltes Open-Source-3D-Modell, das sowohl Text- als auch Bild-zu-3D-Generierung unterstützt und die Einschränkungen bestehender 3D-Generierungsmodelle hinsichtlich Generierungsgeschwindigkeit und Generalisierungsfähigkeit behebt.

Das Tencent Hunyuan 3D-Generierungsmodell basiert auf der Diffusion-Technologie und unterstützt die Generierung von 3D-Assets aus Text und Bildern. Das Modell ist mit sorgfältig konzipierten Text- und Bildencodern, einem Diffusionsmodell sowie einem 3D-Decoder ausgestattet und ermöglicht Mehransichten-Generierung, Rekonstruktion sowie Generierung aus einer einzelnen Ansicht. Das Tencent Hunyuan 3D-Großmodell kann schnell beeindruckende 3D-Objekte erzeugen und ist für vielfältige nachgelagerte Anwendungen geeignet.

Technische Merkmale und Innovationen von Tencent Hunyuan 3D:

Schnelle Generierung: Die Lightweight-Version des Modells kann innerhalb von 10 Sekunden hochwertige 3D-Assets erzeugen und unterstützt die schnelle Generierung von 3D aus einem einzelnen Bild, mit einer Ende-zu-Ende-Generierung in unter 10 s, einschließlich Mesh- und Textur-Extraktion.

Zweistufiges Generierungsverfahren: Hunyuan3D-1.0 verwendet einen zweistufigen Prozess aus Mehransichten-Generierung und Mehransichten-Rekonstruktion. Zunächst werden mithilfe eines Multi-View-Diffusionsmodells sechs neue Bilder aus unterschiedlichen Blickwinkeln synthetisiert. Anschließend werden diese Bilder von einem Transformer-basierten Sparse-View-Rekonstruktionsmodell großer Kapazität verarbeitet, um schließlich 3D-Assets zu erzeugen.

Adaptive CFG-Technologie: In der Phase der Mehransichten-Generierung werden die Skalenwerte des Classifier-Free Guidance (CFG) für verschiedene Blickwinkel und Zeitschritte angepasst, um sicherzustellen, dass die erzeugten Bilder sowohl nah am Input als auch vielfältig sind.

Umfassende Open Source: Modellgewichte, Inferenzcode, Algorithmen usw. sind vollständig offen zugänglich. Es werden eine Lightweight- und eine Standardversion bereitgestellt. Die Lightweight-Version kann auf einer A100-GPU in etwa 10 Sekunden 3D-Assets erzeugen, was die Einstiegshürde für die 3D-Inhaltserstellung erheblich senkt.

Starke Generalisierungsfähigkeit: Hervorragende Generalisierungsfähigkeit und Kontrollierbarkeit, kann Objekte verschiedener Größenordnungen rekonstruieren – von großen Gebäuden bis hin zu kleinen Werkzeugen und Pflanzen – und deckt damit vielfältige kreative Anforderungen ab.

Leistung und Anwendung von Tencent Hunyuan 3D:

• Übertrifft SOTA: In qualitativen und quantitativen Bewertungen übertrifft Hunyuan3D-1.0 andere Open-Source-Modelle, insbesondere hinsichtlich Generierungsgeschwindigkeit und Generalisierungsfähigkeit.

• Breite Anwendung: Die Hunyuan3D-Technologie wurde bereits in zahlreichen Geschäftsbereichen von Tencent eingesetzt, etwa bei Tencent Maps, wo die Rekonstruktionsgeschwindigkeit von 3D-Autologos um 91 % gesteigert wurde. Ebenfalls bei Tencent Maps wurde auf Basis des Hunyuan-3D-Großmodells die Funktion zur individuellen Gestaltung von 3D-Navigationsautologos eingeführt, mit der Nutzer personalisierte 3D-Navigationsautologos erstellen können. Im Vergleich zu herkömmlichen Lösungen wurde die Geschwindigkeit um 91 % gesteigert. Zudem wurde die Funktion „3D-Charakter-Traumfabrik“ eingeführt, die die personalisierte Generierung von 3D-Figuren unterstützt und den Nutzern mehr kreative Freiheit bietet.

• Branchenwirkung: Die Open-Source-Veröffentlichung von Hunyuan3D-1.0 stellt ein leistungsstarkes Werkzeug für Bereiche wie Spieleentwicklung, Filmproduktion und Virtual Reality bereit und fördert Innovation und Anwendung von KI-generierten 3D-Inhalten.

Anwendungsszenarien für Tencent Hunyuan 3D:

• Spieleentwicklung: Erzeugung hochwertiger 3D-Assets wie Spielfiguren, Requisiten und Gebäude, was die Effizienz der Spieleentwicklung erheblich steigert.

• Film und Animation: Automatische Erzeugung von 3D-Filmfiguren und Animationseffekten für Kreative zur Unterstützung der Animationsproduktion.

• E-Commerce und Werbung: Erzeugung von 3D-Produkten passend zum Werbekreativkonzept, Umsetzung interaktiver Spezialeffekte und Steigerung der kreativen Werbeinhalte.

• Virtual Reality (VR) / Augmented Reality (AR): Erzeugung realistischer 3D-Elemente virtueller Umgebungen sowie interaktiver Inhalte zur Verbesserung des immersiven Erlebnisses.

Das Tencent Hunyuan 3D-Großmodell „Hunyuan3D-1.0“ wurde am 5. November offiziell als Open Source veröffentlicht. Es ist das erste Open-Source-Großmodell der Branche, das gleichzeitig die Generierung von 3D aus Text und aus Bildern unterstützt, und wird in einer Lightweight- und einer Standardversion angeboten. Die Lightweight-Version kann in nur 10 Sekunden hochwertige 3D-Assets erzeugen und eignet sich für die Feinabstimmung und Bereitstellung in Unternehmen sowie bei Entwicklern. Hunyuan3D wird die Effizienz der 3D-Asset-Generierung deutlich steigern und Entwicklern mehr kreative Möglichkeiten eröffnen.

Github-Projekt:https://github.com/Tencent/Hunyuan3D-1

Hugging Face:https://huggingface.co/tencent/Hunyuan3D-1

Verwandte Informationen:

Tencent Hunyuan DiT: Ein von Tencent vorgestelltes Text-zu-Bild-Generierungsmodell