Vibe Draw: Open-Source-Projekt zur schnellen Umwandlung handgezeichneter Skizzen in 3D-Modelle 152

Was ist Vibe Draw?

Vibe Draw ist ein Open-Source- und kostenloses 3D-Modellierungstool. Es kann handgezeichnete Skizzen schnell in 3D-Modelle umwandeln und unterstützt den Export von Dateien in Standardformaten mit einem Klick, sodass diese problemlos mit Software wie Blender oder Unity weiter bearbeitet werden können. Vibe Draw nutzt KI-Technologie zur Unterstützung der Modellierung, senkt die technische Einstiegshürde und ermöglicht die Zusammenarbeit mehrerer Personen in Echtzeit. Das Frontend wird mit Next.js, React u. a. entwickelt, das Backend ist mit FastAPI u. a. aufgebaut.

Kernfunktionen von Vibe Draw

• Skizze zu 3D-Modell: Benutzer können handgezeichnete Skizzen schnell in 3D-Modelle umwandeln.

• Export mit einem Klick: Unterstützt den Export von Dateien in Standardformaten (z. B. .glTF) mit einem Klick. Die exportierten Dateien können mit Software wie Blender oder Unity geöffnet und weiter bearbeitet bzw. verwendet werden.

• KI-gestützte Modellierung: Durch den Einsatz von künstlicher Intelligenz wird die technische Hürde der Modellierung gesenkt, sodass auch ohne ausgeprägte künstlerische Fähigkeiten oder komplexe Softwarekenntnisse ein einfacher Einstieg möglich ist.

• Echtzeit-Feedback und Bearbeitung: Benutzer können Skizzen direkt auf der 2D-Leinwand bearbeiten und das 3D-Modell mithilfe von Textaufforderungen verfeinern. Während des Modellierungsprozesses erhalten sie Fortschrittsrückmeldungen in Echtzeit.

• Zusammenarbeit mehrerer Benutzer: Unterstützt die Zusammenarbeit mehrerer Personen in Echtzeit, sodass mehrere Benutzer gleichzeitig dieselbe 3D-Welt bearbeiten können.

Technische Architektur von Vibe Draw

• Frontend: Verwendet die Frameworks Next.js und React zum Aufbau einer responsiven und benutzerfreundlichen Oberfläche. Three.js wird für die Darstellung interaktiver 3D-Modelle genutzt und TLDraw dient als 2D-Zeichenfläche.

• Backend: Verwendet das FastAPI-Framework. Celery wird als asynchrone Aufgabenwarteschlange für rechenintensive Hintergrundaufgaben wie KI-Berechnungen eingesetzt, Redis stellt ein Pub/Sub-Modell für Echtzeit-Updates und die Speicherung von Aufgabenergebnissen bereit, und SSE ermöglicht es dem Server, Fortschrittsaktualisierungen in Echtzeit an den Client zu pushen.

Anleitung zur Verwendung von Vibe Draw

1. Installation: Es müssen Node.js (18+) und Python (3.10+) installiert sein. Das Frontend wird über npm install und npm run dev installiert und ausgeführt, das Backend wird mit Docker Compose verwaltet.

2. Modell erstellen:

• Auf der 2D-Leinwand frei Skizzen zeichnen.

• Auf die Schaltfläche „Improve Drawing" klicken, um die Skizze in eine detailliertere Zeichnung zu verfeinern.

• Auf die Schaltfläche „Make 3D" klicken, um die Zeichnung in ein 3D-Modell umzuwandeln.

• In der 3D-Welt Modelle hinzufügen und bearbeiten, das 3D-Modell durch erneutes Zeichnen oder Eingabe von Textaufforderungen anpassen.

• Auf die Schaltfläche „Export" klicken, um die 3D-Welt in einem Standardformat (z. B. .glTF) zu exportieren.

Zielgruppe von Vibe Draw

• Designer: Können Produktdesignskizzen schnell in 3D-Modelle umwandeln und sparen Zeit bei der manuellen Modellierung.

• Spieleentwickler: Können schnell Prototypen von Spielszeneen und Charakteren erstellen und diese direkt zum Test in die Spiele-Engine importieren.

• Studenten: Helfen Studenten, Skizzen aus Kursaufgaben in 3D-Werke zu verwandeln, die sich leicht einreichen und präsentieren lassen.

• Kreativbegeisterte: Ermöglichen auch Benutzern ohne fachlichen Hintergrund einen einfachen Einstieg in die 3D-Kreation.

Github-Projekt:https://github.com/martin226/vibe-draw