Vibe Draw : un projet open-source pour transformer rapidement des croquis à la main en modèles 3D 162

Qu'est-ce que Vibe Draw ?

Vibe Draw est un outil de modélisation 3D open source et gratuit. Il permet de transformer rapidement des croquis dessinés à la main en modèles 3D, et prend en charge l'exportation de fichiers aux formats standards en un clic, facilitant ainsi leur édition dans des logiciels comme Blender ou Unity. Vibe Draw utilise la technologie IA pour assister la modélisation, réduisant ainsi la barrière technique, et prend également en charge la collaboration en temps réel entre plusieurs utilisateurs. Son frontend est construit avec Next.js, React, etc., et son backend avec FastAPI, entre autres.

Fonctionnalités principales de Vibe Draw

• Croquis vers modèle 3D : les utilisateurs peuvent transformer rapidement leurs croquis dessinés à la main en modèles 3D.

• Exportation en un clic : prend en charge l'exportation en un clic de fichiers aux formats standards (comme .glTF). Les fichiers exportés peuvent être ouverts dans des logiciels comme Blender ou Unity pour être édités ou utilisés davantage.

• Modélisation assistée par IA : utilise la technologie de l'intelligence artificielle pour abaisser la barrière technique de la modélisation, permettant ainsi aux utilisateurs de démarrer facilement même sans compétences artistiques avancées ou connaissances logicielles complexes.

• Retour et édition en temps réel : les utilisateurs peuvent éditer directement leurs croquis sur un canevas 2D, ou affiner le modèle 3D à l'aide d'invites textuelles, et obtenir un retour d'avancement en temps réel pendant le processus de modélisation.

• Collaboration multi-utilisateurs : prend en charge la collaboration en temps réel entre plusieurs utilisateurs, permettant à plusieurs personnes d'éditer simultanément le même monde 3D.

Architecture technique de Vibe Draw

• Frontend : utilise les frameworks Next.js et React pour construire une interface réactive et conviviale, Three.js pour le rendu interactif des modèles 3D, et TLDraw comme canevas de dessin 2D.

• Backend : adopte le framework FastAPI, Celery comme file de tâches asynchrones pour exécuter les tâches chronophages en arrière-plan comme les calculs IA, Redis fournit un modèle de publication/abonnement pour les mises à jour en temps réel et le stockage des résultats des tâches, et SSE permet au serveur de pousser les mises à jour d'avancement en temps réel vers le client.

Tutoriel d'utilisation de Vibe Draw

1. Installation :il est nécessaire d'installer Node.js (18+) et Python (3.10+). Le frontend s'installe et se lance via npm install et npm run dev, tandis que le backend est géré avec Docker Compose.

2. Créer un modèle :

• Dessinez librement votre croquis sur le canevas 2D.

• Cliquez sur le bouton « Improve Drawing » pour affiner le croquis en un dessin plus détaillé.

• Cliquez sur le bouton « Make 3D » pour convertir le dessin en modèle 3D.

• Ajoutez et éditez des modèles dans le monde 3D, vous pouvez ajuster le modèle 3D en redessinant ou en saisissant des invites textuelles.

• Cliquez sur le bouton « Export » pour exporter le monde 3D dans un format standard (comme .glTF).

Utilisateurs ciblés par Vibe Draw

• Designers : peuvent transformer rapidement leurs croquis de conception de produits en modèles 3D, ce qui permet de gagner du temps sur la modélisation manuelle.

• Développeurs de jeux : peuvent générer rapidement des prototypes de scènes et de personnages de jeu, directement importables dans le moteur de jeu pour les tester.

• Étudiants : aident les étudiants à transformer les croquis de leurs devoirs en œuvres 3D, facilitant ainsi leur soumission et leur présentation.

• Passionnés de création : permettent aux utilisateurs sans formation professionnelle de créer facilement en 3D.

Projet Github :https://github.com/martin226/vibe-draw