Vibe Draw：手描きスケッチを高速で3Dモデルに変換するオープンソースプロジェクト 159

Vibe Drawとは？

Vibe Drawは、オープンソースで無料の3Dモデリングツールです。手描きのスケッチを迅速に3Dモデルに変換し、ワンクリックで標準形式のファイルをエクスポートできるため、BlenderやUnityなどのソフトウェアでさらに編集することができます。Vibe DrawはAI技術を活用してモデリングを補助し、技術的なハードルを下げると同時に、複数人でのリアルタイムコラボレーションもサポートしています。フロントエンドはNext.js、Reactなどで構築され、バックエンドはFastAPIなどで構築されています。

Vibe Drawのコア機能

• スケッチから3Dモデルへ変換：ユーザーは手描きのスケッチを迅速に3Dモデルに変換できます。

• ワンクリックエクスポート：ワンクリックで標準形式（.glTFなど）のファイルへのエクスポートをサポートし、エクスポートされたファイルはBlender、Unityなどのソフトウェアで開いて、さらに編集したり使用したりすることができます。

• AI支援モデリング：人工知能技術を活用し、モデリングの技術的ハードルを下げます。高度な芸術的スキルや複雑なソフトウェアの知識がなくても、簡単に始めることができます。

• リアルタイムフィードバックと編集：ユーザーは2Dキャンバス上で直接スケッチを編集したり、テキストプロンプトを通じて3Dモデルを微調整したりすることができ、モデリングプロセス中にリアルタイムの進捗状況のフィードバックを得られます。

• マルチユーザーコラボレーション：リアルタイムのマルチユーザーコラボレーションをサポートし、複数のユーザーが同時に同じ3Dワールドを編集できます。

Vibe Drawの技術アーキテクチャ

• フロントエンド：Next.jsおよびReactフレームワークを使用して、レスポンシブでユーザーフレンドリーなインターフェースを構築しています。Three.jsはインタラクティブな3Dモデルのレンダリングに使用され、TLDrawは2D描画キャンバスとして機能します。

• バックエンド：FastAPIフレームワークを採用しています。CeleryはAI演算などの時間のかかるバックグラウンドタスクを実行するための非同期タスクキューとして使用され、Redisはリアルタイム更新とタスク結果の保存のためのpub/subモードを提供し、SSEはサーバーからクライアントへのリアルタイムな進捗状況の更新のプッシュを可能にします。

Vibe Drawの使用方法

1. インストール：Node.js（18以上）とPython（3.10以上）のインストールが必要です。フロントエンドはnpm installとnpm run devでインストールと実行を行い、バックエンドはDocker Composeを使用して管理します。

2. モデルの作成：

• 2Dキャンバス上で自由にスケッチを描きます。

• 「Improve Drawing」ボタンをクリックすると、スケッチをより詳細な描画に洗練させることができます。

• 「Make 3D」ボタンをクリックすると、描画を3Dモデルに変換します。

• 3Dワールド内でモデルを追加・編集し、再描画やテキストプロンプトの入力によって3Dモデルを調整できます。

• 「Export」ボタンをクリックして、3Dワールドを標準形式（.glTFなど）でエクスポートします。

Vibe Drawの対象ユーザー

• デザイナー：製品デザインのスケッチを迅速に3Dモデルに変換でき、手動モデリングの時間を節約できます。

• ゲーム開発者：ゲームのシーンやキャラクターのプロトタイプを迅速に生成し、ゲームエンジンに直接インポートしてテストすることができます。

• 学生：授業の宿題のスケッチを3D作品に変換するのに役立ち、提出や展示が簡単になります。

• クリエイティブな趣味を持つユーザー：専門知識を持たないユーザーでも、3D制作を簡単に行うことができます。

Githubリポジトリ：https://github.com/martin226/vibe-draw