Vibe Draw: open-source проект для быстрого превращения рисунков от руки в 3D-модели 161

Что такое Vibe Draw?

Vibe Draw — это открытый и бесплатный инструмент для 3D-моделирования. Он позволяет быстро преобразовывать нарисованные от руки эскизы в 3D-модели и поддерживает экспорт файлов в стандартном формате одним нажатием, что удобно для дальнейшего редактирования в таких программах, как Blender, Unity и других. Vibe Draw использует технологию AI для помощи в моделировании, снижая технический порог входа, а также поддерживает совместную работу нескольких пользователей в реальном времени. Его клиентская часть построена на Next.js, React и других технологиях, а серверная — на FastAPI и др.

Основные функции Vibe Draw

• Преобразование эскиза в 3D-модель: пользователи могут быстро превращать нарисованные от руки эскизы в 3D-модели.

• Экспорт одним нажатием: поддерживается экспорт файлов в стандартном формате (например, .glTF) одним нажатием; экспортированные файлы можно открывать в Blender, Unity и других программах для дальнейшего редактирования или использования.

• Моделирование с помощью ИИ: используются технологии искусственного интеллекта, что снижает технический порог моделирования — приступить к работе можно даже без выдающихся художественных навыков или глубоких знаний сложного программного обеспечения.

• Обратная связь и редактирование в реальном времени: пользователи могут редактировать эскиз прямо на 2D-холсте, а также уточнять 3D-модель с помощью текстовых подсказок и получать обновления о ходе процесса моделирования в реальном времени.

• Совместная работа: поддерживается совместная работа нескольких пользователей в реальном времени — несколько пользователей могут одновременно редактировать один и тот же 3D-мир.

Техническая архитектура Vibe Draw

• Клиентская часть: для создания адаптивного и удобного интерфейса используются фреймворки Next.js и React, Three.js — для рендеринга интерактивных 3D-моделей, а TLDraw выступает в роли 2D-холста для рисования.

• Серверная часть: используется фреймворк FastAPI, Celery — в качестве очереди асинхронных задач для выполнения ресурсоёмких фоновых операций, таких как вычисления ИИ, Redis обеспечивает модель публикации/подписки для обновлений в реальном времени и хранения результатов задач, а SSE позволяет серверу отправлять клиенту обновления о ходе выполнения в реальном времени.

Руководство по использованию Vibe Draw

1. Установка: требуется установить Node.js (18+) и Python (3.10+). Клиентская часть устанавливается и запускается с помощью npm install и npm run dev, серверная часть управляется с помощью Docker Compose.

2. Создание модели:

• Свободно рисуйте эскиз на 2D-холсте.

• Нажмите кнопку «Improve Drawing», чтобы улучшить эскиз до более детализированного рисунка.

• Нажмите кнопку «Make 3D», чтобы преобразовать рисунок в 3D-модель.

• Добавляйте и редактируйте модели в 3D-мире, корректируя 3D-модель путём перерисовки или ввода текстовых подсказок.

• Нажмите кнопку «Export», чтобы экспортировать 3D-мир в стандартном формате (например, .glTF).

Для кого подходит Vibe Draw

• Дизайнеры: позволяют быстро преобразовывать эскизы дизайна продуктов в 3D-модели, экономя время на ручном моделировании.

• Разработчики игр: можно быстро создавать прототипы игровых сцен и персонажей, которые сразу импортируются в игровой движок для тестирования.

• Студенты: помогает превращать эскизы учебных заданий в 3D-работы, что удобно для сдачи и презентации.

• Любители творчества: позволяет пользователям без профессиональной подготовки легко заниматься 3D-творчеством.

Проект на Github: https://github.com/martin226/vibe-draw