InstantMesh: эффективное создание 3D-мешей из изображений 93

InstantMesh — это инструмент, основанный на одном изображении, использующий передовую архитектуру модели крупномасштабной реконструкции по разреженным видам (LRM) для быстрой генерации 3D-мешей (сеток). Эта платформа позволяет пользователям преобразовывать 2D-изображения в 3D-модели, упрощая процесс создания 3D-контента за счёт автоматизации, что очень полезно для игрового дизайна, анимации, архитектурной визуализации и других областей.

Архитектура InstantMesh аналогична Instant3D и состоит из многовидовой диффузионной модели GM и модели крупномасштабной реконструкции по разреженным видам GR. На входное изображение многовидовая диффузионная модель GM генерирует 3D-согласованные многовидовые изображения, которые затем подаются в модель крупномасштабной реконструкции по разреженным видам GR для создания высококачественной 3D-сетки.

Адрес онлайн-доступа к InstantMesh:https://huggingface.co/spaces/TencentARC/InstantMesh

Основные особенности InstantMesh:

• Эффективная генерация 3D-сеток: InstantMesh способен генерировать 3D-сетки из одного изображения с беспрецедентной скоростью и качеством, обычно в течение 10 секунд. Это достигается за счёт интеграции готовых многовидовой диффузионной модели и модели реконструкции по разреженным видам, что позволяет быстро создавать разнообразные 3D-модели.

• Автоматическая ретопология: InstantMesh может автоматически выполнять ретопологию сложных сеток, что делает его ценным инструментом для упрощения процесса создания 3D-моделей. Он может обрабатывать различные входные представления поверхностей, включая облака точек, данные 3D-сканирования и треугольные сетки, и мгновенно выполнять полный конвейер обработки, даже на сетках с сотнями тысяч граней.

• Высокое качество: результаты экспериментов на общедоступных наборах данных показывают, что InstantMesh значительно превосходит другие современные модели преобразования изображения в 3D как качественно, так и количественно.

• Масштабируемость обучения: основанная на архитектуре LRM, обладает превосходной масштабируемостью обучения и способна обрабатывать крупномасштабные наборы данных.

• Интеграция дифференцируемого модуля извлечения изоповерхности: геометрический контроль применяется непосредственно к представлению сетки, что повышает эффективность обучения и качество генерации сеток.

Реализация и совместимость

• Интеграция с Modo: начиная с версии 10.2, Modo интегрировал алгоритм Instant Meshes для реализации функции автоматической ретопологии, что демонстрирует практическое применение InstantMesh в профессиональном программном обеспечении.

• Программное обеспечение с открытым исходным кодом: InstantMesh доступен на GitHub как программное обеспечение с открытым исходным кодом и может использоваться широким кругом пользователей на различных платформах (включая Windows, Mac и Linux 5).

• Технические требования: для тех, кто заинтересован в использовании InstantMesh, рекомендуемые технические характеристики включают использование Python>=3.10, PyTorch>=2.1.0 и CUDA=12.1, а также конкретные требования к установке и весам модели.

Появление InstantMesh предвещает новую трансформацию в области 3D-моделирования и визуализации,предоставляя мощное и эффективное решение для автоматической ретопологии и генерации 3D-сеток из одного изображения.Он призван решить проблему нехватки 3D-данных и воспроизвести успех генерации изображений и видео в генерации 3D. Он сочетает в себе преимущества многовидовой диффузионной модели и модели реконструкции по разреженным видам на основе архитектуры LRM, что позволяет значительно повысить эффективность обучения и масштабируемость при сохранении качества генерации.