InstantMesh: 이미지로 효율적인 3D 메시 생성 94

InstantMesh는 단일 이미지를 기반으로 첨단의 스파스 뷰 대규모 재구성 모델(LRM) 아키텍처를 활용하여 빠르게 3D 메시(Mesh)를 생성하는 도구입니다. 이 프레임워크는 사용자가 2D 이미지를 3D 모델로 변환할 수 있게 해주며, 자동화된 처리를 통해 3D 콘텐츠 제작 과정을 간소화하여 게임 디자인, 애니메이션, 건축 시각화等领域에 매우 유용합니다.

InstantMesh의 아키텍처는 Instant3D와 유사하며, 다중 뷰 확산 모델 GM과 스파스 뷰 대규모 재구성 모델 GR로 구성됩니다. 입력 이미지가 주어지면, 다중 뷰 확산 모델 GM이 3D 일관성을 갖춘 다중 뷰 이미지를 생성하고, 이를 스파스 뷰 대규모 재구성 모델 GR에 입력하여 고품질의 3D 메시를 재구성합니다.

InstantMesh 온라인 체험 주소：https://huggingface.co/spaces/TencentARC/InstantMesh

InstantMesh의 주요 특징：

• 효율적인 3D 메시 생성：InstantMesh는 단일 이미지로부터 전례 없는 속도와 품질로 3D 메시를 생성할 수 있으며, 보통 10초 이내에 완료됩니다. 이는 기성 다중 뷰 확산 모델과 스파스 뷰 재구성 모델을 통합하여 구현되며, 이를 통해 다양한 3D 모델을 빠르게 생성할 수 있습니다.

• 자동 리토폴로지：InstantMesh는 복잡한 메시를 자동으로 리토폴로지하여 3D 모델 제작 과정을 간소화하는 귀중한 도구가 됩니다. 포인트 클라우드, 범위 스캔, 삼각형 메시 등 다양한 입력 표면 표현을 처리할 수 있으며, 수십만 개의 면을 가진 메시에서도 전체 파이프라인을 즉시 실행할 수 있습니다.

• 고품질：공개 데이터셋 실험 결과는 InstantMesh가 질적 및 양적 측면에서 모두 다른 최신 이미지-3D 벤치마크 모델들을 명백히 능가한다는 것을 보여줍니다.

• 훈련 확장성：LRM 아키텍처를 기반으로 하여 우수한 훈련 확장성을 가지며, 대규모 데이터셋을 처리할 수 있습니다.

• 미분 가능한 등치면 추출 모듈 통합：메시 표현에 직접 기하학적 감독을 적용하여 훈련 효율성과 메시 생성 품질을 향상시킵니다.

구현 및 호환성

• Modo 통합：10.2 버전부터 Modo는 Instant Meshes 알고리즘을 통합하여 자동 리토폴로지 기능을 구현했으며, 이는 전문 소프트웨어에서 InstantMesh의 실제 응용 사례를 보여줍니다.

• 오픈 소스 소프트웨어：InstantMesh는 GitHub에서 오픈 소스 소프트웨어로 제공되며, Windows, Mac 및 Linux 5를 비롯한 다양한 플랫폼의 광범위한 사용자가 사용할 수 있습니다.

• 기술 요구 사항：InstantMesh 사용에 관심 있는 사용자에게 권장되는 기술 사양은 Python>=3.10, PyTorch>=2.1.0 및 CUDA=12.1 사용과 구체적인 설치 및 모델 가중치 요구 사항을 포함합니다.

InstantMesh의 등장은 3D 모델링 및 시각화 영역에 새로운 변화가 다가오고 있음을 예고하며,단일 이미지로부터 3D 메시를 자동 리토폴로지 및 생성하는 강력하고 효율적인 솔루션을 제공합니다.이는 3D 데이터 부족 문제를 해결하고, 3D 생성 분야에서 이미지 및 비디오 생성의 성공을 복제하는 것을 목표로 합니다. 다중 뷰 확산 모델과 LRM 아키텍처 기반의 스파스 뷰 재구성 모델의 장점을 결합하여, 생성 품질을 유지하면서도 훈련 효율성과 확장성을 크게 향상시킵니다.