대본 기획 도우미▸ 
AI 앱 
AI 뉴스 TripoSG: 단일 입력 이미지에서 고정밀 3D 모델을 생성하는 도구
小编 ·
TripoSG: 단일 입력 이미지에서 고정밀 3D 모델을 생성하는 도구
TripoSG란 무엇인가요?
TripoSG는 VAST-ai-Research 팀에서 개발한 오픈소스 고정밀 3D 형상 합성 기술로, 대규모 정류 흐름(Rectified Flow) 아키텍처와 혼합 전문가(MoE) Transformer 설계를 기반으로 하며, 단일 입력 이미지로부터 높은 디테일의 3D 모델을 생성할 수 있습니다.
TripoSG의 주요 기능
고정밀 생성: 생성된 3D 메시는 선명한 기하학적 특징, 정교한 표면 디테일 및 복잡한 구조를 갖추고 있습니다.
의미 일관성: 생성된 형상이 입력 이미지의 의미와 외형을 정확하게 반영합니다.
강력한 일반화 능력: 사진 수준의 사실적 이미지, 만화, 스케치를 포함한 다양한 입력 스타일을 처리할 수 있습니다.
견고한 성능: 복잡한 토폴로지 구조를 가진 도전적인 입력에 대해서도 일관성 있는 형상을 생성할 수 있습니다.
TripoSG의 기술 원리
대규모 정류 흐름 Transformer: TripoSG는 정류 흐름(Rectified Flow, RF) 기반 Transformer 아키텍처를 3D 형상 생성에 처음으로 적용했습니다. 전통적인 확산 모델과 비교하여 RF는 노이즈에서 데이터까지의 더 간결한 선형 경로 모델링을 제공하여 보다 안정적이고 효율적인 훈련을 구현하는 데 도움이 됩니다.
혼합 감독 훈련 전략: 부호 거리 함수(SDF), 법선 및 Eikonal 손실을 결합하여 3D 변분 오토인코더(VAE)의 재구성 성능을显著하게 개선했습니다.
고품질 데이터 처리 파이프라인: 품질 평가, 데이터 필터링, 복원 및 증강, SDF 데이터 생산 등의 단계를 포함하는 완비된 데이터 구축 및 관리 파이프라인을 개발했습니다. 이 파이프라인을 통해 200만 개의 고품질 "이미지-SDF" 훈련 샘플 쌍으로 구성된 데이터셋을 구축했습니다.
고효율 VAE 아키텍처: 기하학적 표현에 SDF를 사용하여, 기존에 자주 사용되던 복셀 점유 그리드보다 더 높은 정밀도를 제공합니다.
MoE Transformer 모델: TripoSG는 3D 분야에서 최초로 공개된 MoE Transformer 모델입니다.
TripoSG의 활용 시나리오
게임 및 영화: 게임 에셋이나 3D 특수효과 요소를 빠르게 생성하여 개발 주기를 단축합니다.
산업 및 전자상거래: 스케치나 실제 제품 사진을 3D 모델로 변환하여 제품 미리보기 또는 가상展示에 활용합니다.
교육 및 문화유산: 인터랙티브 교육 모델이나 디지털화된 문화재를 제작하여 3D 콘텐츠 제작의 진입 장벽을 낮춥니다.
TripoSG 사용 튜토리얼
1. 설치:
저장소를 복제하고 conda 환경을 생성합니다:
git clone https://github.com/VAST-AI-Research/TripoSG.git cd TripoSG conda create -n tripoSG python=3.10 conda activate tripoSG
의존성 설치:
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt2. 빠른 시작: 이미지로부터 3D 메쉬 생성:
python scripts/inference_triposg.py --image-input assets/example_data/hjswed.png
관련 링크
프로젝트 홈페이지:https://yg256li.github.io/TripoSG-Page/
GitHub 소스 코드:https://github.com/VAST-AI-Research/TripoSG
Hugging Face 모델:https://huggingface.co/VAST-AI/TripoSG
Hugging Face 데모:https://huggingface.co/spaces/VAST-AI/TripoSG
논문:https://arxiv.org/abs/2502.06608
