TRELLIS 3D: 한 장의 이미지 또는 텍스트 설명으로 3D 모델 생성 78

TRELLIS 3D란 무엇인가

TRELLIS 3D는 마이크로소프트 아시아 연구원이 칭화대, 중국 과기대 등과 공동으로 개발한 오픈소스 3D 생성 모델로, SLAT 기술을 통해 단 한 장의 2D 이미지 또는 텍스트 설명만으로 고품질 3D 모델을 직접 생성할 수 있습니다.

TRELLIS 3D 모델은 40억 개의 파라미터를 갖추고 있으며, 새로운 O-Voxel 표현 방식을 기반으로 공간을 16배 압축할 수 있어, 단 3초 만에 텍스처가 적용된 512³ 해상도의 모델을 출력할 수 있습니다.

TRELLIS 3D 주요 특징

• 생성 속도가 매우 빠름: H100에서 512³ 해상도는 단 3초, 1024³는 약 17초, 1536³도 약 1분 정도

• 해상도가 충분히 높음: 512³부터 1536³까지 선택 가능, 압축률도 매우 인상적

• 모든 형태 처리 가능: 기존 방식처럼 닫힌 모델만 만드는 게 아니라 옷, 나뭇잎 같은 열린 표면, 내부 구조가 있는物体도 처리 가능

• 머티리얼 시스템 완비: PBR 전 과정 지원, 기본색, 러프니스, 메탈릭, 투명도 모두 지원

• 다양한 포맷 지원: GLB, OBJ, STL, GLTF, USDZ, PLY, 3D Gaussian 등 주요 포맷 모두 내보내기 가능

• 두 가지 입력 방식: 이미지→3D, 텍스트→3D 모두 지원

• 부분 편집 가능: 생성 후 특정 영역을 추가, 삭제, 수정 가능

• 처리 과정이 간단함: 텍스처 메시의 O-Voxel 변환은 CPU에서 10초 이내, 역변환은 CUDA에서 100밀리초면 충분

TRELLIS 3D 활용 시나리오

• 게임 개발: 씬 소품, 캐릭터를 빠르게 제작, 아티스트가 처음부터 모델링할 필요 없음

• 영화·애니메이션: 특수효과 에셋, 프리뷰 모델 제작에 매우 편리

• VR/AR: 사실적인 가상 오브젝트 생성으로 몰입감 향상

• 산업 디자인: 제품 프로토타입을 빠르게 제작하여 디자인 검증

• 이커머스: 인터랙티브 3D 상품 디스플레이 제작

• 3D 프린팅: 바로 인쇄 가능한 모델 파일 생성

• 교육·연구: 3D 데이터 생성도구로 활용

TRELLIS 3D 장단점 분석

잘한 점

• 확실히 높은 품질: 40억 파라미터와 sparse 3D VAE 덕분에 디테일과 충실도가 매우 뛰어남

• 비교할 데 없는 속도: 3초 만에 모델 생성, 기존 모델링보다 훨씬 빠름

• 토폴로지 제한이 적음: 복잡한 기하 구조도 처리 가능, 열린 표면과 내부 구조 포함

• 머티리얼이 잘 갖춰짐: PBR 워크플로우 완비, 투명 효과도 지원

• 완전한 오픈소스: MIT 라이선스로 상업적 이용도 가능

• 하드웨어 진입장벽이 높지 않음: VRAM 16GB이면 구동 가능, RTX 3090/4090 모두 지원

아쉬운 점

• 하드웨어 요구 사항: 최고 속도 생성은 H100 같은 최상급 GPU가 필요, 일반 GPU는 상당히 느림

• 복잡한 디테일에 한계: 얼굴 특징, 가는 텍스처(예: 끈) 같은 부분은 아직 생성 효과가 완벽하지 않음

• 훈련 비용이 높음: 대규모 사전훈련에는 엄청난 양의 3D 데이터가 필요, 처음부터 직접 훈련하기에는 비용 부담 큼

• 확대하면 여전히 저폴리: 가장자리를 확대하면 다소 거칠어 보임, 본질적으로 여전히 로우폴리 모델

TRELLIS 3D 사용 가이드

1. TRELLIS 3D 공식 사이트에 바로 접속

2. JPG/PNG 이미지 업로드 (1920×1080 이상 권장)

3. 생성 버튼 클릭, 몇 초 기다리면 3D 모델 확인 가능

4. 프리뷰 결과가 만족스러우면 GLB 등 원하는 포맷으로 바로 다운로드

자주 묻는 질문

• TRELLIS 3D 생성이 너무 느린가요?

  CUDA 가속이 켜져 있는지 확인하고, RTX 4090 이상을 권장합니다. 해상도를 낮추면 속도가 빨라집니다.

• VRAM이 부족한가요?

  환경 변수 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True 를 설정하면 VRAM을 절약할 수 있습니다.

• 투명 효과가 적용되지 않나요?

  GLB는 기본적으로 불투명하므로, 3D 소프트웨어에서 텍스처 Alpha를 투명도에 수동으로 연결해야 합니다.

• 디테일이 충분히 선명하지 않나요?

  1024³ 또는 1536³ 해상도를 시도해 보세요. 특별히 복잡한 구조는 현재 기술적 한계가 있습니다.

• 어떤 이미지 포맷을 지원하나요?

  JPG, PNG, WEBP 모두 가능하며, 투명 채널이 있는 이미지는 마스크로 사용됩니다.

• 상업적으로 이용할 수 있나요?

  네, MIT 라이선스로 오픈소스이며 상업적 이용이 가능합니다. 다만 의존성(예: nvdiffrast)이 자체적인 별도 라이선스를 가질 수 있으니 주의하세요.

• 직접 파인튜닝하고 싶다면?

  TRELLIS.2는 완전한 훈련 코드를 제공하며, train.py를 사용하면 파인튜닝이나 처음부터 훈련이 가능합니다.

관련 정보:

AI로 3D 모델 생성