Marble: 다중 모달 3D 세계 모델 82

Marble은 이페이페이(李飞飞)의 World Labs가 출시한 제작자를 위한 다중 모드(multimodal) 3D 세계 모델입니다. 텍스트, 한 장 또는 여러 장의 이미지, 짧은 비디오, 혹은 간단한 3D 배치를 사용해 돌아다니고, 수정하고, 다운로드할 수 있는 3D 환경을 만들 수 있으며, 카메라 제어와 픽셀 단위의 정교한 상호작용 편집도 가능합니다. 주로 게임 개발, 영화 특수효과, 가상현실 등의 분야에서 사용되며, 가장 큰 특징은 생성된 3D 세계의 형태가 일관되게 유지되어 함부로 변하지 않는다는 점입니다.

Marble의 주요 기능

• 다중 모드 3D 생성: 텍스트, 단일 이미지, 다양한 각도의 사진, 짧은 비디오 등 다양한 입력을 사용할 수 있습니다. 예를 들어 "호빗 주방"이라고 입력하면 나무 가구와 구레나룻 등의 도구를 갖춘 완전한 3D 장면이 만들어지고, 일반적인 방 사진 한 장을 업로드하면 약 6분 만에 360도 파노라마 3D 환경을 생성할 수 있습니다. 여러 장의 이미지나 비디오는 디지털 트윈 장면을 더 사실적으로 만듭니다. 또한 사용자가 먼저 간단한 기하학적 도형으로 3D 프레임워크를 구축하면, ai가 스스로 조명, 질감 등의 세부 사항을 추가해 줍니다.

• 유연한 편집과 확장: 자체적으로 도구를 갖춘 AI 편집 기능을 제공하는 최초의 모델입니다. 일부분만 수정하거나 구조를 조정할 수 있는데, 예를 들어 한 마디의 말로 장면의 쓰레기통을 제거하면 조명도 자동으로 함께 변합니다. 에디터인 Chisel을 사용하면 먼저 기하학적 도형을 배치해 공간 구조를 정하고, 그 다음 텍스트로 스타일을 지정할 수 있어, 동일한 구조에서 프롬프트만 바꾸면 다양한 스타일의 장면이 만들어집니다. 또한 장면의 가장자리에 세부 요소를 추가하거나 "합성기 모드"를 사용해 여러 독립된 장면을 빈틈없이 이어 붙일 수도 있습니다.

• 다양한 형식 내보내기 지원: 결과물을 가우시안 포인트 클라우드, 삼각 메쉬 등의 형식으로 내보낼 수 있습니다. 삼각 메쉬는 다시 저정밀도 충돌 메쉬와 고정밀 렌더링 메쉬로 나뉘며, Unity, 언리얼 엔진 같은 전문 소프트웨어에 바로 가져올 수 있습니다. 비디오로 내보낸 후 AI를 이용해 연기, 물 흐름 같은 동적 효과를 추가하는 것도 가능합니다. Apple Vision Pro, Meta Quest 3 같은 VR 헤드셋도 지원해, 바로 VR 체험 콘텐츠로 활용할 수 있습니다.

• Chisel 실험용 3D 에디터: 먼저 기본적인 기하학적 도형으로 공간의 "골격"을 세우고, 텍스트로 전체 "스타일"을 정해 구조와 스타일을 분리해 작업하고 재사용할 수 있습니다.

• 세계 확장 및 조합: 선택한 부분에 한 번 클릭으로 세부 요소를 더하거나, 조합 모드를 사용해 여러 독립된 세계를 더 큰 공간으로 이어 붙일 수 있습니다.

Marble의 전형적인 작업 흐름

• 먼저 입력 방식을 선택합니다: 텍스트나 단일 이미지를 사용하면 빠르게 컨셉을 만들어낼 수 있고, 여러 장의 이미지나 비디오를 사용하면 더 정확하고 정교하게 제어할 수 있습니다. 복잡한 장면은 여러 장의 이미지나 비디오를 사용하는 것이 가장 좋습니다.

• 세계 생성: 돌아다닐 수 있는 3D 환경을 얻은 뒤, 먼저 2D 또는 3D 뷰에서 원근, 크기, 스타일이 일관되는지 확인합니다.

• 세부 편집: AI 도구를 사용해 부분적으로 수정하거나 빠진 부분을 채워 넣고, 혹은 Chisel로 구조를 다시 잡은 뒤 스타일을 바꾸어 구조와 모양을 각각 따로 조정합니다.

• 규모 확장: 가장자리나 약한 부분에 세부 요소를 더하거나, 조합 모드를 사용해 여러 개의 작은 세계를 하나의 큰 공간으로 이어 붙여 입체감을 높입니다.

• 내보내기 및 활용: 고화질로 전시하려면 가우시안 스플래팅을, 게임이나 영화 엔진에서素材로 사용하려면 메쉬를, 홍보 영상이나 테스트 촬영용 영상은 영상 렌더링과 효과를, 웹에서 공유할 때는 THREE.js와 연동되는 오픈소스 Spark 렌더러를 사용할 수 있습니다.

Marble 구독 가격

네 단계로 나뉩니다. 무료 버전은 매월 7,000 포인트, 최대 4개의 세계를 만들 수 있으며 텍스트, 이미지 등 기본 입력만 사용할 수 있습니다. 스탠다드 버전은 월 20달러로 매월 20,000 포인트, 최대 12개의 세계를 만들 수 있으며 다중 이미지, 비디오 입력이 가능합니다. 프로 버전은 월 35달러(첫 달 1달러)로 매월 40,000 포인트, 최대 25개의 세계를 만들 수 있고 상업적 이용이 가능합니다. 플래그십 버전은 월 95달러로 매월 120,000 포인트, 최대 75개의 세계를 만들 수 있으며 모든 기능을 사용할 수 있습니다.

Marble 적용 시나리오

• 게임 개발: 걸을 수 있는 레벨 프로토타입과 분위기 있는 공간을 빠르게 만들고, 에셋을 주요 엔진에 투입할 수 있습니다.

• 영화 및 비주얼 이펙트: 테스트 촬영용镜头와 배경 환경에 정교한 제어가 가능한 3D 자료와 정확한 카메라 경로를 제공합니다.

• 가상현실/몰입형 전시: 돌아다닐 수 있는 몰입형 체험과 인터랙티브 전시를 제작할 수 있습니다.

• 로봇 시뮬레이션: 다양한 시뮬레이션 훈련 환경을 만들어 데이터 수집의 난이도를 낮춥니다.

Marble의 장점과 한계

• 장점: 전통적인 모델링에 비해 훨씬 빠르고, 단순한 장면이라면 몇 분 안에 만들 수 있습니다. 할리우드 팀들이 영화 프리비주얼 제작 기간을 3개월에서 2일로 단축시킨 사례도 있습니다. 방 정도의 소규모 정적 장면에서는 구조와 스타일이 비교적 안정적이고 질감도 충분합니다. 내보낼 수 있는 형식이 주요 개발 도구와 VR 기기와 연동되어, 제작부터 활용까지 매끄럽게 이어집니다.

• 한계: 방보다 큰 장면에서는 거리가 먼 부분이 흐려지거나 왜곡되기 쉽습니다. 다중 이미지 합성에서는 멈춤 현상이 발생할 수 있고, 복잡한 장면의 성공률은 아직 더 향상시켜야 합니다. 현재로서는 정적인 장면만 만들 수 있고, 움직이는 요소나 물리 효과가 없어 복잡한 요구사항을 충족시키는 정도로는 아직 정확도가 부족합니다.

Marble은 프롬프트 작성의 난이도를 낮춰, 일반 사용자도 몇 분 만에 돌아다니고, 수정하고, 다운로드할 수 있는 3D 세계를 손에 넣을 수 있게 해 줍니다. 현재 유일하게 공개된 "생성형 공간 지능" 생산 도구입니다.

관련 정보:

AI 생성 3D 모델