ImmerseGen: 바이트댄스와 저장대학교가 공동 개발한 3D 씬 생성 프레임워크 62

ImmerseGen이란 무엇인가요?

ImmerseGen은 바이트댄스와 저장대학교가 공동으로 개발한 3D 장면 생성 프레임워크로, 프록시 가이드와 RGBA 텍스처 합성 기술을 활용하여 사용자가 제공하는 텍스트 설명(예: "가을 자연 경관 생성")에 따라 현실감 있는 VR 장면을 생성합니다. 특히 실시간 렌더링 VR 헤드셋에 적합하며, 사용자가 복잡한 자산에 의존하는 정도가 크게 줄어들고 장면의 다양성과 현실감을 동시에 보장합니다.

주요 기능

• 경량 고효율: 계층적 지오메트리 프록시와 RGBA 텍스처 합성으로 고효율 장면 모델링 구현.

• 자동 생성: 지형 조건부 텍스처와 비전-언어 모델(VLM)을 결합하여 높은 자동화 수준의 VR 장면 생성 구현.

• 뛰어난 시각 경험: 사실감, 공간 일관성, 렌더링 효율성 측면에서 기존 기술을 능가함.

• 폭넓은 적용 범위: 모바일 VR 기기에 모두 적용 가능하며, 관련 분야에 고품질 3D 장면 생성 솔루션을 제공함.

방법 및 프로세스

• 기반 지형: 사용자 입력을 기반으로 기반 지형을 검색한 후, 지형 조건부 텍스처로 RGBA 지형 텍스처와 스카이박스를 합성하여 기본 월드를 형성함.

• 경량 자산: VLM으로 적합한 템플릿을 선택하고 자산 프롬프트를 설계하여 장면 내 자산 배치를 결정함. 자산은 맥락이 풍부한 Rays-textured Composite를 통해 alpha-textured 자산으로 인스턴스화됨.

• 멀티모달 몰입감 강화: 동적 시각 효과와 환경음을 기반으로 몰입감을 더욱 강화함.

활용 사례

• VR 및 AR: 게임 개발, 가상 여행, 교육 훈련에 사용되어 장면과 레벨을 빠르게 생성하고 몰입형 경험을 제공함.

• 건축 및 부동산: 가상 집 보기, 건축 설계에 적용되어 고객이 3D 모델을 이해하고 피드백하기 편리하게 함.

• 영화 및 애니메이션: 특수 효과 제작과 장면 설계에 사용되어 촬영 필요성을 줄이고 시각적 효과를 제공함.

• 소셜 미디어 및 콘텐츠 제작: 가상 배경과 고품질 3D 장면을 제공하여 가상 영상 통화, 라이브 방송, 콘텐츠 제작에 활용됨.

• 시뮬레이션 및 훈련: 군사 훈련, 의료 교육에 사용되어 현실적인 전장 및 의료 공간을 연구·개발함.

• 소매 및 전자상거래: 가상 상점과 상품 3D 모델을 생성하여 쇼핑 경험과 상품 전시 효과를 향상시킴.

자주 묻는 질문

1. ImmerseGen은 어떻게高效的(고효율적인) VR 장면 생성을 구현하나요?

답: 세 단계로 진행됩니다. 기본 월드를 생성하고, 프록시 가이드 기술을 사용하여 자산을 설계 및 배치한 후, 마지막으로 동적 효과와 환경음을 통해 몰입감을 강화합니다. 핵심은 복잡한 자산 대신 alpha 텍스처 프록시를 사용하여 계산 복잡도를 낮추고 VR 헤드셋의 실시간 렌더링을 지원한다는 점입니다.

2. 자산 프록시의 용도는 무엇인가요?

답: 자산 프록시는 비전-언어 모델(VLM)을 기반으로 적합한 템플릿을 선택하고, 자산에 대한 프롬프트를 생성하며 수평 단면을 결정하여 자산이 맥락과 잘 어울리도록 보장하고, 자산 설계와 배치를 자동으로 수행합니다.

3. ImmerseGen은 기존 VR 장면 생성 기술에 비해 어떤 장점이 있나요?

답: 기존 기술은 복잡한 3D 자산에 의존하지만, ImmerseGen은 프록시 가이드 기반 alpha 텍스처 프록시를 사용하여 복잡한 자산에 대한 의존성을 크게 낮추었습니다. 동시에 지형 조건부 텍스처 합성 등을 통해 장면의 사실감과 다양성을 보장하고, VR 헤드셋에서의 실시간 렌더링을 지원하여 사용자 경험의 부드러움을 향상시킵니다.

프로젝트 주소

https://immersegen.github.io/