DSO: 옥스퍼드 대학이 공개한 물리 법칙을 준수하는 3D 모델 최적화 프레임워크 156

DSO란 무엇인가?

DSO(Direct Simulation Optimization)는 옥스퍼드대학교에서 공개한 방법으로, 이미지에서 3D 모델 생성기(예: TRELLIS)의 성능을 향상시키기 위해 직접 시뮬레이션 최적화를 수행하여, 생성된 3D 객체가 물리적 시뮬레이션과 실제 환경에서의 안정성을 높여줍니다. 테스트 시 추가 비용이 들지 않으며, 짧은 시간 내에 스스로 설 수 있는 3D 객체를 생성할 수 있습니다.

DSO 기능 특징

• 3D 모델 안정성 향상: 기존의 생성기가 중력环境下 스스로 설 수 있는 3D 객체를 생성하지 못하는 문제를 해결하였으며, 물리 시뮬레이션 및 3D 프린팅 시 3D 객체의 안정성을 크게 향상시켰습니다.

• 고효율성: 테스트 시 추가 비용이 발생하지 않으며, 안정적인 3D 객체를 초 단위로 생성합니다.

• 호환성: 기존의 이미지-3D 모델 생성기(예: TRELLIS)를 기반으로 최적화가 이루어지며, 이와의 원활한 연계를 통해 원래의 기능과 장점을 충분히 활용할 수 있습니다.

• 사전 학습 모델 제공: 직접 선호 최적화(DPO)와 직접 보상 최적화(DRO)를 통해 각각 학습된 두 가지 사전 학습 모델 체크포인트를 제공하여, 사용자가 손쉽게 시작할 수 있도록 했습니다.

DSO 활용 시나리오

• 3D 프린팅: 생성된 3D 모델이 실제 출력 후 안정적으로 설 수 있는 가능성이 높아져, 모델 불안정으로 인한 출력 실패나 추가 지지 구조의 필요성이 줄어들며, 3D 프린팅의 성공률과 실용성이 향상됩니다.

• 가상현실(VR)과 증강현실(AR): 가상 환경에서 보다 현실적이고 안정적인 3D 객체를 생성하여 사용자 경험을 향상시키며, 예를 들어 가상 장면에 배치된 물체가 물리 법칙에 따라 안정적으로 존재할 수 있게 합니다.

• 게임 개발: 게임 내 3D 모델 생성에 보다 물리 규칙에 부합하는 솔루션을 제공하여, 중력 등 물리적 요인의作用下에서 게임 속 물체가 보다 자연스럽게 작동하도록 함으로써 게임의 현실감과 몰입감을 높여줍니다.

• 건축 설계 및 산업 디자인: 디자이너가 물리적 안정성을 충족하는 3D 모델 프로토타입을 빠르게 생성하여 초기 설계 평가 및 검증을 수행할 수 있도록 지원하며, 안정성 문제로 인한 설계 수정과 반복 횟수를 줄여줍니다.

DSO 사용 방법

1. 의존성 설치:

• TRELLIS 의존성을 설치하고, Python 환경을 생성한 후 지정된 버전의 PyTorch 및 관련 의존성 라이브러리를 설치하며, 스크립트를 실행하여 기타 관련 라이브러리를 설치하고, 마지막으로 Kaolin 라이브러리를 설치합니다.

• 나머지 의존성은 pip install -r requirements.txt 명령어를 통해 설치합니다.

2. 사전 학습 모델 다운로드:git lfs install 및 git clone 명령어를 사용하여 DPO와 DRO로 학습된 사전 학습 모델을 다운로드합니다.

3. 빠른 시작 및 생성:example.py 스크립트를 사용하여 사전 학습 모델과 입력 이미지를 불러오고, TrellisImageTo3DPipeline을 통해 전처리 및 생성을 수행한 후, 최종적으로 생성된 모델을 GLB 형식으로 내보냅니다.

4. 평가:

• 평가 데이터셋을 다운로드합니다.

• 학습된 체크포인트를 사용하여 3D 모델을 생성합니다.

• 안정성 및 기하학적 지표를 계산합니다.

5. 학습:

• 합성 학습 데이터를 생성하며, 여기에는 이미지 획득, 3D 모델 생성, 시뮬레이션 피드백 추가 및 물리적 합리성 점수 저장이 포함됩니다.

• 학습 작업을 시작하고, 데이터 디렉터리를 지정한 후 finetune.py 스크립트를 실행합니다.

Github 주소:https://github.com/RuiningLi/dso