PartCrafter: 단일 이미지에서 여러 파츠와 오브젝트를 생성하는 3D 생성 모델 66

PartCrafter란 무엇인가요?

PartCrafter는 베이징대학교, 바이트댄스, 카네기멜런대학교가 협력하여 개발한 새로운 3D 생성 도구입니다. 이 도구는 일반 RGB 이미지 한 장으로부터 명확한 구조와 형태를 가진 여러 개의 3D 메시 파트를 직접 생성할 수 있습니다.

핵심 기능

• 다중 파트 생성: PartCrafter는 먼저 이미지를 분할 처리할 필요 없이, 단일 이미지에서 여러 개의 독립적인 3D 파트를 한 번에 생성할 수 있습니다.

• 파트 단위 조작: 생성된 3D 모델은 각 파트를 개별적으로 편집할 수 있도록 지원하며, 예를 들어 위치 조정, 회전 각도 변경, 크기 조절 등이 가능합니다.

• 원클릭 생성: 사용자가 이미지 한 장만 제공하면, PartCrafter가 복잡한 3D 장면을 바로 생성해 줍니다.

• 효율적인 생성: 사전 학습된 3D 메시 확산 Transformer(DiT)를 활용하여, PartCrafter는 더 빠른 생성 속도를 제공합니다.

기술 원리

• 합성 잠재 공간: 각 3D 파트는 독립적인 잠재 토큰 집합으로 표현됩니다. 이를 통해 생성 시 각 파트가 독립적으로 발전하면서도 파트 단위의 세부 정보를 유지할 수 있습니다.

• 계층적 어텐션 메커니즘: 이 메커니즘은 단일 파트 내부 및 파트 간에 정보가 질서 있게 흐르도록 하여, 전체적으로 일관된 결과물이 생성되도록 보장합니다.

• 사전 학습된 3D 메시 확산 Transformer(DiT) 기반: 사전 학습된 가중치, 인코더 및 디코더를 상속받아, 모델의 생성 능력을 한 단계 더 향상시킵니다.

• 엔드 투 엔드 파트 인지 생성: 이미지 한 장만으로 여러 3D 파트를 동시에 디노이징 처리하여, 단일 객체에서 복잡한 다중 객체 장면까지 직접 생성이 가능합니다.

데이터 및 학습

• 데이터셋: 대규모 3D 데이터셋에서 파트 단위 주석을 추출하여, 약 5만 개의 라벨링된 객체와 30만 개의 독립 파트를 포함하는 데이터셋을 구축했습니다.

• 학습 방법: 커리큘럼 학습 전략을 채택하여, 점진적으로 모델 성능을 최적화합니다.

활용 시나리오

• 게임 개발: 캐릭터, 소품, 씬 등 고품질의 3D 게임 자산을 빠르게 생성할 수 있습니다. 개발자가 이미지 한 장이나 간단한 설명만 제공하면, 곧바로 대량의 3D 모델을 얻을 수 있어 게임 개발 속도를 크게 높여줍니다.

• 건축 및 인테리어 디자인: 건축 모델과 인테리어设计方案을 빠르게 생성할 수 있습니다. 디자이너가 건축 도면이나 디자인 스케치를 업로드하면, 즉시 3D 모델을 얻을 수 있어方案 프레젠테이션에 편리하며, 고객이 디자인 아이디어를 더 명확하게 이해할 수 있도록 도와줍니다.

• 영상 제작: 초고해상도 지오메트리 디테일 모델링 능력을 갖추고 있으며, 다중 뷰 입력을 통해 PBR 모델을 생성할 수 있어, 영상 제작 팀에 고품질의 3D 모델 소재를 제공합니다.

성능

• 고효율: 단일 이미지로부터 구조화된 3D 모델을 생성하는 데 약 40초만 소요됩니다.

• 고정밀: 파트 생성 정밀도와 장면 일관성이 기존 방법 대비 각각 32%와 28% 향상되었습니다.

프로젝트 링크

프로젝트 홈페이지:https://wgsxm.github.io/projects/partcrafter/

GitHub 저장소:https://github.com/wgsxm/PartCrafter

논문 주소:https://arxiv.org/abs/2506.05573