PrimitiveAnything: 텐센트 AIPD와 칭화대가 공동 개발한 새로운 3D 형태 생성 프레임워크 76

小编 · 2025-05-14

PrimitiveAnything은 텐센트 AI 플랫폼 부서(aiPD)와 칭화대가 공동 개발한 새로운 3D 형태 생성 프레임워크입니다. 복잡한 3D 형태를 단순한 파츠로 분해하고 이를 다시 조합해 완전한 형태를 만들어냅니다. 생성된 모델의 품질이 높고 다양한 방식으로 창작할 수 있으며 저장과 편집도 용이합니다. 명확한 파라메트릭 방법과 자기회귀 구조를 채택해 학습 과정이 안정적이고 정확하며, 텍스트나 이미지 기반 3D 생성을 지원하고 새로운 파츠 유형도 유연하게 추가할 수 있어 다양한 표현 방식에 적응합니다.

PrimitiveAnything: 텐센트 AIPD와 칭화대가 공동 개발한 새로운 3D 형태 생성 프레임워크

PrimitiveAnything이란 무엇인가?

PrimitiveAnything은 텐센트(腾讯)인공지능플랫폼부(aiPD)와 칭화대학교가 공동 개발한 새로운3D 형상 생성 프레임워크입니다. 복잡한 3D 형상을 간단한 부품으로 분해한 다음, 이를 다시 결합하여 완전한 형상을 만들 수 있습니다. 이도구가 생성하는 모델은 품질이 높고, 다양한 방식으로 창작할 수 있으며, 저장과 편집도 편리합니다. 명확한 파라미터화 방법과 자기회귀(autoregressive) 아키텍처를 채택하여 학습 과정이 안정적이고 정확합니다. 텍스트나 이미지로부터 3D 콘텐츠를 생성하는 것을 지원하며, 새로운 부품 타입을 유연하게 추가하여 다양한 표현 방식에 적응할 수 있습니다.

PrimitiveAnything：腾讯AIPD와 칭화대학교가 공동 개발한 새로운 3D 형상 생성 프레임워크.webp

PrimitiveAnything의 주요 기능

고품질 3D 프리미티브 조립 생성: 기하학적으로 원래 모델에 충실하고 인간의 형상에 대한 직관적 이해와 부합하는 고품질 3D 프리미티브 조립을 생성할 수 있습니다.
다양한 3D 콘텐츠 창작: 텍스트나 이미지 조건으로3D 생성을 지원하여, 사용자에게 유연한 창작 방식을 제공합니다.
효율적인 저장과 편집: 프리미티브 표현 방식을 사용하기 때문에, 생성된 3D 모델은 저장 면에서 더 효율적이며, 동시에 편집과 조정이 용이합니다.
자기회귀 트랜스포머 아키텍처: 자기회귀 트랜스포머를 통해 3D 프리미티브를 프레임 단위로 생성하며, 서로 다른 길이의 프리미티브 시퀀스를 처리할 수 있고 새로운 프리미티브 타입으로 쉽게 확장할 수 있습니다.
모호하지 않은 파라미터화 방안: 파라미터화의 모호성을 제거함으로써, 모델이 학습과 생성 과정에서 안정성과 정확성을 유지하도록 보장합니다.
기하학적 충실도와 의미적 일관성: 생성 과정에서 높은 기하학적 충실도를 유지하며, 인간의 인지에 부합하는 의미적 분해 결과를 생성할 수 있습니다.
모듈형 설계: 프레임워크의 모듈형 설계는 새로운 프리미티브 타입의无缝 통합을 지원하며, 아키텍처를 수정할 필요 없이 서로 다른 프리미티브 표현에 적응할 수 있습니다.

PrimitiveAnything의 주요 기능.webp

기술 원리

모호하지 않은 파라미터화 방안: 통합된 파라미터화 방안 하에서 입방체, 타원기둥, 타원체 등 여러 유형의 프리미티브를 사용하여 3D 형상을 공동으로 표현합니다. 파라미터화에 내재된 모호성을 해결하기 위해, 연구 팀은 프리미티브의 대칭성을 분석하여 회전 파라미터의 L1 노름이 최소가 되는 한 그룹을 유일한 표현으로 선택하는 포괄적인 규칙 세트를 개발하여, 학습 과정의 안정성과 정확성을 보장했습니다.
자기회귀 트랜스포머 아키텍처: 디코더 기반의 Transformer 아키텍처를 채택하여, 형상 특징에 따라 가변 길이의 프리미티브 시퀀스를 생성할 수 있습니다. 먼저 포인트 클라우드 인코더를 통해 3D 형상의 특징 표현을 추출한 다음, 자기회귀 Transformer 모델이 이러한 형상 특징과 이전에 생성된 프리미티브 정보를 받아 다음 프리미티브의 특징을 예측합니다. 프리미티브 속성 간의 의존 관계를 모델링하기 위해, 캐스케이드 디코더를 사용하여 프리미티브의 타입, 위치, 회전, 스케일 등의 속성을 순차적으로 예측함으로써, 프리미티브 속성 간의 자연스러운 상관관계를 포착하여 인간의 조작 논리에 부합합니다.
자기회귀 생성流程: 전체 프리미티브 추상화 과정을 시퀀스 생성 작업으로 재구성합니다. 모델은 포인트 클라우드를 입력 조건으로 사용한 다음, 종료 토큰이 예측될 때까지 자기회귀적으로 프리미티브 시퀀스를 생성합니다. 학습 과정에서 교차 엔트로피 손실, Chamfer 거리(재구성 정확도용), Gumbel-Softmax(미분 가능 샘플링용)를 결합하여 종료 토큰이 생성될 때까지 학습합니다.

PrimitiveAnything 기술 원리.jpg

성능

가구, 교통수단, 건축 등 12개 카테고리를 망라한 테스트 세트에서 PrimitiveAnything은 놀라운 성능을 보여주었습니다. 예를 들어 Chamfer 거리(CD) 지표에서 기존 방법은 0.82, 기존 SOTA는 0.45였던 반면, PrimitiveAnything은 0.21에 도달했습니다. 복셀 IoU 지표에서 기존 방법은 68%, 기존 SOTA는 75%였던 반면, PrimitiveAnything은 89%를 달성했습니다. 분할 일관성(SC) 지표에서 기존 방법은 0.63, 기존 SOTA는 0.71이었던 반면, PrimitiveAnything은 0.92였습니다. 저장 압축률에서 기존 방법은 1x, 기존 SOTA는 3x였던 반면, PrimitiveAnything은 15x에 도달했습니다. 더욱 주목할 만한 것은 그 크로스 모달 생성 능력으로, 텍스트에서 3D로의 생성 작업에서 시스템은 “곡선 등받이가 있는 나무 식탁 의자”와 같은 복잡한 묘사를 정확하게 이해하여, 의미에 부합하는 프리미티브 조합 구조를 생성할 수 있습니다.

PrimitiveAnything 활용 시나리오

3D 모델링과 디자인: 복잡한 3D 모델의 “기하학적 골조”를 빠르게 생성할 수 있어, 디자이너가 이를 기반으로 세부 사항 정제에 집중할 수 있어 작업 효율과 디자인 속도를 향상시킵니다.
게임 에셋 생성: 게임 디자이너는 이를 사용하여 다양한 게임 씬과 캐릭터 모델을 빠르게 생성함으로써 개발 효율을 높일 수 있습니다. 플레이어는 또한 간단한 기하학적 블록 조립 방식으로 새로운 캐릭터나 아이템을 만들 수 있으며, AI가 자동으로 최적화 및 조정하여 물리 엔진에无缝 통합합니다.
사용자 생성 콘텐츠(UGC): 프레임워크는 텍스트나 이미지 입력으로부터의 3D 콘텐츠 생성을 지원하며, 사용자는 생성된 결과를 쉽게 편집할 수 있어 게임 내 UGC에 새로운 가능성을 제공합니다.
가상 현실(VR)과 증강 현실(AR): 가상 현실과 증강 현실 환경에서 사실적인 3D 객체를 빠르게 생성하여 사용자 경험을 향상시킬 수 있습니다.