텐센트 Hunyuan3D: 텍스트 및 이미지를 동시에 지원하는 최초의 오픈소스 3D 모델 115

Hunyuan3D-1.0은 텐센트가 출시한 텍스트와 이미지를 동시에 지원하는 오픈소스 3D 생성 모델로, 기존 3D 생성 모델의 속도와 일반화 한계를 해결합니다.

#行业圈子 #3D网站

방문 텐센트 Hunyuan3D: 텍스트 및 이미지를 동시에 지원하는 최초의 오픈소스 3D 모델

텐센트 Hunyuan3D: 텍스트 및 이미지를 동시에 지원하는 최초의 오픈소스 3D 모델소개

텐센트 Hunyuan3D, 정식 명칭은 Hunyuan3D-1.0으로, 텐센트가 출시한 텍스트 투 3D 및 이미지 투 3D를 동시에 지원하는 3D 오픈소스 모델이며, 기존 3D 생성 모델의 생성 속도와 일반화 능력의 부족 문제를 해결합니다.

腾讯混元3D，Hunyuan3D.webp

텐센트 Hunyuan3D 생성 모델은 Diffusion 기술 기반이며, 텍스트 및 이미지 3D 자산 생성을 지원합니다. 이 모델은 정교하게 설계된 텍스트 및 이미지 인코더, 확산 모델, 3D 디코더를 갖추고 있어 다중 뷰 생성, 재구성 및 단일 뷰 생성이 가능합니다. 텐센트 Hunyuan3D 대형 모델은精美的 3D 물체를 빠르게 생성할 수 있으며, 다양한 다운스트림 응용 분야에 적용할 수 있습니다.

텐센트 Hunyuan3D 기술 특징 및 혁신:

빠른 생성: 경량 버전 모델은 10초 이내에 고품질 3D 자산을 생성할 수 있으며, 단일 이미지에서 3D로의 빠른 생성을 지원하고, 10초 이내에 mesh 및 texture 추출을 포함한 엔드 투 엔드 생성을 완료합니다.

2단계 생성 방법: Hunyuan3D-1.0은 다중 뷰 생성 및 다중 뷰 재구성의 2단계 프로세스를 채택합니다. 먼저, 다중 시점 확산 모델을 통해 6개의 서로 다른 시점의 새로운 이미지를 합성한 다음, Transformer 기반의 희소 시점 대규모 재구성 모델로 이러한 이미지를 처리하여 최종적으로 3D 자산을 생성합니다.

적응형 CFG 기술: 다중 뷰 생성 단계에서, 서로 다른 시점과 타임 스텝의 classifier-free guidance(CFG) 스케일 값을 조정하여, 생성된 이미지가 입력에 충실하면서도 다양성을 갖추도록 보장합니다.

철저한 오픈소스: 모델 가중치, 추론 코드, 알고리즘 등을 모두 공개하며, 경량 버전과 표준 버전을 제공합니다. 경량 버전은 A100 GPU에서 약 10초 만에 3D 자산을 생성할 수 있어 3D 콘텐츠 제작의门槛을 크게 낮춥니다.

강력한 일반화 능력: 일반화 능력과 제어성이 뛰어나며, 건축물부터 도구, 꽃과 같은 작은 물품까지 다양한 스케일의 물체를 재구성할 수 있어 다양한 창작 요구 사항에 적응합니다.

腾讯混元3D性能与应用.gif

텐센트 Hunyuan3D 성능 및 응용:

SOTA 초월: 정성적 및 정량적 평가에서 Hunyuan3D-1.0은 특히 생성 속도와 일반화 능력 측면에서 다른 오픈소스 모델을 능가하는 성능을 보였습니다.
폭넓은 응용: Hunyuan3D 기술은 텐센트의 여러 비즈니스 시나리오에 이미 적용되어, 예를 들어 텐센트 지도(腾讯地图)의 3D 차량 마크 재구성 속도가 91% 향상되었습니다. 또한 Hunyuan3D 대형 모델 기반의 텐센트 지도는 맞춤형 3D 내비게이션 차량 마크 기능을 출시하여, 사용자가 개인화된 3D 내비게이션 차량 마크를 제작할 수 있게 했으며, 기존 방식에 비해 속도가 91% 향상되었습니다. 또한 개인화된 3D 인물 생성을 지원하는 "3D 캐릭터 꿈의 공장(3D角色梦工厂)" 기능을 출시하여 사용자에게 더 많은 창작 자유를 제공합니다.
업계 영향: Hunyuan3D-1.0의 오픈소스는 게임 개발, 영화 및 TV 제작, 가상 현실 등 분야에 강력한 도구를 제공하여 ai 생성 3D 콘텐츠의 혁신과 응용을 촉진했습니다.

텐센트 Hunyuan3D 응용 시나리오:

게임 개발: 고품질 게임 캐릭터, 소품, 건축물 등 3D 자산을 생성하여 게임 개발 효율을 크게 향상시킵니다.
영화 및 TV 애니메이션: 제작자를 위해 3D 영화 및 TV 캐릭터 및 동작 효과를 자동으로 생성하여 애니메이션 제작을 보조합니다.
e-커머스 광고: 광고 크리에이티브 주제에 따라 3D 상품을 생성하여 인터랙티브 효과를 구현하고 광고 콘텐츠의 창의성을 높입니다.
가상 현실(VR)/증강 현실(AR): 사실적인 3D 가상 환경 요소 및 인터랙티브 콘텐츠를 생성하여 몰입감을 향상시킵니다.

텐센트 Hunyuan3D 생성 대형 모델 "Hunyuan3D-1.0"은 11월 5일에正式 오픈소스로 공개되었습니다. 이 모델은 업계 최초로 텍스트와 이미지 3D 생성을 동시에 지원하는 오픈소스 대형 모델로, 경량 버전과 표준 버전 두 가지 선택을 제공합니다. 경량 버전은 단 10초 만에 고품질 3D 자산을 생성할 수 있으며, 기업 및 개발자의 파인튜닝과 배포 요구 사항에 적합합니다. Hunyuan3D는 3D 자산 생성 효율을 크게 촉진하여 개발자에게 더 많은 창작 기회를 제공할 것입니다.

Github 프로젝트:https://github.com/Tencent/Hunyuan3D-1

Hugging Face:https://huggingface.co/tencent/Hunyuan3D-1