DiffPortrait360: 단일 인물 초상화 이미지에서 일관된 360도 헤드 뷰를 생성하는 방법 128

DiffPortrait360이란 무엇인가요?

게임, 영화, 애니메이션 제작에서 CG 캐릭터는 콘텐츠 제작의 핵심 요소이며, 사실감과 스타일라이제이션 사이의 균형을 맞춰야 합니다. 과거의 다중 뷰 스테레오 시스템과 3D 스캐너는 사실적인 인간 캐릭터를 제작하는 데 자주 사용되었지만, 스타일라이즈된 캐릭터는 여전히 처음부터 모델링해야 했습니다. DiffPortrait360의 등장으로 스타일라이즈된 캐릭터를 효율적으로 생성할 수 있는 새로운 접근 방식이 제시되었습니다.

DiffPortrait360은 단 한 장의 인물 초상화 사진으로부터 360도 전방위 두부 이미지를 생성할 수 있는 3D 두부 뷰 생성 기술입니다. 이 기술은 사전 학습된 잠재 확산 모델과 여러 보조 모듈을 결합하여 고품질의 스타일라이즈된 3D 두부 뷰 합성을 실현합니다. DiffPortrait360은 다양한 헤어스타일, 포즈, 표정과 같은 복잡한 입력을 지원하며, 생성된 모델은 몰입형 원격 상호작용, 개인화된 콘텐츠 제작, 그리고 게임 및 애니메이션 제작에 광범위하게 활용될 수 있습니다.

방법 원리

• 아키텍처: DiffPortrait360은 사전 학습된 잠재 확산 모델(LDM)을 렌더링 백본 네트워크로 사용하며, 이중 외형 R, 카메라 제어 C, 뷰 일관성을 갖춘 U-Nets를 제어하기 위한 세 가지 보조 학습 가능 모듈을 도입했습니다. 여기서 R은 정면 및 후면 이미지에서 외형 정보를 추출하고, C는 카메라 포즈를 유도하며 기성 3D GAN을 사용하여 렌더링합니다.

• 주요 혁신: 이 방법은 DiffPortrait3D 프레임워크를 기반으로 하며, 후두부 세부 정보를 생성하기 위한 맞춤형 ControlNet과 전후면 전역 일관성을 보장하기 위한 이중 외형 모듈을 추가했습니다. 연속 뷰 시퀀스에서의 학습과 후면 뷰 참조 이미지의 통합을 통해 견고한 로컬 연속 뷰 합성을 실현했습니다.

• 학습 전략: 카메라 궤적의 연속성을 더 잘 유지하기 위해 연속 샘플링 학습 전략을 채택하고, 회전 각도가 변할 때 외형 정보가不变하도록 프레임 간 연속성에 대한 어텐션을 강화했습니다.

장점과 특징

• 폭넓은 적용성: 안경이나 모자와 같은 액세서리를 포함한 인간, 스타일라이즈, 의인화 형태의 360도 두부 뷰를 생성할 수 있습니다.

• 고품질: 실시간 자유 시점 렌더링을 위한 고품질 신경 방사장(NeRF)을 생성할 수 있으며, 객체 합성 및 360도 두부 생성에서 기존의 최첨단 방법보다 우수한 성능을 보입니다.

• 강력한 견고성: 복잡한 헤어스타일, 다양한 두부 포즈, 풍부한 표정, 혀와 같은 세부 요소 등 다양한 복잡한 입력을 처리할 수 있습니다.

활용 전망

• 몰입형 원격 존재 애플리케이션: 고품질의 360도 두부 뷰를 생성하여 사용자에게 현실적인 경험을 제공합니다.

• 개인화된 콘텐츠 제작: 사용자가 제공한 단 한 장의 초상화 이미지를 바탕으로 다양한 시점을 가진 3D 두부 모델을 빠르게 생성할 수 있습니다.

• 게임 및 애니메이션 제작: 스타일라이즈된 캐릭터 두부 모델을 효율적으로 생성하여 게임 및 애니메이션 제작의 효율성과 품질을 높일 수 있습니다.

Github 주소:https://github.com/FreedomGu/DiffPortrait360