PortraitGen: 멀티모달 인물 초상화 비디오 편집 도구 226

PortraitGen은 중국과학기술대학(中国科学技术大学)에서 출시한 혁신적인 AI 인물 비디오 편집 도구입니다. 2D 인물 영상을 4D 효과로 향상시킬 수 있습니다. 멀티모달 편집을 지원하며, 단 30분 만에 영상 속 인물의 의상, 표정, 조명 환경을 변경할 수 있습니다. PortraitGen에는 얼굴 인식 편집 모듈이 있어 표정 편집의 자연스러움을 향상시킵니다. 사용자는 영상과 참조 이미지를 입력하여 텍스트로 인물 효과를 손쉽게 수정할 수 있습니다.

PortraitGen 주요 특징:

• 빠른 편집: PortraitGen은 단 30분 만에 영상 편집을 완료할 수 있으며, 편집된 3D 초상화는 초당 100프레임의 부드러운 재생을 지원합니다.

• 멀티모달 입력: 사용자는 텍스트, 이미지 또는 3D 모델 입력을 통해 편집할 수 있으며, 텍스트 기반 및 이미지 기반 스타일 편집을 포함한 다양한 편집 방식을 지원합니다.

• 얼굴 인식 편집 모듈: 이 모듈은 표정의 품질을 향상시키고 개인화된 얼굴 특징을 유지하도록 설계되어, 편집 효과를 보다 자연스럽고 섬세하게 만듭니다.

• 조명 조정: 사용자는 제공된 조명 설명에 따라 영상 프레임의 조명을 조절하여 전체 영상을 보다 조화롭고 아름답게 만들 수 있습니다.

• 기술적 우위: PortraitGen은 신경 가우시안 텍스처 기술을 채택하여 전통적인 구면 조화 계수 방식과 달리, 각 가우시안 포인트에 학습 가능한 특징을 저장함으로써 보다 풍부한 편집 효과를 구현합니다.

• 고프레임률: 편집된 영상은 초당 100프레임의 부드러운 재생을 지원합니다.
  

• 의상 교체 효과: 스타일 전송 및 가상 피팅을 통해 구현됩니다.
  

PortraitGen 기술 세부 사항:

• SMPL-X 계수: 단안 비디오 추적에 사용됩니다.

• 신경 가우시안 텍스처: 3D 가우시안 특징 필드를 구성합니다.

• 얼굴 인식 편집: 표정 품질을 향상시키고 개인화된 얼굴 구조를 보존합니다.

• 스타일 전송: 이미지 기반 편집에 사용됩니다.

• InstructPix2Pix: 텍스트 기반 편집에 사용됩니다.

PortraitGen 사용 시나리오:

• 영상 제작: 고품질 인물 영상을 빠르게 생성합니다.

• 광고 산업: 영상 스타일을 유연하게 변화시킵니다.

• 소셜 미디어: 개인화된 영상 콘텐츠 제작.

• 교육 훈련: 교육용 영상 제작.

• 가상 피팅: 패션 산업 응용.

PortraitGen은 중국과학기술대학 연구팀에서 개발한 첨단 AI 인물 비디오 편집 도구로, 2024년 9월 23일에 Arxiv를 통해 공개되었습니다. PortraitGen은 텍스트 명령이나 참조 이미지를 통해 영상 속 인물의 외모를 수정하여, 의상 교체, 조명 효과 조정, 인물 특징 변경 등을 포함한 멀티모달 편집 기능을 구현합니다.

PortraitGen 획득 방법:

프로젝트 주소: https://ustc3dv.github.io/PortraitGen

Github 주소: https://github.com/USTC3DV/PortraitGen-code

논문 주소: https://arxiv.org/abs/2409.13591