PIA: 개인화 이미지 애니메이터 214

PIA는 텍스트-이미지 모델의 플러그 앤 플레이 모듈을 통해 개인화된 이미지 애니메이터를 구현하는 개인화된 이미지 애니메이션 방법으로, 높은 동작 제어성과 강력한 텍스트 및 이미지 정렬을 갖춘 비디오를 생성할 수 있으며, 특정 조정 없이 다양한 개인화된 T2I 모델과 호환됩니다.

제안된 PIA는 서로 다른 텍스트 프롬프트에 따라 사실적인 동작으로 이미지를 애니메이션화하는 동시에 독특한 스타일과 고충실도 디테일을 보존하여 외형과 동작의 완벽한 균형을 이루어 외형 관련 이미지 정렬 과제를 완화하고 동작 관련 안내 정렬에 집중합니다.

PIA 프로젝트 주소: https://pi-animator.github.io/

개인화된 텍스트-이미지(T2I) 모델의 최근 발전은 콘텐츠 창작에 혁명을 일으켜 비전문가도 독특한 스타일로 놀라운 이미지를 생성할 수 있게 했습니다. 유망하지만 텍스트를 통해 사실적인 동작을 이러한 개인화된 이미지에 추가하는 것은 독특한 스타일, 고충실도 디테일 보존 및 텍스트를 통한 동작 제어성 측면에서 상당한 과제를 안고 있습니다.

본 논문에서는 조건부 이미지와의 정렬, 텍스트를 통한 동작 제어성, 그리고 특정 조정 없이 다양한 개인화된 T2I 모델과의 호환성을 능숙하게 수행하는 개인화된 이미지 애니메이터인 PIA를 소개합니다. 이러한 목표를 달성하기 위해 PIA는 훈련된 시간 정렬 레이어를 기반으로 하는 기본 T2I 모델 위에 구축되어, 모든 개인화된 T2I 모델을 원활하게 이미지 애니메이션 모델로 변환할 수 있도록 합니다.

PIA의 핵심 구성 요소 중 하나는 조건부 프레임과 프레임 간 친화력을 입력으로 활용하고, 친화력 프롬프트의 안내 하에 잠재 공간에서 단일 프레임 합성을 위해 외형 정보를 전달하는 조건부 모듈의 도입입니다. 이러한 설계는 외형과 관련된 이미지 정렬의 내부 과제를 완화하고 동작 관련 안내 정렬에 더 집중할 수 있게 합니다.

PIA 구현 방식:

• 시간 정렬 레이어 기반 T2I 모델: 훈련되어 개인화된 T2I 모델을 이미지 애니메이션 모델로 변환합니다.

• 조건부 모듈: 조건부 프레임과 프레임 간 연관성을 활용하여 연관성 프롬프트를 통해 잠재 공간에서 외형 정보를 전달하고 프레임 합성을 안내합니다.

PIA 특징:

• 플러그 앤 플레이 방식으로 텍스트 프롬프트에 따라 애니메이션 처리를 구현합니다.

• 원본 스타일을 보존하고 고충실도 디테일이 왜곡되지 않습니다.

PIA는 상하이 인공지능 연구소가 기여했습니다.