Follow-Your-Emoji: 인물 애니메이션 프로젝트 225

Follow-Your-Emoji는 홍콩과기대학, Tencent Hunyuan, 칭화대가 공동으로 개발한 것으로, 확산 모델(diffusion model)을 기반으로 목표 표정이나 동작을 참조 초상화에 적용하면서 초상화의 정체성 특징, 동작의 일관성 및 사실감을 유지합니다. 동영상 속 인물의 얼굴 특징, 특히 얼굴 디테일과 동공의 움직임을 추출하여 새로운 얼굴 애니메이션을 생성합니다.

단 한 장의 사진만 제공하면 Follow-Your-Emoji가 이를 생동감 넘치는 얼굴 애니메이션으로 변환해 주며, 동시에 미묘한 표정 변화까지 포착할 수 있습니다.

Follow-Your-Emoji는 단일 드라이빙 동영상이나 동작 시퀀스를 사용하여 여러 개의 서로 다른 참조 아바타를 구동해 애니메이션을 생성할 수 있습니다. 각 참조 아바타는 동일한 동작 시퀀스에 따라 동일한 동작과 표정 변화를 보여줍니다.또한 단일 참조 아바타에 여러 개의 서로 다른 드라이빙 동영상을 사용하여 여러 개의 애니메이션을 생성할 수도 있습니다. 각 동작 시퀀스는 동일한 참조 아바타가 서로 다른 동작과 표정 변화를 수행하도록 만듭니다.

Follow-Your-Emoji의 주요 기능:

• 정체성 유지: 애니메이션 생성 과정에서 참조 아바타의 정체성 특징이 손실되지 않도록 보장하여, 당신의 이미지가 언제나 일관되게 유지됩니다.

• 풍부한 표정: 큰 동공 움직임과 같이 과장되고 미묘한 다양한 표정을 생성하며, 미세한 눈의 움직임부터 과장된 표정 변화까지 모두 포함합니다.

• 다양한 스타일: 만화, 현실 인물, 조각, 동물 스타일 등 다양한 스타일의 아바타 애니메이션을 지원합니다.

• 안정적이고 오래 지속되는 애니메이션: 점진적 생성 전략을 사용하여 장시간의 애니메이션에서도 안정성과 일관성을 보장합니다.

이 기술의 주요 난제는 애니메이션 과정에서 참조 아바타의 정체성 특징이 손실되지 않도록 유지하는 동시에 목표 표정을 전달하고, 시간적 일관성과 사실감을 보장하는 것입니다.

이 문제를 해결하기 위해 Follow-Your-Emoji는 두 가지 핵심 기술을 사용합니다. 첫 번째는 새로운 명시적 동작 신호인 표정을 인지하는 키포인트를 사용하여 애니메이션 과정을 안내하는 것입니다. 이러한 키포인트는 추론 과정에서 참조 아바타와 목표 동작 간의 정확한 정렬을 보장하고, 과장된 표정(예: 동공의 큰 움직임)을 표현하는 능력을 강화하며, 동시에 정체성 정보의 누출을 방지합니다. 두 번째는 표정과 얼굴 마스크를 사용하여 미묘한 표정 변화와 참조 아바타 외관 재구성에 대한 모델의 능력을 향상시키는 세밀한 얼굴 손실 함수를 제안한 것입니다.

Follow-Your-Emoji는 애니메이션 디자이너, 동영상 제작자, 게임 개발자 등 인물 애니메이션 제작이 필요한 전문가와 애호가들에게 매우 적합합니다.

논문 주소: https://arxiv.org/html/2406.01900v1

Follow-Your-Emoji 프로젝트 주소: https://follow-your-emoji.github.io/