FantasyPortrait: 단일 정적 이미지에서 다중 캐릭터의 감정적 얼굴 애니메이션 생성 74

小编 · 2025-07-23

FantasyPortrait은 Alibaba Amap 팀과 베이징邮电大学가 공동 개발한 프레임워크로, 단일 정적 이미지에서 다중 캐릭터의 감정적 얼굴 애니메이션을 생성합니다. 기존 기하학적 사전 정보 대신 암묵적 특징 추출로 복잡한 표정을 포착하고, 마스크 교차 어텐션으로 캐릭터 간 특징 간섭을 방지합니다. 멀티스타일 캐릭터 적응, 제로샷 동물 애니메이션, 저자원 오디오 기반 애니메이션을 지원하며 디지털 휴먼, 가상 아이돌, 게임 NPC 등에 활용할 수 있습니다. 코드는 GitHub에 오픈소스로 공개되어 있습니다.

FantasyPortrait: 단일 정적 이미지에서 다중 캐릭터의 감정적 얼굴 애니메이션 생성

FantasyPortrait은 알리바바 가오도맵(高德地图) 팀과 베이징 우편통신대학(北京邮电大学)이 공동 개발한 프레임워크로, 단일 정적 이미지에서 다중 캐릭터의 감정 표현이 가능한 얼굴 애니메이션을 생성할 수 있습니다. 이는 복잡한 표정을 암묵적(implicit) 특징으로 추출하여 전통적인 기하학적 사전 정보를 대체하고, 교차 정체성 전이 능력을 향상시키며, 마스크 교차 어텐션 메커니즘을 활용해 다중 캐릭터 간의 특징 간섭을 방지합니다. 또한 다중 스타일 캐릭터 적응, 제로샷 동물 애니메이션 생성, 저자원 오디오 기반 구동 등 기능을 지원하며, 디지털 휴먼, 가상 아이돌, 게임 NPC 등 분야에 활용할 수 있고, 코드는 GitHub에 오픈소스로 공개되어 있습니다.

FantasyPortrait: 단일 정적 이미지에서 다중 캐릭터의 감정적 얼굴 애니메이션 생성

핵심 기능

✅ 암묵식 표정 강화 학습: 입 움직임, 감정 표현 등 복잡한 표정을 암묵적 특징으로 추출하여 전통적인 명시적 기하학적 사전 정보를 대체하고, 교차 정체성 전이 능력을 향상시킵니다.

✅ 마스크 교차 어텐션 메커니즘: 다중 캐릭터에 대해 독립적인 표정 제어 영역을 생성하여 특징 간섭을 방지하고, "한 사람 한 채널"의协调적 애니메이션을 구현합니다.

✅ 다중 모달 확장성: 텍스트 및 오디오 기반 구동을 지원합니다. 예를 들어 Whisper로 오디오를 인코딩하여 립싱크 애니메이션을 생성하며, 소량의 데이터 미세 조정만으로 다국어 적응이 가능합니다.

✅ 데이터셋 및 평가 벤치마크: Multi-Expr 데이터셋(고품질 다중 캐릭터 비디오 3만 개 이상)과 ExprBench 벤치마크를 구축하여 업계 표준화를 추진합니다.

방법 설계 측면:

✅ 2단계 훈련 전략: 먼저 UNet으로 표정 특징을 인코딩한 다음, 확산 변환기(diffusion transformer)로 애니메이션 시퀀스를 디코딩합니다.

✅ 다중 캐릭터 제어 모듈: 특징 마스크로 서로 다른 캐릭터의 구동 신호를 분리하여 시간 차원의 일관성을 유지합니다.

데이터셋 및 평가 벤치마크:

✅ Multi-Expr 데이터셋: 50만 프레임 이상의 다중 시점 표정 데이터를 포함하며, 최초의 다중 캐릭터 애니메이션 데이터셋입니다.

✅ ExprBench 평가 벤치마크: 다중 캐릭터 초상화 애니메이션의 학습 및 평가에 사용됩니다.

실험 결과는 다음과 같습니다:

✅ 교차 구동 재현 과제: StyleHEAT, PIRender 등 방법에 비해 FID 지표가 41.7% 향상되었습니다.

✅ 다중 캐릭터 애니메이션 생성 시나리오: 사용자 선호율이 83.5%에 달하며, 눈의 미세 떨림, 비대칭 입꼬리 움직임 등 미세한 표정을 정확하게 생성할 수 있습니다.

활용 분야는 다음과 같습니다:

✅ 다중 캐릭터 애니메이션: 여러 단일 인물 비디오 또는 단일 다중 인물 비디오로 여러 캐릭터를 구동하여, 상세한 표정과 사실적인 초상화 애니메이션을 생성할 수 있습니다.

✅ 다양한 캐릭터 스타일: 역동적이고 표현력이 풍부하며 자연스러운 다양한 스타일의 애니메이션을 생성할 수 있습니다.

✅ 동물 애니메이션: 동물 데이터셋에서 명시적으로 학습하지 않았지만, 동물 애니메이션 과제에서 강력한 일반화 능력을 보입니다.

✅ 오디오 기반 초상화 애니메이션: 오디오 인코딩과 Transformer 기반 네트워크를 통해 오디오 특징을 잠재 구동 표현(latent driving representation)으로 매핑하여 오디오 기반 초상화 애니메이션을 구현하며, 소량의 훈련 샘플만으로도 양호한 음성-영상 정렬이 가능합니다.

핵심 질문 답변:

어떤 기술적 돌파구가 있나요?
답: 첫째, 암묵적 제어를 통한 표현 강화로, 암묵적 얼굴 표현(implicit facial representation)을 통해 미세 표정 특징을 학습하여 입 움직임과 감정 표현 모델링 능력을 향상시킨 점; 둘째, 다중 캐릭터 마스크 교차 어텐션으로, 독자적인 마스크式 교차 어텐션 메커니즘을 통해 다중 캐릭터의 독립 제어와协同 생성을实现하여 캐릭터 간 특징 간섭 문제를 해결한 점입니다.
기능적 특징은 무엇인가요?
답: 단일 또는 여러 단일 인물 비디오, 한 편의 다중 인물 비디오로 여러 캐릭터를 동기화하여 구동하는 다중 캐릭터 동기 구동; 서로 다른 예술 스타일 캐릭터에 대해 역동적이고 매끄러우며 생생하고 자연스럽고 스타일이 통일된 영상을 생성하는 다중 스타일 캐릭터 적응; 별도의 학습 없이도 뛰어난 생성 능력을 보유한 제로샷 동물 애니메이션; Whisper로 오디오를 인코딩하고 경량 Transformer 네트워크로 오디오 특징을 잠재 구동 공간에 매핑하여 오디오 기반 프레임워크로 확장 가능한 저자원 오디오 구동을 포함합니다.
어떤 활용 가치가 있나요?
답: 영화·TV 제작에서 독립 애니메이터가 손쉽게 군중 연기(群戏) 영상을 생성할 수 있게 해주며, 게임 분야에서는 NPC가 각기 다른 미세 표정을 구현하도록 해주고, 가상 라이브 방송에서는 다중 캐릭터 간 상호작용을 더 생생하고 자연스럽게 만들어 줍니다.