FantasyTalking: 알리바바가 출시한 단일 정적肖像 사진으로 사실적인 말하는 초상화를 생성하는 도구 54

FantasyTalking이란 무엇인가?

FantasyTalking은 알리바바가 개발한 가상 캐릭터 애니메이션 생성 도구로, 단 한 장의 정적 초상화로부터 사실적인 동적 말하는 초상화를 생성할 수 있습니다. 이 도구는 이단계 오디오-비주얼 정렬 전략을 채택하여 입 모양과 음성을 정확하게 동기화하는 동시에, 얼굴 중심 교차 어텐션 모듈과 운동 강도 조절 모듈을 통해 자연스럽고 다양한 애니메이션을 생성합니다. 게임, 영화, 가상 현실에 적용하면 고품질의 가상 캐릭터 애니메이션을 빠르게 생성할 수 있습니다.

FantasyTalking 기술 원리

• 이단계 오디오-비주얼 정렬 전략: 첫 번째 단계에서는 단편 수준 학습 방식을 채택하여 참조 초상화, 맥락 객체 및 배경을 포함한 전체 장면의 오디오驱动 동적 요소를 정렬하고 일관된 전역 운동을 구축합니다. 두 번째 단계에서는 입술 추적 마스크를 통해 프레임 수준에서 입술 운동을 세밀하게 조정하여 오디오 신호와의 정확한 동기화를 보장합니다.

• 얼굴 중심 교차 어텐션 모듈: 일반적으로 사용되는 참조 네트워크를 대체하여 비디오에서 얼굴의 일관성을 효과적으로 유지합니다.

• 운동 강도 조절 모듈: 표정과 신체 운동의 강도를 명시적으로 제어하여 초상화의 운동이 입술 동작에 국한되지 않고 더 자연스럽고 다양한 애니메이션을 구현할 수 있도록 합니다.

FantasyTalking 주요 기능

• 입 모양 동기화: 가상 캐릭터의 입 모양을 입력 음성과 정확하게 식별하고 동기화하여 캐릭터가 말할 때 입 모양과 음성 콘텐츠가 완전히 일치하도록 합니다.

• 얼굴 동작 생성: 음성 콘텐츠와 감정 정보에 따라 눈 깜빡임, 찡그림, 미소 등 풍부한 얼굴 동작을 생성합니다.

• 전신 동작 생성: 장면과情节의 필요에 따라 걷기, 달리기, 점프 등 전신 동작을 생성합니다.

FantasyTalking 핵심 장점

• 높은 사실성: 첨단 인공지능 알고리즘과 딥러닝 기술을 활용하여 생성된 가상 캐릭터 애니메이션은 외모, 동작, 표정 모두에서 실제 인간과 다르지 않습니다.

• 유연하고 사용하기 쉬움: 간결하고 직관적인 사용자 인터페이스와 풍부한 API 인터페이스를 제공하며, 다양한 입력 형식과 출력 형식을 지원하여 사용자가 빠르게 익히고 자신의 프로젝트에 통합할 수 있도록 합니다.

• 고효율 및 안정성: 최적화된 알고리즘과 효율적인 컴퓨팅 아키텍처를 채택하여 짧은 시간 내에 고품질의 가상 캐릭터 애니메이션을 생성하는 동시에 시스템의 안정성과 신뢰성을 보장합니다.

FantasyTalking 응용 시나리오

• 게임 개발: 게임 캐릭터의 대화 애니메이션, 전투 애니메이션 등을 생성하는 데 사용되어 게임의 시각적 효과와 상호작용성을 향상시킵니다.

• 영화 제작: 제작팀이 고품질의 가상 캐릭터 연기 애니메이션, 특수 효과 애니메이션 등을 빠르게 생성하도록 도와 제작 비용과 시간 비용을 절감합니다.

• 가상 현실 및 증강 현실: 가상 현실 및 증강 현실 애플리케이션을 위한 가상 캐릭터의 인터랙티브 애니메이션, 가이드 애니메이션 등을 생성하여 사용자의 몰입감과 경험을 향상시킵니다.

프로젝트 공식 웹사이트：https://fantasy-amap.github.io/fantasy-talking/

Github 저장소：https://github.com/Fantasy-AMAP/fantasy-talking

arXiv 논문：https://arxiv.org/pdf/2504.04842