Media2Face_云技派,专注ai人工智能! 85

인공지능 분야에서 음성으로부터 정확한 입술 움직임을 만드는 것은 항상 지속적인 과제였습니다. 하지만 돌파구가 찾아왔습니다 — Media2Face입니다.

Media2Face는 오디오, 텍스트, 이미지 다중 모달리티로引导된 공통 언어 얼굴 애니메이션 생성 도구입니다. 이는 오디오, 텍스트, 이미지 입력의引导을 활용하여 자연스럽게 인간의 언어를 모방하며, 일반화된 신경 파라미터 얼굴 자산(GNPFA)을 도입했습니다. 이는 효율적인 잠재 공간으로, 표정과 정체성을 분리합니다. 그런 다음 GNPFA를 활용하여 대량의 비디오에서 추출한 변분 자동 인코더를 통해 얼굴 기하학 구조와 이미지를 고도로 일반화된 표정으로 매핑하여 고품질의 표정과 정확한 머리 자세를 얻을 수 있습니다.

고품질의 4D 얼굴 데이터가 제한적이기 때문에, 음성으로부터 3D 얼굴 동작을 합성하는 것은 어려움에 직면해 있습니다. 하지만 Media2Face의 도움으로 이제는 어떤 오디오, 이미지 또는 텍스트 입력으로부터도 사실적이고 표현력이 풍부한 얼굴 애니메이션을 매끄럽게 생성할 수 있습니다.

Media2Face는 음성에 따라 음성과 동기화되고 표현력이 풍부한 3D 얼굴 애니메이션을 생성할 수 있습니다. 동시에 사용자가 생성된 얼굴 애니메이션을 "기쁨"이나 "슬픔" 등과 같은 감정 조정 등 더 세밀하게个性化 조정할 수 있도록 합니다. Media2Face는 또한 다양한 유형의 입력 정보(오디오, 텍스트, 이미지)를 이해하고, 이러한 정보를 얼굴 애니메이션 생성의 지침으로 활용합니다.

Media2Face 실제 응용:

• 대화 장면 창작: 작성한 대본에 따라 컴퓨터가 인물 대화의 애니메이션 장면을 생성할 수 있습니다.

• 스타일화된 얼굴 애니메이션 제작: 감정 이모지를 컴퓨터에 주면, 컴퓨터가 이 이모지에 따라 애니메이션을 창작할 수 있습니다.

• 감정 노래: 컴퓨터는 또한 다양한 언어로 노래하며 그에 상응하는 감정을 표현할 수 있습니다.

• 개인화 애니메이션: 가장 놀라운 점은, 이 프로젝트가 다양한 인종, 연령, 성별에 맞는 개인화된 얼굴 애니메이션을 창작할 수 있다는 것입니다.

• 영화 제작 회사는 Media2Face를 사용하여 영화 속 가상 인물의 얼굴 애니메이션을 생성합니다.

• 가상 진행 플랫폼은 Media2Face를 활용하여 가상 진행의 얼굴 표정 생성을 실현합니다.

• 게임 개발 회사는 가상 캐릭터 설계에서 Media2Face를 적용하여 얼굴 애니메이션을 생성합니다.

Media2Face는 어떻게 작동하나요?

Media2Face 프로젝트의 작동 원리에는 여러 핵심 기술과 단계가 관련되어 있어, 음성으로부터 풍부한 표정과 감정을 가진 3D 얼굴 애니메이션을 합성할 수 있게 합니다. 다음은 이 프로젝트의 주요 워크플로우입니다:

1. 일반 신경 파라미터화 얼굴 자산(GNPFA):

우선, 연구 팀은 (GNPFA라고 불리는) 특수 도구를 만들었는데, 이는 거대한 얼굴 표정 데이터베이스와 같습니다. 어떤 표정을 원하든, 이 도구가 찾아줄 수 있으며, 각자의 얼굴 애니메이션이 고유하여 다른 사람과 혼동되지 않도록 보장합니다.

이 과정은 표정과 정체성의 분리를 실현하며, 즉 서로 다른 정체성 사이에서 동일한 표정을 전환할 수 있습니다.

그런 다음, 이 도구를 사용하여 많은 비디오를 처리하여 그로부터 고품질의 표정과 머리 동작을 추출했습니다. 이렇게 하여 다양한 얼굴 애니메이션과 그에 상응하는 감정, 스타일 레이블이 포함된 거대한 데이터셋이 만들어졌습니다.

2. 다중 모달리티引导 기반 애니메이션 생성:

Media2Face는 GNPFA의 잠재 공간에서 애니메이션을 생성하기 위해 확산 모델을 채택하며, 이 모델은 오디오, 텍스트, 이미지로부터의 다중 모달리티引导을 수용할 수 있습니다.

모델은 오디오 특징과 CLIP 잠재 코드를 조건으로 사용하며, 표정 잠재 코드 시퀀스의 잡음 버전과 머리 동작 코드(즉, 머리 자세)와 함께 노이즈를 제거합니다.조건은 무작위로 마스킹되며, 잡음 머리 동작 코드와의 교차 어텐션을 통해 처리됩니다.

3. 표정 및 머리 자세 생성:

GNPFA를 활용하여 대량의 비디오로부터 고품질의 표정과 정확한 머리 자세를 추출합니다. 이는 주석이 잘 달린 감정 및 스타일 레이블을 갖춘 대규모, 다양하며 스캔 레벨의 공통 음성 3D 얼굴 애니메이션 데이터셋인 M2F-D 데이터셋을 제시합니다.

4. 표정 및 스타일 미세 조정:

표정 인코더를 통해 키 프레임 표정 잠재 코드를 추출하고, CLIP을 통해 "기쁨"이나 "슬픔"과 같은 매 프레임의 스타일 프롬프트를 제공하여, 사용자가 애니메이션의 강도와 제어 범위를 조정할 수 있습니다.

위의 기술적 단계를 통해 Media2Face는 음성과 동기화되고 표현력이 풍부한 3D 얼굴 애니메이션을 생성할 수 있으며, 복잡한 감정 표현과 스타일 변화를 지원하여, 가상 캐릭터 제작 및 AI 디지털 휴먼의 상호작용 경험 강화에 강력한 도구를 제공합니다. 다수의 실험 결과 Media2Face가 얼굴 애니메이션 합성에서 고충실도를 실현했을 뿐만 아니라, 3D 얼굴 애니메이션의 표현력과 스타일 적응력을 확장했음을 보여줍니다.