Alibaba EMO: 사진 한 장과 오디오로 말하거나 노래하는 영상 생성 283

2024-02-28

Alibaba EMO: 사진 한 장과 오디오로 말하거나 노래하는 영상 생성

알리바바 그룹 지능 컴퓨팅 연구소가 EMO: Emote Portrait Alive를隆重推出(성대하게 출시했습니다. 이것은 이미지와 오디오만으로 표현력이 풍부한 인물 영상을 생성할 수 있는 획기적인 AI입니다! 영상의 길이는 오디오 길이와 일치하며, 대화와 노래 영상이 생생하게 구현되고, 모든 음성, 모든 말하기 속도, 모든 이미지를 지원합니다...

기존 방법과 달리 EMO는 직접적인 오디오-투-비디오 방식을 사용하여 중간 3D 모델이나 얼굴 랜드마크의 필요성을 우회합니다. 이를 통해 전체 영상의 매끄러운 프레임 전환과 일관된 정체성 보존이 보장되어 매우 표현력이 풍부하고 사실적인 애니메이션이 생성됩니다. 이는 더 부드러운 전환과 더 자연스러운 표정을 의미합니다.

EMO는 다양한 스타일의 노래 영상 제작에도 능숙합니다! 좋아하는 아티스트의 이미지 한 장만으로 뮤직비디오를 만드는 것을 상상해 보세요!

EMO 연구 논문:https://arxiv.org/pdf/2402.17485.pdf

EMO 오픈소스 주소:https://humanaigc.github.io/emote-portrait-alive/

EMO 주요 기능:

1. 오디오 기반 인물 영상 생성: 단일 참조 이미지와 오디오 입력(말하기 또는 노래 등)을 활용하여 EMO는 표정 변화 및 머리 동작이 있는 가상 인물 영상을 생성할 수 있습니다. 이는 사용자가 정적 이미지와 해당 오디오 파일을 제공하여 말하거나 노래하는 동적 영상을 만들 수 있음을 의미합니다. 영상 속 인물이 어떤 표정 변화나 머리 동작을 수행하든, 그 기본 특징은 이 참조 이미지에서 비롯됩니다.

2. 표현력이 풍부한 동적 렌더링 및 머리 자세 지원: EMO는 영상에서 자연스럽고 표현력이 풍부한 얼굴 동작을 생성하는 데 특히 중점을 두며, 미묘한 표정과 머리 움직임을 포착하여 생생한 대화 및 노래 영상을 만들어내고, 자연스럽고 생동감 있는 얼굴 애니메이션을 생성하여 영상의 역동성과 사실감을 높입니다.

3. 다양한 언어 및 초상화 스타일 지원: 이 기술은 특정 언어나 음악 스타일에 국한되지 않으며, 다양한 언어의 오디오 입력을 처리할 수 있을 뿐만 아니라 역사적 인물, 회화 작품, 3D 모델 및 AI 생성 콘텐츠를 포함한 다양한 초상화 스타일을 지원합니다.

4. 빠른 리듬 동기화: EMO는 빠른 가사나 말하기와 같은 빠른 속도의 오디오를 처리할 수 있어, 가상 인물의 동작이 오디오 리듬과 동기화되도록 보장합니다.

5. 배우 간 표현 변환: EMO는 다른 배우 간의 표현 변환을 구현할 수 있어, 한 배우의 가상 이미지가 다른 배우나 음성의 특정 연기를 모방할 수 있게 하며, 역할 묘사의 다양성과 응용 시나리오를 확장합니다.

EMO 응용 시나리오: