대본 기획 도우미▸ 
AI 앱 
AI 뉴스 KeySync: 표정 누출 및 가림 문제를 해결하는 립싱크 도구
小编 ·
KeySync: 표정 누출 및 가림 문제를 해결하는 립싱크 도구
KeySync란 무엇인가요?
KeySync는 새로 출시된 립싱크 도구로, 핵심 장점은 표정 누출(leakage)과 가림(occlusion) 문제를 해결한다는 점입니다. 원본 영상에서人物的 표정이 입 모양에 영향을 주지 않도록 보장하며, 입이 가려져 있더라도 동기화效果에 영향을 주지 않습니다.
KeySync는 고해상도 영상을 처리할 수 있으며, 생성된 입 움직임을 새 오디오와 정확하게 정렬하여 음화 불일치 문제를 효과적으로 방지합니다. 채택된 2단계 프레임워크 설계를 통해良好的 시간 일관성을 유지하여 입 모양 변화가 자연스럽고 부드럽습니다.
또한 KeySync는 파라미터 조정을 통해 애니메이션 생성 과정을 제어하는 것을 지원합니다. 예를 들어 가림 물체의 위치를 지정하여 보다 유연한 맞춤 효과를 구현할 수 있습니다.
KeySync 기능 특징
고해상도 립싱크: 고품질의 자연스럽고 부드러운 입 움직임을 생성하며, 고해상도 영상에 적합합니다.
누출 없는 처리: 입력 영상의 다른 표정이 입 움직임을 방해하지 않도록 하여 동작이 오디오와만 일치하도록 보장합니다.
가림 처리: 마스킹 전략을 통해 얼굴 가림 문제를 효과적으로 처리합니다.
시간 일관성: 입 움직임이 시간적으로连贯하여 부자연스러운 전환을 방지합니다.
크로스 동기화 능력: 서로 다른 영상과 오디오 간의 립싱크를 지원합니다.
KeySync 기술 원리
KeySync는 2단계 프레임워크를 채택하여 립싱크 영상을 생성합니다:
키프레임 생성 단계: 입력 영상에서 키프레임을 선택하고, 확산 모델(diffusion model)을 통해 입력 오디오와 일치하는 입 움직임을 생성합니다.
보간 단계: 키프레임 사이를 보간하여 중간 프레임을 생성함으로써 완전한 립싱크 영상을 구성합니다.
또한 KeySync는 표정 누출과 얼굴 가림 문제를 해결하기 위한 새로운 마스킹 전략을 설계했습니다. 이 전략은 얼굴 랜드마크 감지를 통해 입 영역을确定하고, 턱과 부분적인 볼을 커버하도록 마스킹 영역을 확장하며, 동시에 가림 물체의 영향을 배제합니다.
KeySync 적용 시나리오
자동화된 더빙: 영화 및 TV 제작에서 언어 번역에 사용되어, 새 더빙에 맞는 입 움직임을 자동으로 생성합니다.
가상 현실(VR) 및 증강 현실(AR): 가상 캐릭터 또는 증강 현실에서의 입 움직임을 생성하여 몰입감을 높입니다.
화상 회의: 네트워크 지연 상황에서의 립싱크 문제를 개선하여 원격 통신의 자연스러움을 향상시킵니다.
애니메이션 제작: 캐릭터의 입 애니메이션을 빠르게 생성하여 제작 효율을 높입니다.
다국어 콘텐츠 현지화: 서로 다른 언어의 더빙에 맞는 입 움직임을 생성하여 현지화 효과를 향상시킵니다.
KeySync 사용 방법
데모 페이지 접속: 링크 https://huggingface.co/spaces/toninio19/keysync-demo 를 엽니다
파일 업로드: 페이지에서 영상과 오디오 파일 업로드 영역을 찾아 각각 영상(.mp4 형식)과 오디오(.wav 형식) 파일을 업로드합니다.
동기화 영상 생성: 업로드 완료 후 해당 작업 버튼을 클릭합니다(구체적인 버튼은 페이지 디자인에 따라 다를 수 있음). 시스템이 업로드된 파일 처리를 시작하고 동기화된 영상을 생성합니다.
결과 확인: 처리가 완료되면 페이지에서 생성된 동기화 영상을 확인할 수 있습니다.
프로젝트 링크
프로젝트 페이지: https://antonibigata.github.io/KeySync/
모델 저장소: https://huggingface.co/toninio19/keysync
온라인 데모: https://huggingface.co/spaces/toninio19/keysync-demo
논문 링크: https://arxiv.org/abs/2505.00497
