MoCha: Meta가 출시한 영화급 말하는 캐릭터 생성이 가능한 최초의 DiT 모델 130

MoCha란 무엇인가요?

MoCha는 Meta와 토론토 대학교가 공동 개발한 ai 모델로, 음성 또는 텍스트 입력을 기반으로 완전한 인물 이미지를 갖춘 고품질 캐릭터 애니메이션 비디오를 생성할 수 있으며, 자연스럽고 매끄러운 동작을 생성하고 다중 캐릭터 대화를 지원하여 영화급 대화 캐릭터 생성이 가능한 최초의 DiT 모델입니다.

MoCha 기능 특징

• 음성 기반 캐릭터 애니메이션 생성: 사용자가 음성을 입력하면 MoCha는 음성 콘텐츠와 동기화되는 캐릭터의 입 모양, 표정, 손동작 및 신체 동작을 생성할 수 있습니다.

• 텍스트 기반 캐릭터 애니메이션 생성: 사용자가 텍스트 스크립트만 입력하면 MoCha는 먼저 음성을 자동으로 합성한 다음 캐릭터를驱动하여 완전한 입 모양과 동작 표현을 수행합니다.

• 다중 캐릭터 교대 대화 생성: MoCha는 구조화된 프롬프트 템플릿과 캐릭터 라벨을 제공하여 대화 턴을 자동으로 식별하고 캐릭터 간 자연스러운 주고받는 대화 표현을 구현합니다.

• 다양한应用 시나리오 지원: 가상 스트리머, 애니메이션 영화 제작, 교육 콘텐츠 제작, 디지털 휴먼 고객 서비스 및 디지털 유산 등을 포함합니다.

MoCha 장점

• 영화급에 근접한 콘텐츠 생성: 전통적인 "Talking Head" 기술과 달리 MoCha는 전신 애니메이션을 생성할 수 있어 캐릭터 동작이 더욱 자연스럽습니다.

• 창작 장벽 낮춤: 모션 캡처 장비와 3D 모델링 경험이 필요 없어 콘텐츠 제작의 진입 장벽을 낮췄습니다.

MoCha 활용 사례:

• 가상 스트리머: 일상 브이로그 및 캐릭터 Q&A 자동 생성

• 애니메이션 영화 제작: AI 자동 더빙 + 자동 애니메이션으로 제작 비용 절감

• 교육 콘텐츠 제작: AI 강사 캐릭터 강의 또는 상호작용

• 디지털 휴먼 고객 서비스: 인간과 유사한 기업 고객 서비스 및 상담 캐릭터

• 디지털 유산: 역사적 인물 또는 고인을 위한 동적影像 제작

관련 링크

프로젝트 홈페이지: https:// congwei1230.github.io/MoCha/

논문: https:// arxiv.org/pdf/2503.23307