MoCha: первая DiT-модель от Meta для генерации кинематографичных говорящих персонажей 131

Что такое MoCha?

MoCha — это модель ai, совместно разработанная компанией Meta и Торонтским университетом. Она способна генерировать высококачественную анимацию персонажей с полными образами в формате видео на основе голосового или текстового ввода. Сгенерированные движения отличаются согласованностью и плавностью, поддерживается диалог между несколькими персонажами. MoCha является первой моделью DiT, способной создавать кинематографически качественных говорящих персонажей.

Функциональные особенности MoCha

• Генерация анимации персонажей на основе голоса: пользователь вводит речь, и MoCha генерирует синхронизированные с речью движения губ, мимику, жесты и движения тела персонажа.

• Генерация анимации персонажей на основе текста: пользователь вводит только текстовый сценарий, MoCha автоматически синтезирует речь, а затем управляет полной артикуляцией и движениями персонажа.

• Генерация поочерёдных диалогов нескольких персонажей: MoCha предоставляет структурированные шаблоны подсказок и теги персонажей, автоматически распознаёт реплики диалога и обеспечивает естественное «пинг-понг» взаимодействие между персонажами.

• Поддержка различных сценариев применения: включая виртуальных ведущих трансляций, создание анимационного и кинематографического контента, создание образовательного контента, обслуживание клиентов с помощью цифровых людей и цифровое наследие.

Преимущества MoCha

• Кинематографическое качество генерируемого контента: в отличие от традиционной технологии «Talking Head», MoCha способна генерировать анимацию всего тела, делая движения персонажа более естественными.

• Снижение порога входа в создание контента: не требуется оборудование для захвата движения и опыт 3D-моделирования, что снижает порог для создания контента.

Применение MoCha:

• Виртуальные ведущие: автоматическая генерация повседневных влогов, ответы на вопросы от имени персонажа

• Создание анимационного и кинематографического контента: автоматическая озвучка на основе ИИ + автоматическая анимация, снижение затрат на производство

• Создание образовательного контента: персонаж-учитель на основе ИИ для проведения лекций или интерактивного взаимодействия

• Обслуживание клиентов цифровыми людьми: антропоморфные корпоративные консультанты и роли для консультирования

• Цифровое наследие: создание динамических образов исторических личностей или ушедших людей

Ссылки по теме

Страница проекта: https:// congwei1230.github.io/MoCha/

Статья: https:// arxiv.org/pdf/2503.23307