MotionGen: модель генерации 3D-движений 169

MotionGen — это основанная на физике модель генерации 3D-движений, разработанная компанией Xuanwu. MotionGen использует инновационное сочетание больших моделей, физического моделирования и обучения с подкреплением — передовых алгоритмов, благодаря которым пользователю достаточно ввести простую текстовую инструкцию, чтобы быстро сгенерировать реалистичные, плавные и сложные 3D-движения.

MotionGen решает проблемы традиционного 3D-дизайна движений, такие как низкая эффективность, высокая стоимость и зависимость от ручной работы или дорогостоящего оборудования для захвата движений. В основе MotionGen лежит его физическая модель, объединяющая большие модели, физическое моделирование, обучение по подражанию, обучение с подкреплением, векторно-квантованный вариационный автокодировщик (VQ-VAE) и модель Transformer — передовые технологии, которые позволяют пользователю, просто задав текстовую инструкцию, быстро получать качественные, сложные и естественно плавные движения 3D-персонажей.

Ключевые особенности MotionGen:

• Точное понимание текста: способность детально анализировать сложные инструкции и точно генерировать движения, соответствующие текстовому описанию, обеспечивая бесшовное преобразование текста в движение.

• Богатство движений: поддержка как базовых движений, таких как ходьба и бег, так и сложных координированных движений тела, например ударов и вращений.

• Реалистичное физическое моделирование: сгенерированные движения соответствуют законам физики, а переходы между ними естественны — например, персонаж после рывка может самостоятельно затормозить, что повышает детализацию движений и их соответствие текстовым инструкциям.

• Стилистическое разнообразие: даже одно и то же движение может стилистически варьироваться в зависимости от описания, что придаёт ему уникальность.

Техническая реализация MotionGen:

Алгоритм MotionGenGPT: объединяет физическое моделирование и обучение с подкреплением, обучается на данных захвата движений, генерирует естественные движения с помощью обучения по подражанию, а также использует VQ-VAE для извлечения характеристик движений в сочетании с моделью Transformer для эффективного преобразования текста в движение.

Двухэтапная архитектура: сначала изучается представление физически корректных движений, затем с помощью модели с двумя Transformer-ами уточняется кодирование движений, что обеспечивает их соответствие законам физики, высокую детализацию и естественность.

Применение MotionGen:

• Создание анимации

• Разработка игр

• Кинематографические спецэффекты

• Виртуальная реальность

• и любые отрасли, где требуется качественный 3D-контент с движениями

MotionGen разработан компанией Шэньчжэнь Юаньсян Information Technology Co., Ltd. Благодаря инновационному объединению технологий MotionGen не только повышает эффективность и качество генерации 3D-движений, но и значительно расширяет возможности творчества, снижая порог входа — даже создатели без опыта могут легко приступить к работе и создавать качественную анимацию, что является значительным прогрессом в области генерации 3D-контента.

В настоящее время модель MotionGen находится на этапе тестирования, и пользователи могут подать заявку на бесплатное пробное использование, чтобы испытать эту революционную технологию генерации 3D-движений.