Make-A-Character: 3D-персонаж из текста 128

Make-A-Character позволяет с помощью одного предложения описать форму лица, черты, причёску и эффективно, в масштабируемых объёмах создавать сверхреалистичных 3Dцифровых персонажей с полным набором художественных возможностей. Результат генерации включает голову и тело человека, аксессуары и одежду, а также поддерживает анимационные ассеты мимики для приведения персонажа к жизни в динамике. Вы также можете настраивать черты лица, такие как форма лица, цвет глаз, причёска, тип бровей, форма рта и носа, а также добавлять морщины и веснушки и т.д. Make-A-Character поддерживает подсказки на английском и китайском языках.

Адрес проекта Make-A-Character: https://human3daigc.github.io/MACH/

Демонстрационный адрес Make-A-Character: https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summary

Основные особенности Make-A-Character:

1. Высокая реалистичность: персонажи создаются на основе наборов данных реальных сканирований человека, причёски выполнены из настоящих прядей волос, а не сетки, и рендерятся с использованием технологии физически корректного рендеринга (PBR) Unreal Engine для достижения высококачественного рендеринга в реальном времени.

2. Полная модель: каждый персонаж представляет собой полную модель, включая глаза, язык, зубы, всё тело и одежду, и готов к использованию без дополнительного моделирования.

3. Возможность анимации: персонажи оснащены сложными скелетными системами, поддерживающими стандартную анимацию, что усиливает их реалистичный вид и расширяет возможности применения.

4. Управляемость: пользователи могут детально настраивать черты лица, такие как форма лица, цвет глаз, причёска, тип бровей, форма рта и носа, а также добавлять морщины и веснушки и т.д.

5. Совместимость с индустрией: сгенерированных 3D-персонажей можно легко интегрировать в существующие рабочие процессы компьютерной графики (CG), особенно широко используемые в игровой и киноиндустрии.

Принцип работы Make-A-Character:

Make-A-Character (MACH) объединяет большие языковые модели, визуальные модели и технологии 3D-генерации.

Фреймворк использует большую языковую модель (LLM) для извлечения различных атрибутов лица (например, форма лица, форма глаз, форма рта, причёска и цвет, тип очков). Затем эти семантические атрибуты сопоставляются с соответствующими визуальными подсказками, которые затем направляют генерацию референсного портрета с использованием Stable Diffusion совместно с ControlNet. С помощью серии модулей 2D-парсинга лиц и 3D-генерации создаются меш и текстуры целевого лица, которые затем собираются вместе с другими подобранными аксессуарами. Параметрическое представление позволяет легко анимировать сгенерированный 3D-аватар.

Использование Make-A-Character:

1. Введите описание лица

2. Нажмите «Сгенерировать» и подождите 2 минуты

3. Просмотрите результат генерации

С помощью этих шагов Make-A-Character может быстро генерировать реалистичных, полноценных, анимируемых 3D-персонажей из простых текстовых описаний, подходящих для различных развлекательных и профессиональных сценариев.