AnimeGamer: бесконечная симуляция аниме-жизни на основе мультимодальных больших языковых моделей 126

Что такое AnimeGamer?

AnimeGamer — это проект мультимодальной большой языковой модели, совместно разработанный лабораторией Tencent PCG ARC и Городским университетом Гонконга. Он генерирует динамические анимационные клипы с помощью языковых инструкций, моделируя взаимодействие аниме-персонажей и игрового мира. Игроки могут обновлять состояние персонажей в реальном времени, участвовать в многораундовом взаимодействии и погружаться в аниме-жизнь. AnimeGamer применяется в таких сценариях, как игры, создание историй и образование.

Функциональные особенности AnimeGamer

• Динамическая генерация анимации: способен генерировать динамические анимационные клипы, демонстрирующие действия и поведение персонажей.

• Обновление состояния персонажа: система обновляет значения здоровья, социальных и развлекательных параметров персонажа в зависимости от игрового состояния.

• Многораундовое взаимодействие: поддерживает многораундовую генерацию игрового состояния, позволяя игрокам непрерывно взаимодействовать с игровым миром с помощью языковых инструкций.

• Контекстная согласованность: сгенерированное игровое состояние остаётся визуально и семантически согласованным, обеспечивая погружение игрока.

Принцип работы AnimeGamer

• Кодирование и декодирование анимационных клипов: кодировщик анимационных клипов преобразует анимационные клипы в мультимодальные представления с учётом действий, после чего декодер на основе модели диффузии видео декодирует эти представления в высококачественные видеоклипы.

• Прогнозирование игрового состояния: MLLM используется для прогнозирования мультимодального представления каждого игрового состояния. Входные данные включают представления предыдущих анимационных клипов и текущую инструкцию. Выходные данные MLLM включают динамические анимационные клипы и обновления состояния персонажа.

• Адаптивное обучение декодера: на этапе адаптивного обучения декодер оптимизируется для генерации высококачественных видеоклипов и уменьшения артефактов в сгенерированном видео.

Сценарии применения AnimeGamer

• Игры с взаимодействием аниме-персонажей: игроки могут играть роли персонажей из аниме-фильмов и взаимодействовать с игровым миром с помощью языковых инструкций.

• Создание и визуализация историй: может использоваться для создания и визуализации историй, генерации связных анимационных клипов и поддержки многораундового взаимодействия.

• Образование и обучение: в образовательных сценариях позволяет генерировать динамические среды моделирования, помогая учащимся лучше понимать и вовлекаться в учебный материал.

• Развлечения и интерактивный опыт: может применяться для разработки новых развлечений и интерактивного опыта, таких как приложения виртуальной (VR) и дополненной (AR) реальности.

Инструкция по использованию AnimeGamer

1. Загрузите контрольные точки AnimeGamer и Mistral-7B и сохраните их в папке ./checkpoints.

2. Настройте среду для инференса, выполнив следующие команды:

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt

3. Сгенерируйте мультимодальные представления с учётом действий и обновите состояние персонажа:

python inference_Decoder.py

4. Измените инструкции в файле ./game_demo, чтобы настроить игровой процесс.

Полезные ссылки

Страница проекта: https://howe125.github.io/AnimeGamer.github.io

GitHub: https://github.com/TencentARC/AnimeGamer

Модель: https://huggingface.co/TencentARC/AnimeGamer

Статья: https://arxiv.org/abs/2504.01014