Assistant scénario▸ 
Apps AI 
Actualités AI AnimeGamer : simulation de vie anime infinie alimentée par des LLM multimodaux
小编 ·
AnimeGamer : simulation de vie anime infinie alimentée par des LLM multimodaux
Qu'est-ce qu'AnimeGamer ?
AnimeGamer est un projet de modèle de langage multimodal de grande taille développé conjointement par le laboratoire PCG ARC de Tencent et la City University of Hong Kong. Il génère des séquences d'animation dynamiques à partir d'instructions en langage naturel, simulant les interactions entre personnages d'anime et mondes de jeu. Les joueurs peuvent mettre à jour l'état des personnages en temps réel, vivre des interactions multi-tours et profiter d'une vie animée immersive. AnimeGamer trouve des applications dans les domaines du jeu vidéo, de la création narrative et de l'éducation.
Fonctionnalités et caractéristiques d'AnimeGamer
Génération d'animations dynamiques : capable de générer des séquences animées montrant les actions et comportements des personnages.
Mise à jour de l'état des personnages : le système met à jour les valeurs d'énergie, de socialisation et de divertissement des personnages en fonction de l'état du jeu.
Interactions multi-tours : prend en charge la génération d'états de jeu multi-tours, permettant aux joueurs d'interagir en continu avec le monde du jeu via des instructions en langage naturel.
Cohérence contextuelle : les états de jeu générés conservent une cohérence visuelle et sémantique, garantissant l'immersion des joueurs.
Principe de fonctionnement d'AnimeGamer
Encodage et décodage des séquences animées : un encodeur de séquences animées est utilisé pour encoder ces dernières en représentations multimodales sensibles aux actions, puis un décodeur basé sur un modèle de diffusion vidéo décode ces représentations en séquences vidéo de haute qualité.
Prédiction de l'état du jeu : un MLLM est utilisé pour prédire les représentations multimodales de chaque état du jeu, avec en entrée les représentations des séquences animées historiques et l'instruction actuelle. Le MLLM produit des séquences animées dynamiques et des mises à jour de l'état des personnages.
Entraînement adaptatif du décodeur : une phase d'entraînement adaptatif optimise le décodeur afin de produire des séquences vidéo de haute qualité tout en réduisant les artefacts dans les vidéos générées.
Cas d'utilisation d'AnimeGamer
Jeux d'interaction avec des personnages d'anime : les joueurs peuvent incarner des personnages issus de films d'animation et interagir avec le monde du jeu grâce à des instructions en langage naturel.
Création et visualisation d'histoires : utilisable pour créer et visualiser des récits, en générant des séquences animées cohérentes et en prenant en charge des interactions multi-tours.
Éducation et formation : dans les contextes éducatifs et de formation, il permet de générer des environnements simulés dynamiques pour aider les apprenants à mieux comprendre et s'impliquer dans les contenus pédagogiques.
Expériences de divertissement et interactives : convient au développement de nouvelles expériences de divertissement et d'interaction, comme les applications de réalité virtuelle (VR) et de réalité augmentée (AR).
Tutoriel d'utilisation d'AnimeGamer
1. Téléchargez les checkpoints d'AnimeGamer et de Mistral-7B, puis placez-les dans le dossier ./checkpoints.
2. Configurez l'environnement d'inférence en exécutant les commandes suivantes :
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. Générez les représentations multimodales sensibles aux actions et mettez à jour l'état des personnages :
python inference_Decoder.py
4. Modifiez les instructions dans ./game_demo pour personnaliser l'expérience de jeu.
Liens utiles
Page du projet :https://howe125.github.io/AnimeGamer.github.io
GitHub :https://github.com/TencentARC/AnimeGamer
Modèle :https://huggingface.co/TencentARC/AnimeGamer
Article scientifique :https://arxiv.org/abs/2504.01014
