Asistente de guiones▸ 
Apps AI 
Noticias AI AnimeGamer: simulación de vida anime infinita mediante LLMs multimodales
小编 ·
AnimeGamer: simulación de vida anime infinita mediante LLMs multimodales
¿Qué es AnimeGamer?
AnimeGamer es un proyecto de modelo de lenguaje grande multimodal desarrollado conjuntamente por Tencent PCG ARC Lab y la City University of Hong Kong. Genera clips de animación dinámicos mediante instrucciones de lenguaje, simulando las interacciones de los personajes de anime y el mundo del juego. Los jugadores pueden actualizar el estado de los personajes en tiempo real, experimentar interacciones de múltiples turnos y disfrutar de una vida anime inmersiva. AnimeGamer se aplica en escenarios como juegos, creación de historias y educación.
Características de AnimeGamer
Generación de animación dinámica: capaz de generar clips de animación dinámicos que muestran las acciones y comportamientos de los personajes.
Actualización del estado de los personajes: el sistema actualiza los valores de energía, socialización y entretenimiento de los personajes según el estado del juego.
Interacción de múltiples turnos: admite la generación de estados de juego en múltiples turnos, permitiendo a los jugadores interactuar de forma continua con el mundo del juego mediante instrucciones de lenguaje.
Coherencia contextual: los estados de juego generados mantienen coherencia visual y semántica, garantizando la inmersión del jugador.
¿Cómo funciona AnimeGamer?
Codificación y decodificación de clips de animación: utiliza un codificador de clips de animación para codificar los clips en representaciones multimodales con conciencia de movimiento, y luego decodifica estas representaciones en clips de vídeo de alta calidad mediante un decodificador basado en un modelo de difusión de vídeo.
Predicción del estado del juego: utiliza el MLLM para predecir la representación multimodal de cada estado del juego, tomando como entrada las representaciones históricas de los clips de animación y la instrucción actual. La salida del MLLM incluye clips de animación dinámicos y actualizaciones del estado de los personajes.
Entrenamiento adaptativo del decodificador: mediante una fase de entrenamiento adaptativo, se optimiza el decodificador para generar clips de vídeo de alta calidad, reduciendo los artefactos en los vídeos generados.
Casos de uso de AnimeGamer
Juegos de interacción con personajes de anime: los jugadores pueden interpretar a personajes de películas anime e interactuar con el mundo del juego mediante instrucciones de lenguaje.
Creación y visualización de historias: se puede utilizar para crear y visualizar historias, generando clips de animación coherentes que admiten interacción de múltiples turnos.
Educación y formación: en escenarios educativos y de formación, puede generar entornos de simulación dinámicos que ayuden a los estudiantes a comprender y participar mejor en el contenido de aprendizaje.
Experiencias de entretenimiento e interacción: se puede utilizar para desarrollar nuevas experiencias de entretenimiento e interacción, como aplicaciones de realidad virtual (VR) y realidad aumentada (AR).
Tutorial de uso de AnimeGamer
1. Descargue los checkpoints de AnimeGamer y Mistral-7B, y guárdelos en la carpeta ./checkpoints.
2. Configure el entorno de inferencia ejecutando los siguientes comandos:
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. Genere representaciones multimodales con conciencia de movimiento y actualice el estado de los personajes:
python inference_Decoder.py
4. Modifique las instrucciones en ./game_demo para personalizar la experiencia de juego.
Enlaces relacionados
Página del proyecto:https://howe125.github.io/AnimeGamer.github.io
GitHub:https://github.com/TencentARC/AnimeGamer
Modelo:https://huggingface.co/TencentARC/AnimeGamer
Paper:https://arxiv.org/abs/2504.01014
