Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten AnimeGamer: Unendliche Anime-Lebenssimulation durch multimodale LLMs
小编 ·
AnimeGamer: Unendliche Anime-Lebenssimulation durch multimodale LLMs
Was ist AnimeGamer?
AnimeGamer ist ein multimodales Large-Language-Model-Projekt, das gemeinsam vom PCG ARC Lab von Tencent und der City University of Hongkong entwickelt wurde. Es generiert dynamische Animationssequenzen über Spracheingaben und simuliert Interaktionen mit Anime-Charakteren sowie Spielewelten. Spieler können den Status der Charaktere in Echtzeit aktualisieren, mehrstufige Interaktionen erleben und in ein immersives Anime-Leben eintauchen. AnimeGamer findet Anwendung in Bereichen wie Gaming, Storytelling und Bildung.
Funktionsmerkmale von AnimeGamer
Dynamische Animationsgenerierung: Kann dynamische Animationssequenzen erzeugen, die die Aktionen und Verhaltensweisen der Charaktere darstellen.
Charakterstatus-Updates: Das System aktualisiert die Werte für Ausdauer, Sozialleben und Unterhaltung der Charaktere entsprechend dem Spielstatus.
Mehrstufige Interaktion: Unterstützt die Generierung mehrstufiger Spielzustände, sodass Spieler über Spracheingaben kontinuierlich mit der Spielewelt interagieren können.
Konsistenz des Kontexts: Die generierten Spielzustände bleiben visuell und semantisch konsistent und gewährleisten so das immersive Erlebnis der Spieler.
So funktioniert AnimeGamer
Codierung und Decodierung von Animationssequenzen: Ein Encoder für Animationssequenzen wandelt Animationen in aktionswahrnehmende multimodale Repräsentationen um, die anschließend durch einen auf einem Video-Diffusionsmodell basierenden Decoder in hochwertige Videoclips decodiert werden.
Vorhersage des Spielzustands: Ein MLLM sagt die multimodale Repräsentation jedes Spielzustands voraus. Als Eingabe dienen dabei Repräsentationen historischer Animationssequenzen und die aktuelle Anweisung. Die Ausgabe des MLLM umfasst dynamische Animationssequenzen sowie Aktualisierungen des Charakterstatus.
Adaptive Decoder-Trainierung: In einer adaptiven Trainingsphase wird der Decoder optimiert, um qualitativ hochwertige Videoclips zu erzeugen und Artefakte in den generierten Videos zu reduzieren.
Anwendungsbereiche von AnimeGamer
Interaktive Spiele mit Anime-Charakteren: Spieler können in die Rolle von Charakteren aus Anime-Filmen schlüpfen und über Spracheingaben mit der Spielewelt interagieren.
Storytelling und Visualisierung: Eignet sich für das Erstellen und Visualisieren von Geschichten, wobei kohärente Animationssequenzen generiert werden und mehrstufige Interaktionen unterstützt werden.
Bildung und Training: In Lehr- und Trainingsszenarien lassen sich dynamische Simulationsumgebungen erzeugen, die Schülern helfen, Lerninhalte besser zu verstehen und sich aktiv einzubringen.
Unterhaltung und interaktive Erlebnisse: Kann für die Entwicklung neuartiger Unterhaltungs- und Interaktionserfahrungen genutzt werden, etwa in Virtual-Reality- (VR) und Augmented-Reality-Anwendungen (AR).
Anleitung zur Nutzung von AnimeGamer
1. Laden Sie die Checkpoints von AnimeGamer und Mistral-7B herunter und speichern Sie sie im Ordner ./checkpoints.
2. Richten Sie die Inferenzumgebung ein und führen Sie die folgenden Befehle aus:
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. Generieren Sie die aktionswahrnehmenden multimodalen Repräsentationen und aktualisieren Sie den Charakterstatus:
python inference_Decoder.py
4. Passen Sie die Anweisungen in ./game_demo an, um das Spielerlebnis individuell zu gestalten.
Verwandte Links
Projektseite:https://howe125.github.io/AnimeGamer.github.io
GitHub:https://github.com/TencentARC/AnimeGamer
Modell:https://huggingface.co/TencentARC/AnimeGamer
Paper:https://arxiv.org/abs/2504.01014
