脚本プランナー▸ 
AIアプリ 
AIニュース AnimeGamer：マルチモーダルLLMによる無限アニメ生活シミュレーション
小编 ·
AnimeGamer：マルチモーダルLLMによる無限アニメ生活シミュレーション
AnimeGamerとは？
AnimeGamerは、テンセントPCG ARC研究室と香港城市大学が共同で発表したマルチモーダル大規模言語モデルプロジェクトです。言語指示を通じて動的なアニメーションクリップを生成し、アニメキャラクターのインタラクションやゲーム世界をシミュレートします。プレイヤーはキャラクターの状態をリアルタイムで更新し、複数ターンのインタラクションを体験することで、没入感のあるアニメライフを楽しむことができます。AnimeGamerは、ゲーム、ストーリー作成、教育などのシナリオに応用できます。
AnimeGamerの主な機能
動的アニメーション生成：キャラクターの動きや行動を示す動的なアニメーションクリップを生成できます。
キャラクター状態の更新：ゲーム状態に応じてキャラクターの体力、社交、娯楽の値を更新します。
複数ターンインタラクション：複数ターンのゲーム状態生成をサポートし、プレイヤーは言語指示を通じてゲーム世界と継続的にインタラクションできます。
文脈の一貫性：生成されるゲーム状態は、視覚的および意味的に一貫性を保ち、プレイヤーの没入感を確保します。
AnimeGamerの動作原理
アニメーションクリップのエンコードとデコード：アニメーションクリップエンコーダーを使用してアニメーションクリップを動作認識型のマルチモーダル表現にエンコードし、映像拡散モデルに基づくデコーダーでこれらの表現を高品質な映像クリップにデコードします。
ゲーム状態の予測：MLLMを利用して各ゲーム状態のマルチモーダル表現を予測し、入力には過去のアニメーションクリップ表現と現在の指示が含まれます。MLLMの出力には、動的なアニメーションクリップとキャラクターの状態更新が含まれます。
デコーダーの適応型トレーニング：適応型トレーニング段階を通じて、生成される映像クリップの品質を最適化し、生成映像のアーティファクトを削減します。
AnimeGamerの応用シナリオ
アニメキャラクターインタラクションゲーム：プレイヤーはアニメ映画の中のキャラクターを演じ、言語指示を通じてゲーム世界とインタラクションできます。
ストーリー作成と可視化：ストーリーの作成と可視化に使用でき、一貫性のあるアニメーションクリップを生成して複数ターンのインタラクションをサポートします。
教育とトレーニング：教育やトレーニングのシナリオにおいて、動的なシミュレーション環境を生成し、学生が学習内容をより深く理解し参加できるよう支援します。
娯楽とインタラクティブ体験：バーチャルリアリティ（VR）や拡張現実（AR）アプリケーションなど、新しい娯楽やインタラクティブ体験の開発に使用できます。
AnimeGamerの使用チュートリアル
1. AnimeGamerとMistral-7Bのチェックポイントをダウンロードし、./checkpointsフォルダーに保存します。
2. 推論環境を設定し、以下のコマンドを実行します：
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. 動作認識型のマルチモーダル表現を生成し、キャラクターの状態を更新します：
python inference_Decoder.py
4. ./game_demo内の指示を変更して、ゲーム体験をカスタマイズします。
関連リンク
プロジェクトページ：https://howe125.github.io/AnimeGamer.github.io
GitHub：https://github.com/TencentARC/AnimeGamer
モデル：https://huggingface.co/TencentARC/AnimeGamer
論文：https://arxiv.org/abs/2504.01014
