대본 기획 도우미▸ 
AI 앱 
AI 뉴스 AnimeGamer: 멀티모달 대형 언어 모델로 구현하는 무한 애니메이션 라이프 시뮬레이션
小编 ·
AnimeGamer: 멀티모달 대형 언어 모델로 구현하는 무한 애니메이션 라이프 시뮬레이션
AnimeGamer란 무엇인가?
AnimeGamer는 텐센트 PCG ARC Lab과 홍콩 시티대학교가 공동 출시한 멀티모달 대규모 언어 모델 프로젝트입니다. 언어 지시어를 통해 동적인 애니메이션 클립을 생성하여 애니메이션 캐릭터의 상호작용과 게임 세계를 시뮬레이션합니다. 플레이어는 캐릭터 상태를 실시간으로 업데이트하고, 다중 라운드 상호작용을 경험하며, 몰입감 있는 애니메이션 생활을 느낄 수 있습니다. AnimeGamer는 게임, 스토리 창작, 교육 등의 시나리오에 적용될 수 있습니다.
AnimeGamer 기능 특징
동적 애니메이션 생성: 캐릭터의 동작과 행동을 보여주는 동적 애니메이션 클립을 생성할 수 있습니다.
캐릭터 상태 업데이트: 시스템은 게임 상태에 따라 캐릭터의 체력, 사회성 및 엔터테인먼트 값을 업데이트합니다.
다중 라운드 상호작용: 다중 라운드 게임 상태 생성을 지원하며, 플레이어는 언어 지시어를 통해 게임 세계와 지속적으로 상호작용할 수 있습니다.
맥락 일관성: 생성된 게임 상태는 시각적 및 의미적 일관성을 유지하여 플레이어의 몰입감을 보장합니다.
AnimeGamer 작동 원리
애니메이션 클립 인코딩 및 디코딩: 애니메이션 클립 인코더를 사용하여 애니메이션 클립을 동작 인식 멀티모달 표현으로 인코딩한 다음, 비디오 확산 모델 기반 디코더를 통해 이러한 표현을 고품질 비디오 클립으로 디코딩합니다.
게임 상태 예측: MLLM을 사용하여 각 게임 상태의 멀티모달 표현을 예측하며, 입력에는 과거 애니메이션 클립 표현과 현재 지시어가 포함됩니다. MLLM 출력에는 동적 애니메이션 클립과 캐릭터 상태 업데이트가 포함됩니다.
디코더 적응형 훈련: 적응형 훈련 단계를 통해 고품질 비디오 클립을 생성하도록 디코더를 최적화하여 생성된 비디오의 아티팩트를 줄입니다.
AnimeGamer 적용 시나리오
애니메이션 캐릭터 상호작용 게임: 플레이어는 애니메이션 영화 속 캐릭터 역할을 맡아 언어 지시어를 통해 게임 세계와 상호작용할 수 있습니다.
스토리 창작 및 시각화: 스토리를 창작하고 시각화하는 데 사용될 수 있으며, 일관된 애니메이션 클립을 생성하고 다중 라운드 상호작용을 지원합니다.
교육 및 훈련: 교육 및 훈련 시나리오에서 동적 시뮬레이션 환경을 생성하여 학생이 학습 내용을 더 잘 이해하고 참여하도록 돕습니다.
엔터테인먼트 및 인터랙티브 경험: 가상 현실(VR) 및 증강 현실(AR) 애플리케이션과 같은 새로운 엔터테인먼트 및 인터랙티브 경험 개발에 사용될 수 있습니다.
AnimeGamer 사용 튜토리얼
1. AnimeGamer와 Mistral-7B의 체크포인트를 다운로드하여 ./checkpoints 폴더에 저장합니다.
2. 추론 환경을 설정하고 다음 명령을 실행합니다:
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. 동작 인식 멀티모달 표현을 생성하고 캐릭터 상태를 업데이트합니다:
python inference_Decoder.py
4. ./game_demo의 지시어를 수정하여 게임 경험을 커스터마이즈합니다.
관련 링크
프로젝트 홈페이지:https://howe125.github.io/AnimeGamer.github.io
GitHub:https://github.com/TencentARC/AnimeGamer
모델:https://huggingface.co/TencentARC/AnimeGamer
논문:https://arxiv.org/abs/2504.01014
