VideoWorld: 언어 모델 없이 시각만으로 복잡한 작업을 구현하다 194

2025년 2월 10일, 비디오 생성 모델 "VideoWorld"가 더우바우(豆包) 대형 모델 팀과 베이징 자오퉁대학교(北京交通大学), 중국과기대학(中国科学技术大学)이 공동 개발하고 공식 오픈소스로 공개했습니다. VideoWorld 모델의 핵심 혁신은 언어 모델에 전혀 의존하지 않고 오직 시각 정보를 통해서만 복잡한 작업의 학습과 생성을 구현할 수 있다는 점입니다.

1. 핵심 기능 특징

1) 순수 시각 지식 학습

• 레이블이 없는 비디오 데이터를 통해 복잡한 규칙과 전략(예: 바둑 착수 논리, 로봇 작동 시퀀스)을 자율적으로 습득하며, 언어 명령이나 강화 학습의 보상 메커니즘이 필요하지 않습니다.

• 다단계 추론과 장기 계획 능력을 지원합니다. 예를 들어, 바둑 대국에서 상대방의 후속 5~9수行動を 예측합니다.

2) 효율적인 시각 표현 압축

• 잠재 동역학 모델(LDM)을 도입하여 비디오 프레임 간 변화를 간결한 잠재 시퀀스로 인코딩하고, 불필요한 정보의 간섭을 줄입니다.

• 장단기 동역학 의존 관계의联合 모델링을 구현하여, 단기적으로는 정밀한 변위(예: 기계 암의 미세 조정)에 집중하고, 장기적으로는 작업 수준의 패턴(예: 바둑 전술 조합)을 포착합니다.

3) 크로스 시나리오 일반화 능력

CALVIN 및 RLBench 로봇 테스트 세트에서 Oracle 모델 성능에 근접하며, 다양한 환경 파라미터(예: 조명, 물체 위치)에 적응할 수 있습니다.

바둑 대국에서 프로 5단 수준(Video-GoBench 기준)에 도달하여 전통적인 강화 학습 에이전트를 능가합니다.

2. VideoWorld 기술 아키텍처:

기본 아키텍처

• VQ-VAE를 기반으로 비디오 프레임을 토큰 시퀀스로 이산화하고, 자기회귀 Transformer를 사용하여 프레임 단위 예측을 구현합니다.

• 훈련 데이터는 작업 실행 과정 비디오(예: 바둑 대국 전개, 기계 암 작동 기록)만을 포함합니다.

잠재 동역학 모델(LDM)

• 인코딩 메커니즘: 미래 H 프레임의 시각적 변화를 연속적인 잠재 코드로 압축하여 양자화 후 예측 목표로 사용합니다.

• 듀얼 스트림 예측: 비디오 프레임 생성과 잠재 코드 예측을联合 최적화하여 핵심 의사 결정 노드에 대한 모델링을 강화합니다.

• 해석 가능 분석: UMAP 시각화를 통해 잠재 공간 클러스터링이 작업 동역학과 강하게 연관되어 있음을 보여줍니다.

효율성 최적화 설계

• 모델 파라미터 수를 3억 수준으로 제어하여, 전통적인 비디오 모델 대비 계산 오버헤드를 80% 절감합니다.

• 훈련 데이터 규모: Video-GoBench는 십만 단계의 바둑 대국 비디오 프레임을 포함합니다.

3. VideoWorld 적용 시나리오

• 콘텐츠 제작: 단편 비디오 제작, 영화 장면 기획, 게임 내 시각 콘텐츠 생성 등에 강력한 지원을 제공합니다.

• 교육: 동적 비디오를 생성하여 학생들이 복잡한 지식을 보다 생생하게 이해하도록 돕습니다.

• 광고: 사용자 선호도에 따라 개인화된 광고 비디오를 생성하여 마케팅 효과를 높입니다.

4. VideoWorld 다운로드 및 설치:

1) 저장소 복제:

git clone https://github.com/bytedance/VideoWorld.git
cd VideoWorld

2) 의존성 설치:

pip install -r requirements.txt

3) 예제 실행:예제 코드는 일반적으로 examples 또는 scripts 디렉터리에 있습니다. 필요에 따라 구성 파일을 조정하고 해당 스크립트를 실행합니다.

5. VideoWorld 프로젝트 페이지:

프로젝트 홈페이지: https://maverickren.github.io/VideoWorld.github.io

GitHub 주소: https://github.com/bytedance/VideoWorld

논문 링크: https://arxiv.org/abs/2501.09781