Vidu: 최초의 장시간·고일관성·고동적성 중국 비디오 대규모 모델 367

Vidu는 생수테크(Shengshu Technology)와 칭화대학교가 공동 개발한 Vidu 비디오 대형 모델로, 혁신적인 U-ViT 아키텍처를 통해 Sora 수준에 도달한 국내 최초의 비디오 대형 모델입니다. 이 모델은 기술적으로 세계 최초의 성과를 거두었을 뿐만 아니라, 오픈소스 UniDiffuser 모델을 통해 대규모 확장성 검증을 보여주었습니다.

Vidu는 실제 물리적 세계를 시뮬레이션할 수 있을 뿐 아니라 풍부한 상상력을 갖추고 있으며, 다중镜头 생성(multi-shot generation)과 높은 시공간 일관성을 지원합니다. Vidu 모델은 Diffusion과 Transformer 기술을 융합하여 혁신적으로 U-ViT 아키텍처를 개발했습니다. 한 번의 클릭으로 최대 16초 길이, 1080P 고해상도의 고화질 비디오 콘텐츠를 생성할 수 있습니다.

Vidu 기능 특징:

• 모델 구조: Vidu 모델은 Diffusion과 Transformer 기술을 융합하여 혁신적으로 U-ViT 아키텍처를 개발했습니다.

• 비디오 생성 능력: Vidu는 한 번의 클릭으로 최대 16초 길이, 1080P 고해상도의 고화질 비디오 콘텐츠를 생성할 수 있습니다.

• 3D 생성: 간단한 텍스트 입력을 기반으로 고품질, 다양성 및 창의성을 갖춘 이미지를 생성합니다. 이미지 생성 API 호출, 온라인 체험. 텍스트 또는 이미지 입력을 기반으로 개인화된 3D 모델을 생성하며, 기존 3D 모델을 기반으로 텍스처 등을 자동 편집할 수 있습니다.
  

• 실제 응용 데모: 공식 자료에서 "화실에서 한 척의 배가 카메라 쪽으로驶去(달려가는)" 모습의 비디오 예시가展示되어, 배와 파도의 사실적인 효과를 보여주었습니다.

• 고급 기능: Vidu는 실제 물리적 세계를 시뮬레이션할 수 있을 뿐 아니라 풍부한 상상력을 갖추고 있으며, 다중镜头 생성(multi-shot generation)과 높은 시공간 일관성을 지원합니다.

베이징 생수科技有限公司(약칭 "생수테크")는 2023년 3월에 설립되었으며, 핵심 팀 구성원은 칭화대학교 인공지능 연구원에서 왔습니다. 이 외에도 알리바바, 텐센트, 바이트댄스 등 유명 테크 회사의 최고의 인재들이 모여, 세계적인 수준의 딥 생성형 알고리즘 연구 팀으로, 확산 확률 모델의 근본적인 혁신 및 연구 개발 능력을 보유하고 있습니다. 회사는 세계 최고의 멀티모달 대형 모델을打造하는 것을 목표로 하며, 텍스트, 이미지, 비디오, 3D 등 멀티모달 정보를 융합하여 예술 디자인, 게임 제작, 영화·TV 후반 작업, 콘텐츠 소셜 등 시나리오에서 생성형 ai의 상업적 활용을 탐색하고, AI를 통해 인간의 창의력과 생산성을 높이고자 합니다.