UniVG: 바이두가推出的 영상 생성 모델 173

바이두 UniVG는 통합 모델로, AI 비디오 생성 시스템으로, 텍스트와 이미지의任意한 조합을 입력 조건으로 사용하여 비디오 생성을 수행할 수 있습니다. UniVG 시스템은 바이두 팀에서 개발했으며, 기존 비디오 생성 모델이 단일 작업 또는 단일 목표를 처리할 때의 한계를 해결합니다.

UniVG 오픈소스 주소:https://univg-baidu.github.io/

UniVG의 주요 기능 및 특징:

• 고자유도 비디오 생성: 다중 조건 교차 어텐션 메커니즘을 사용하여 입력된 이미지 또는 텍스트에 따라 의미적으로 일관된 비디오를 생성합니다.

• 저자유도 비디오 생성: 완전 랜덤 가우시안 노이즈 대신 편향 가우시안 노이즈를 도입하여 입력 조건의 내용을 더 잘 보존합니다.

• 다중 작업 처리: 시스템 내의 비디오 생성 모델을 고자유도 생성과 저자유도 생성 두 가지로 재분류하여 각각 다른 생성 작업에 적용합니다.

• 확산 모델: 학술계와 산업계에서显著的 success를 거둔 확산 기반 비디오 생성 방법입니다.

UniVG의 응용 시나리오 및 장점:

• 유연한 입력: 사용자는 이미지 및 텍스트 조건을 단독 또는 조합하여 유연하게 입력할 수 있어 실제 응용 시나리오의 요구 사항을 충족합니다.

• 고품질 출력: MSR-VTT 데이터베이스에서 최저 FVD(Fréchet Video Distance)를 달성했으며, 인간 평가에서 현재 오픈소스 방법을 능가하고 기존의 클로즈드 소스 방법인 Gen2와 동등한 수준입니다.

• 다양한 작업: 텍스트-비디오, 이미지-비디오, 텍스트 및 이미지 결합-비디오 등 다양한 비디오 생성 작업을 지원합니다.

UniVG는 강력한 도구로서, 텍스트와 이미지 입력을 통합하여 비디오 생성 기술을 더욱 유연하고 고품질의 방향으로 발전시켰으며, 콘텐츠 제작, 광고, 엔터테인먼트 등 여러 분야에 더 큰 확산 아이디어를 제공합니다.