Phenaki_云技派,专注ai人工智能! 125

Phenaki란 무엇인가요?

Phenaki는 Google Research의 프로젝트로, 개방형 도메인 텍스트 설명에서 사실적인 비디오를 합성하는 것을 목표로 합니다. 텍스트로부터 직접 수 분 길이의 영상을 생성할 수 있습니다.

Phenaki를 사용하면 정지 이미지와 프롬프트로부터도 영상을 생성할 수 있습니다. 제안된 비디오 인코더-디코더는 시공간 품질과 비디오당 토큰 수 측면에서 기존 문헌에서 사용되는 모든 프레임별 기준선을 능가합니다.

텍스트로부터 비디오 토큰을 생성하기 위해 Phenaki는 사전 계산된 텍스트 토큰을 조건으로 사용하는 양방향 마스크 트랜스포머를 사용합니다. 생성된 비디오 토큰은 이후 디토큰화되어 실제 비디오를 만듭니다.

Phenaki는 이전에는 데이터 가용성과 계산 비용에 제한을 받던 것과는 달리, 개방형 도메인 및 시간 가변 프롬프트를 처리할 수 있기 때문에 비디오 합성 분야의 돌파구입니다. Phenaki는 또한 정지 이미지와 프롬프트로부터 영상을 생성할 수 있으며, 예를 들어 고양이의 눈을 확대하거나 하품하게 만들 수 있습니다. Phenaki는 엔터테인먼트, 교육, 스토리텔링, 예술 등 다양한 잠재적 응용 분야를 가지고 있습니다.

Phenaki는 무엇을 할 수 있나요?

이 영상은 해외에서 큰 화제를 모았으며, Google이 AI 영상 합성 기술을 너무 사실적이고 쉽게 만들어 버렸습니다

Phenaki 장점:

최대 2분 길이의 가변 길이 및 품질의 영상을 생성할 수 있습니다

이야기나 설명과 같은 개방형 도메인 및 시간 가변 프롬프트를 처리할 수 있습니다

대규모 이미지-텍스트 쌍 말뭉치와 소수의 비디오-텍스트 예시를 활용하여 비디오 데이터셋 밖에서도 일반화합니다