Phenaki_云技派,专注ai人工智能! 130

Phenakiとは何ですか？

Phenakiは、Google Researchのプロジェクトであり、オープンドメインのテキスト記述からリアルなビデオを合成することを目的としています。テキストから直接、最大数分の長さのビデオを生成することができます。

Phenakiを使用すると、静止画像とプロンプトからビデオを生成することもできます。提案されているビデオエンコーダー-デコーダーは、時空間の品質とビデオごとのトークン数の点で、文献で現在使用されているすべてのフレームごとのベースラインを上回ります。

テキストからビデオトークンを生成するために、Phenakiは事前計算されたテキストトークンを条件とする双方向マスク変換器を使用します。生成されたビデオトークンはその後、デトークン化されて実際のビデオが作成されます。

Phenakiはビデオ合成分野におけるブレークスルーです。なぜなら、これまではデータの可用性や計算コストによって制限されていた方法とは異なり、オープンドメインで時間的に変化するプロンプトを処理できるからです。Phenakiはまた、静止画像とプロンプトからビデオを生成することもできます。例えば、猫の目をズームインしたり、猫のあくびを生成したりできます。Phenakiには、エンターテインメント、教育、ストーリーテリング、アートなど、多くの潜在的な応用があります。

Phenakiは何ができますか？

このビデオは海外で爆発的に拡散しました。GoogleがAIビデオ合成をあまりにもリアルで簡単に実現しました

Phenakiの利点：

最大2分までの可変長と品質のビデオを生成できる

物語や説明など、オープンドメインで時間的に変化するプロンプトを処理できる

大量の画像-テキストペアのコーパスと少量のビデオ-テキスト例を利用して、ビデオデータセットを超えて一般化できる