Lumiere：一発で動画全体を生成 131

Lumiereは、Google Researchチームが開発した時空間に基づくテキストから動画拡散モデルです。Lumiereは革新的な時空間U-Netアーキテクチャを採用しており、このアーキテクチャはモデル内の単一パスで動画の全体を一度に生成します。他のモデルがフレーム単位で動画を合成するのとは異なり、生成される動画の一貫性とリアルさを保証します。Lumiereは、画像から動画、ビデオ修復、スタイリング生成など、幅広いコンテンツ作成タスクや動画編集アプリケーションを簡単に実現できます。

Lumiereの主な機能：

• テキストから動画への拡散モデル：Lumiereはテキストプロンプトに基づいて動画を生成することができ、テキストの説明から動画コンテンツへの直接変換を実現します。

• 画像から動画：このモデルは最初のフレームを条件付けすることにより、静止画をスムーズに動画に変換します。

• 時空間U-Netアーキテクチャ：段階的に動画を合成する必要がある他のモデルとは異なり、Lumiereは動画全体を一度に生成できます。この独自のアーキテクチャにより、他のモデルがフレーム単位で動画を合成するのとは異なり、Lumiereは動画の全体の時間長を一度に生成することが可能です。

• グローバルな時間的一貫性：アーキテクチャの特性により、Lumiereは動画コンテンツにおけるグローバルな時間的一貫性を実現しやすく、動画の一貫性とリアルさを保証します。

• マルチスケール時空間処理：Lumiereは複数の時空間スケールで動画を処理することにより、直接的に動画を生成することを学習します。これは先進的な手法です。

• スタイリングされた動画生成：1枚の参照画像を使用することで、Lumiereはターゲットスタイルに従って動画を生成できます。この能力は他の動画生成モデルでは比較的珍しいものです。

• 幅広いコンテンツ作成および動画編集アプリケーション：Lumiereは、画像から動画、動画修復、スタイリング生成など、さまざまなコンテンツ作成タスクや動画編集アプリケーションをサポートしています。

• 動画のスタイリング編集：テキストベースの画像編集手法を使用することで、Lumiereは動画に対して一貫したスタイリング編集を行うことができます。

• 映像合成能力：画像の一部が静止し、別の部分が動きを見せる場合、局所的な動き効果を実現でき、静止画に魅力的な美しさをもたらします。

• 動画修復機能：Lumiereはテキストプロンプトに基づいて、既存の動画の任意のマスク領域をアニメーション化できます。これは動画編集、オブジェクトの挿入や削除に興味深い可能性を提供します。

これらの進歩にもかかわらず、Lumiereは異なるシーンやショット間を遷移する必要がある動画においては依然として制限があります。この能力のギャップは、将来の拡散モデル研究における重要な方向性を示しています。