UniVG：Baiduが発表した動画生成モデル 169

Baidu UniVGは、テキストと画像の任意の組み合わせを入力条件として動画生成を行うことができる、統一型のAI動画生成システムです。UniVGシステムはBaiduチームによって開発され、単一タスクや単一目的の処理における既存の動画生成モデルの限界を解決します。

UniVGオープンソースアドレス：https://univg-baidu.github.io/

UniVGの主な機能と特徴：

• 高自由度動画生成：多条件クロスアテンション機構を使用し、入力された画像やテキストに基づいて意味的に一貫した動画を生成します。

• 低自由度動画生成：完全なランダムガウスノイズの代わりにバイアスガウスノイズを導入し、入力条件の内容をより良く保持します。

• マルチタスク処理：システム内の動画生成モデルを高自由度生成と低自由度生成の2つに再分類し、それぞれ異なる生成タスクに適応させます。

• 拡散モデル：学術と産業界で大きな成功を収めている拡散ベースの動画生成手法を採用しています。

UniVGの応用シーンと優位性：

• 柔軟な入力：画像とテキスト条件を単独または組み合わせて柔軟に入力でき、実際の応用シーンのニーズに対応します。

• 高品質な出力：MSR-VTTデータベース上で最低のFVD（Fréchet Video Distance）を達成し、人間による評価で現在のオープンソース手法を上回り、既存のクローズドソース手法であるGen2と同等の性能を示しています。

• 多様なタスク：テキストから動画、画像から動画、テキストと画像の組み合わせから動画まで、さまざまな動画生成タスクをサポートします。

UniVGは強力なツールとして、テキストと画像の入力を統合することで、動画生成技術をより柔軟で高品質な方向に推進し、コンテンツ制作、広告、エンターテインメントなど多くの分野に大きな応用の可能性を提供します。