脚本プランナー▸ 
AIアプリ 
AIニュース 
Tora：Alibaba推出的AIビデオ生成フレームワーク
Tora：Alibaba推出的AIビデオ生成フレームワーク紹介
アリババTora動画は、アリババが発表したai動画生成フレームワークであり、軌道誘導型の拡散変換器（DiT）技術に基づき、テキスト、視覚、軌道条件を融合させ、物理世界に準拠した高品質でダイナミックな動画を生成することができます。
Toraの主な機能と特徴：
軌道誘導型の動画生成：Toraは指定された軌道に基づいて動画を生成でき、運動の一貫性と正確性を維持します。軌道抽出器（Trajectory Extractor, TE）は、入力された軌道を階層的な時空間運動ブロックに変換し、これらの運動ブロックは動画内容の潜在空間と一致します。
マルチモーダル入力の統合：Toraはテキスト、画像、軌道条件の同時入力をサポートし、多次元的な動画内容の制御を実現します。つまり、ユーザーは文章での説明、画像、物体の移動経路を通じて動画を生成することができます。
高解像度動画出力：Toraは720pの高解像度で最大204フレームの動画を生成でき、動画品質を保証します。これにより、生成される動画は映像が鮮明であるだけでなく、運動も滑らかになります。
物理世界の動的シミュレーション：Toraが生成する動画は、重力や動力学の原理など、現実世界の物理的な動態に近いものです。時空間拡散変換器（Spatial-Temporal DiT）を通じて、Toraは動画データを処理し、モデルが连贯した運動を持つ動画を理解し生成することを可能にします。
柔軟なコンテンツ制作：Toraは異なる長さ、アスペクト比、解像度の動画生成をサポートし、多様な創作ニーズに対応します。短い動画でも長い動画でも、標準的なアスペクト比でもカスタムのアスペクト比でも、Toraはすべてに対応できます。
モーションガイドフューザー（Motion-guidance Fuser, MGF）：このコンポーネントは、軌道抽出器が生成した時空間運動ブロックをDiTモデルに統合し、生成された動画内容が所定の軌道と動態に従うことを保証します。MGFは適応正規化層を通じて運動パッチをDiTブロックに統合し、動画内容の動態を正確に制御します。
二段階訓練戦略：Toraが運動をよりよく理解し生成できるようにするため、二段階の訓練プロセスを通じて学習します。まず密なオプティカルフローで訓練し、次にスパースな軌道で微調整することで、モデルによる運動制御の柔軟性と正確性を向上させます。
データ前処理：訓練前に、Toraは動画データに対していくつかの処理を行う必要があります。例えば、シーン検出に基づいて長編動画を短いセグメントに分割し、その後、美学スコアや運動分割結果に基づいて訓練に適した動画セグメントを選択します。
Toraの主な機能モジュール
軌道抽出器（Trajectory Extractor, TE）：入力された軌道を階層的な時空間運動ブロックに変換し、これらの運動ブロックは動画内容の潜在空間と一致します。
時空間拡散変換器（Spatial-Temporal DiT）：空間と時間の自己注意メカニズムを組み合わせ、動画データを処理し、モデルが连贯した運動を持つ動画を理解し生成することを可能にします。
モーションガイドフューザー（Motion-guidance Fuser, MGF）：軌道抽出器が生成した時空間運動ブロックをDiTモデルに統合し、生成された動画内容が所定の軌道と動態に従うことを保証します。
Toraの応用シーン：
映画・テレビ制作：映画・テレビ制作において、Toraは映画、テレビドラマ、短編映像の特殊効果シーンの生成に使用でき、軌道制御を通じて複雑な動的映像を生成することで、実際の撮影コストと時間を削減します。
アニメーション制作：スクリプトに基づいて自動的にアニメーションシーケンスを生成し、アニメーターに初期の動的なスケッチを提供することで、創作プロセスを加速します。
バーチャルリアリティ（VR）および拡張現実（AR）：ユーザーとインタラクションする動的環境を生成し、VRおよびARアプリケーションにリアルな視覚効果を提供します。
ゲーム開発：ゲーム環境やキャラクターアニメーションを迅速に生成し、ゲームデザインの効率を向上させます。
Toraへのアクセス方法：
Toraプロジェクト公式サイト：https://ali-videoai.github.io/tora_video/
Tora GitHubリポジトリ：https://github.com/ali-videoai/Tora
Tora arXiv技術論文：https://arxiv.org/pdf/2407.21705
総じて、Toraが生成する動画の品質は非常に高く、10秒から60秒の高解像度動画を生成でき、異なる解像度やアスペクト比においても優れた性能を発揮します。Toraの動画は滑らかであるだけでなく、物理世界の運動を細部までリアルにシミュレートすることができます。Toraの軌道制御機能もユーザーから高く評価されています。
