Step-Video-TI2V：StepFunがオープンソース化したAIテキスト・画像生成動画モデル 145

小编 · 2025-03-20

Step-Video-TI2VはStepFunチームがオープンソース化したテキスト駆動型のAI画像生成動画モデルで、ユーザーが入力したテキストプロンプトと画像から高品質な動画を生成できます。アニメ調の動画生成に優れており、モーション制御、多言語入力、複数の動画フォーマット出力に対応しています。

Step-Video-TI2V：StepFunがオープンソース化したAIテキスト・画像生成動画モデル

Step-Video-TI2Vとは

Step-Video-TI2Vは、階躍星辰（StepFun）チームがオープンソースで公開したテキスト駆動型のAI画像から動画を生成するモデルで、ユーザーが入力したテキストプロンプトと画像に基づいて高品質な動画を生成できます。アニメスタイルの動画生成に優れており、モーションコントロール、多言語入力、各種動画フォーマット出力に対応しています。

Step-Video-TI2V：階躍星辰がオープンソースで公開したAIテキスト・画像から動画を生成するモデル.jpg

Step-Video-TI2Vの機能

テキスト駆動型の画像から動画生成：ユーザーが提供するテキストプロンプトと入力画像に基づき、テキストと画像の内容に高度に一致した動画を生成します。
モーションコントロール：ユーザーが異なるモーションレベルを指定でき、動画の動きの程度を正確に制御することで、動的な効果と安定性のバランスを取れます。
高品質な動画出力：102フレーム、5秒、540P解像度の動画を生成でき、様々な動画アスペクト比（横画面、縦画面、正方形）に対応しています。
多言語サポート：中国語と英語の入力に対応しており、異なる言語背景のユーザーが利用しやすくなっています。
指示の遵守と内容の一貫性：指示の遵守、被写体と背景の一貫性、物理法則の遵守などの面で高い性能を発揮し、生成される動画内容がユーザーの期待に応えます。
ベンチマークテストのサポート：178個の現実世界のプロンプト・画像ペアと120個のアニメスタイルのプロンプト・画像ペアを含む、Step-Video-TI2V-ｅｖａｌベンチマークデータセットを開発し、モデル性能の評価に使用されています。

Step-Video-TI2Vの活用例

コンテンツ制作：動画制作者にインスピレーションと素材を提供し、動画コンテンツを迅速に生成して時間と労力を節約します。
アニメ制作：アニメスタイルの動画生成に優れており、アニメキャラクターのアクション表現やシーンアニメーションなどに活用できます。
広告・マーケティング：魅力的な動画広告を生成し、製品やサービスの特長や優位性を訴求します。
教育・研修：教育動画を作成し、学生がより良く知識を理解し記憶するのを助けます。
エンターテインメントとソーシャルメディア：ユーザーに楽しい動画生成体験を提供し、ソーシャルメディアで共有することでインタラクションと面白さを高めます。

Step-Video-TI2V：階躍星辰がオープンソースで公開したAIテキスト・画像から動画を生成するモデル.webp

Step-Video-TI2Vのインストールと使用方法

インストール

1. 環境要件：Python 3.8以上のバージョン、およびCUDA 11.3以上（GPUアクセラレーション用）が必要です。

2. 依存関係のインストール：以下のコマンドで必要なPythonパッケージをインストールします：

pip install -r requirements.txt

3. モデルのダウンロード：Hugging FaceまたはModelscopeからモデルファイルをダウンロードし、指定されたディレクトリに配置します。

使用方法

1. 入力データの準備：入力画像1枚とテキストプロンプトを1つ用意し、テキストプロンプトが入力画像の内容に関連していることを確認します。

2. コードの実行：以下のコマンドを使用してモデルを実行し、動画を生成します：

python generate_video.py --image_path  --text_prompt "" --output_path

3. パラメータの調整：必要に応じてモーションコントロールパラメータ（動きの程度など）などの生成パラメータを調整し、理想的な動画効果を得ます。