Goku：ByteDanceが開発したマルチモーダルAI動画生成モデル 176

Gokuは、香港大学とByteDanceが共同で開発したマルチモーダルな動画生成モデルであり、修正フローTransformerアーキテクチャ（Rectified Flow Transformer）に基づいて、画像と動画の統合生成のために最適化されています。このモデルは2025年2月に技術レポートを公式に発表し、主な目的は低コストかつ高効率な生成能力によってデジタルコンテンツ制作プロセスを革新することであり、特に広告マーケティングやECサイト表示などの分野で破壊的な可能性を示しています。

Gokuの機能と特徴：

マルチモーダル生成能力

• テキストから動画（Text-to-Video）：自然言語による説明で動的動画を生成し、複雑なシーンや人物のインタラクションをサポートします。例えば「夏のビーチでのドリンク広告」という説明から、人物の動きや製品のクローズアップを含む完全なショートフィルムを生成できます。

• 画像から動画（Image-to-Video）：1枚の商品画像やシーン画像を入力として、動的な展示動画を生成します。例えば、静止した衣服の画像をモデルが試着する様子の連続したショットに変換できます。

• テキストから画像（Text-to-Image）：高解像度の画像を生成し、照明や材質などのパラメータ調整による細部制御をサポートします。

技術アーキテクチャの革新

• 修正フローフレームワーク：Gokuは修正フロー（Rectified Flow）Transformerを採用し、画像と動画を統合したVAE（変分オートエンコーダ）および完全アテンションTransformerを組み合わせることで、モデルが画像と動画生成タスクを統一的に処理できるようにしています。生成パスの連続性を最適化することで、従来の拡散モデルの反復ステップを減らし、生成効率を向上させます。

• 多段階学習戦略：画像とテキストの意味的アラインメントによる事前学習、画像と動画の統合学習、および各モダリティに特化したファインチューニングを通じて段階的にモデル能力を向上させ、初期段階では基礎的特徴学習に焦点を絞り、後期段階で時系列の一貫性と細部の精度を強化します。

• 大規模データセットのサポート：研究者らは約3600万の動画と1.6億枚の画像からなる大規模データセットを構築し、データの品質向上のためにさまざまなデータフィルタリングおよび拡張技術を採用しました。

コストとパフォーマンスの優位性

• Goku+商用バージョン：動画広告専用の基盤モデルとして、その生成コストは従来の撮影制作のわずか1/100であり、パーソナライズされた対応（ブランドロゴの挿入、多言語吹き替えなど）もサポートします。

• SOTA性能：MSR-VTTやUCF-101などのベンチマークテストにおいて、テキストから動画生成タスクが業界記録を更新し、動画の一貫性と意味的アラインメントが同類モデルを20%以上リードしています。

Gokuの使用方法：

モデルの選択とデプロイ

• 3つのスケールのモデルを提供：軽量版（モバイル端末対応）、標準版（汎用シナリオ）、エンタープライズ版（4K解像度と長尺動画生成をサポート）。

• クラウドAPI呼び出しとローカルデプロイの両方をサポートし、エンタープライズユーザーはByteDanceのVolcano Engineプラットフォームを通じてアクセスできます。

入力とパラメータ設定

• 入力形式：テキストプロンプトは構造化された記述（例：「主体-動作-シーン-スタイル」）に従う必要があり、画像入力はPNG/JPGおよび透過背景形式をサポートします。

• 制御パラメータ：動画時間（デフォルト5秒、最大60秒まで拡張可能）、フレームレート（24/30/60fps）、解像度（最大4096×2160）、およびスタイルフィルター（例：「リアル風」「カートゥーンレンダリング」）を含みます。

インタラクティブ編集

• 生成後のフレーム単位の微調整をサポートし、例えば局所的な動作の変更、背景要素の置き換え、またはテキスト指示による特殊効果の追加（例：「雨粒の効果を追加」）が可能です。

Gokuの製品応用：

ECと広告マーケティング

• 商品の動的展示：商品画像を1枚用意するだけで、バーチャルホストによる説明や多角度展示を含む広告動画を生成でき、淘宝やDouyinなどのプラットフォームの商品詳細ページに適用可能です。

• 低コストのローカライズ広告：異なる地域市場に向けて、言語や文化的背景に適応した広告コンテンツを迅速に生成し、跨国的なマーケティングコストを大幅に削減します。

ソーシャルメディアコンテンツ制作

• 食事配信/チュートリアル動画の生成：食材リストと手順の説明を入力すると、自動的に料理プロセスの動画が生成され、インタラクティブな字幕や背景音楽の追加をサポートします。

• UGC支援ツール：クリエイターに「コピーから動画へ」機能を提供し、画像とテキストコンテンツを自動的にショートビデオに変換して、コンテンツ制作効率を向上させます。

映画・ゲームプリプロダクション

• ストーリーボードのプレビュー：テキストを通じて迅速にプロット用のストーリーボードを生成し、監督や脚本家がナラティブのリズムを可視化するのを支援します。

• NPCアクションライブラリの構築：ゲーム開発にキャラクターアクションの一括生成を提供し、手動モデリング作業量を削減します。

Gokuの発表は、AI動画生成が「補助ツール」から「プロダクションレベルのアプリケーション」への飛躍を象徴しています。その低コスト特性はすでに複数の国際的なファストコンシューマーブランドに試験的導入されており、広告制作サイクルを80%短縮できると見込まれています。今後、リアルタイムレンダリングと3Dモデリング技術と組み合わせることで、Gokuはバーチャルリアリティやメタバースなどのシナリオへのさらなる展開が期待されます。現在の技術的な限界は主に長尺動画のプロットロジック制御に現れていますが、チームは強化学習メカニズムの導入を通じて継続的に最適化していくと述べています。

GitHub：https://github.com/Saiyan-World/goku

プロジェクトアドレス：https://saiyan-world.github.io/goku/

論文：https://arxiv.org/abs/2502.04896