Goku : un modèle de génération vidéo multimodal basé sur l'IA, développé par ByteDance 170

Goku est un modèle de génération de vidéo multimodal co-développé par l'Université de Hong Kong et ByteDance, basé sur l'architecture Transformer à flux corrigé (Rectified Flow Transformer), spécifiquement optimisé pour la génération conjointe d'images et de vidéos. Le rapport technique du modèle a été officiellement publié en février 2025, son objectif principal étant de révolutionner le processus de création de contenu numérique grâce à une capacité de génération à faible coût et haute efficacité, démontrant un potentiel particulièrement perturbateur dans des domaines tels que la publicité et le marketing, ainsi que la présentation e-commerce.

Caractéristiques et fonctionnalités de Goku :

Capacité de génération multimodale

• Texte vers vidéo (Text-to-Video) : génère directement des vidéos dynamiques à partir de descriptions en langage naturel, prenant en charge les scènes complexes et les interactions entre personnages, par exemple la génération d'un court-métrage complet contenant des actions de personnages et des gros plans sur un produit à partir de la description « publicité de boissons sur une plage d'été ».

• Image vers vidéo (Image-to-Video) : prend une seule image de produit ou de scène en entrée et génère une vidéo de présentation dynamique, par exemple en transformant une image statique de vêtements en une séquence cohérente montrant l'effet d'un mannequin portant le vêtement.

• Texte vers image (Text-to-Image) : génère des images haute résolution avec un contrôle fin des détails, tel que le réglage de paramètres comme l'éclairage et les matériaux.

Innovation de l'architecture technique

• Cadre à flux corrigé : Goku adopte le Transformer à flux corrigé (Rectified Flow), combiné à un VAE conjoint image-vidéo (Variational Auto-Encoder) et à un Transformer à attention complète, ce qui permet au modèle de traiter de manière unifiée les tâches de génération d'images et de génération vidéo. En optimisant la continuité du chemin de génération, il réduit les étapes itératives des modèles de diffusion traditionnels et améliore l'efficacité de génération.

• Stratégie d'entraînement multi-étapes : grâce à un pré-entraînement d'alignement sémantique texte-image, un entraînement conjoint image-vidéo, ainsi qu'un ajustement fin spécifique à chaque modalité, les capacités du modèle sont améliorées par étapes, en se concentrant d'abord sur l'apprentissage des caractéristiques fondamentales, puis en renforçant la cohérence temporelle et la précision des détails.

• Support d'un jeu de données à grande échelle : les chercheurs ont construit un jeu de données massif d'environ 36 millions de vidéos et 160 millions d'images, et ont appliqué diverses techniques de filtrage et d'augmentation des données pour en améliorer la qualité.

Avantages en termes de coût et de performance

• Version commerciale Goku+ : en tant que modèle de base dédié aux publicités vidéo, son coût de génération ne représente qu'1/100 du coût de la production traditionnelle par tournage, et il prend en charge la personnalisation (comme l'intégration du logo de la marque, le doublage multilingue, etc.).

• Performance SOTA : dans les tests de référence tels que MSR-VTT et UCF-101, la tâche de génération texte-vidéo a établi de nouveaux records dans le secteur, avec une cohérence vidéo et un alignement sémantique en avance de plus de 20 % sur les modèles concurrents.

Comment utiliser Goku :

Sélection et déploiement du modèle

• Trois tailles de modèles sont proposées : version légère (adaptée au mobile), version standard (scénarios généraux), version entreprise (prenant en charge la résolution 4K et la génération de vidéos longues).

• Prise en charge des appels API cloud et du déploiement local ; les utilisateurs professionnels peuvent y accéder via la plateforme Volcano Engine de ByteDance.

Saisie et configuration des paramètres

• Format d'entrée : les invites textuelles doivent suivre une description structurée (telle que « sujet-action-scène-style »), les entrées d'images prennent en charge les formats PNG/JPG et les fonds transparents.

• Paramètres de contrôle : incluent la durée de la vidéo (5 secondes par défaut, extensible jusqu'à 60 secondes), la fréquence d'images (24/30/60fps), la résolution (jusqu'à 4096×2160) et les filtres de stylisation (tels que « style réaliste », « rendu cartoon »).

Édition interactive

• Prise en charge du réglage image par image après génération, par exemple la modification d'actions locales, le remplacement d'éléments d'arrière-plan, ou l'ajout d'effets spéciaux via des instructions textuelles (comme « ajouter un effet de gouttes de pluie »).

Applications du produit Goku :

E-commerce et publicité marketing

• Présentation dynamique des produits : une seule image du produit suffit pour générer une vidéo publicitaire incluant un présentateur virtuel et un affichage sous plusieurs angles, adaptée aux pages de détails des produits sur des plateformes telles que Taobao et Douyin.

• Publicités localisées à faible coût : génère rapidement des contenus publicitaires adaptés à la langue et au contexte culturel pour différents marchés régionaux, réduisant considérablement les coûts du marketing international.

Création de contenu pour les réseaux sociaux

• Génération de vidéos de type mukbang/tutoriel : saisissez la liste des ingrédients et la description des étapes, et le système génère automatiquement une vidéo du processus de cuisson, avec prise en charge de l'ajout de sous-titres interactifs et de musique de fond.

• Outil d'aide à la création UGC : offre aux créateurs une fonctionnalité de « texte vers vidéo », convertissant automatiquement le contenu textuel et illustré en vidéos courtes, améliorant ainsi l'efficacité de la production de contenu.

Pré-production cinématographique et jeux vidéo

• Prévisualisation du storyboard : génère rapidement des storyboards de scénario à partir de texte, aidant les réalisateurs et les scénaristes à visualiser le rythme narratif.

• Construction de bibliothèques d'animations de PNJ : fournit aux développeurs de jeux une génération par lots d'animations de personnages, réduisant le travail de modélisation manuelle.

La sortie de Goku marque le passage de la génération vidéo par IA du statut d'« outil auxiliaire » à celui d'« application de niveau production ». Sa caractéristique de faible coût a déjà attiré plusieurs marques internationales de biens de consommation courante pour des projets pilotes, avec une estimation de réduction de 80 % du cycle de production publicitaire. À l'avenir, combinée à des technologies de rendu en temps réel et de modélisation 3D, Goku devrait étendre son champ d'application à des scénarios tels que la réalité virtuelle et le métavers. La limitation technique actuelle se situe principalement dans le contrôle de la logique narrative pour les vidéos longues, mais l'équipe a déclaré qu'elle continuerait à optimiser en introduisant des mécanismes d'apprentissage par renforcement.

GitHub :https://github.com/Saiyan-World/goku

Adresse du projet :https://saiyan-world.github.io/goku/

Article :https://arxiv.org/abs/2502.04896