SketchVideo : méthode de génération et d'édition vidéo contrôlable basée sur des croquis 75

小编 · 2025-05-21

SketchVideo est un projet open-source de génération et d'édition vidéo contrôlable basé sur des croquis, proposé par des chercheurs de l'UCAS, de HKUST et de l'équipe Kuaishou Kling. Grâce à la prédiction intelligente des mouvements, au contrôle multimodal et au rendu en temps réel, il simplifie la création d'animations. Utile dans le marketing, l'éducation et les présentations créatives personnelles, il représente une forme émergente de contenu vidéo.

SketchVideo : méthode de génération et d'édition vidéo contrôlable basée sur des croquis

Qu'est-ce que SketchVideo ?

SketchVideo est un projet open source de génération et d'édition de vidéos contrôlables basé sur des croquis, proposé par des chercheurs de l'Université de l'Académie chinoise des sciences, de l'Université des sciences et technologies de Hong Kong et de l'équipe Kling de Kuaishou. Il s'appuie sur trois grandes technologies — la prédiction intelligente des mouvements, le contrôle multimodal et le rendu en temps réel — pour faciliter la création d'animations. Ce projet est très utile dans des domaines tels que le marketing, l'enseignement et la présentation créative personnelle. Il peut captiver le public et susciter l'empathie, représentant ainsi une nouvelle forme de vidéo émergente.

SketchVideo : une méthode de génération et d'édition de vidéos contrôlables basée sur des croquis.webp

Fonctionnalités de SketchVideo

Génération de vidéos : les utilisateurs n'ont qu'à fournir un croquis d'une ou deux images, combiné avec une invite textuelle, et SketchVideo peut générer une vidéo de haute qualité. Par exemple, en dessinant un simple croquis de contour d'un animal et en y ajoutant la description textuelle « courant dans la forêt », on peut générer une vidéo de cet animal courant dans la forêt.
Édition vidéo : à partir d'une vidéo réelle, les utilisateurs peuvent spécifier la zone à éditer et dessiner des croquis pour effectuer des modifications locales. Par exemple, dans une vidéo montrant une personne, on peut modifier sa coiffure, et la nouvelle coiffure générée changera naturellement en fonction des mouvements de la tête de la personne.
Contrôle dynamique : prend en charge l'interpolation et l'extrapolation de mouvement. Les utilisateurs peuvent contrôler l'état de mouvement d'un objet en dessinant les croquis de différentes images clés.
Préservation des détails : lors de l'édition d'une vidéo, les détails des zones non modifiées sont conservés, garantissant que la vidéo éditée est visuellement naturelle et cohérente.
Génération efficace : adopte des techniques d'optimisation de la mémoire pour générer rapidement des vidéos de haute qualité. Par exemple, le modèle SketchGen génère une seule image vidéo en environ 95 secondes sur un GPU A100.

Principes techniques de SketchVideo

Réseau de conditionnement par croquis : basé sur le modèle de génération vidéo DiT, un réseau de conditionnement par croquis dédié est conçu. Ce réseau comprend plusieurs blocs de contrôle par croquis, qui prédisent les caractéristiques résiduelles des blocs DiT ignorés et injectent les signaux de contrôle dans les caractéristiques à différents niveaux.
Mécanisme d'attention inter-images : en calculant la relation entre les caractéristiques cachées de toutes les images et les caractéristiques cachées des images de contrôle, les conditions du croquis sur les images clés sont propagées à toutes les images de la vidéo, permettant ainsi la propagation spatio-temporelle des caractéristiques du croquis.
Module d'insertion vidéo : dans les tâches d'édition vidéo, ce module analyse la relation entre le croquis d'entrée et la vidéo originale, et génère un nouveau contenu cohérent avec la vidéo originale sur les plans spatial et temporel.
Technique de fusion latente : pendant le processus d'inférence, des codes latents de bruit de la vidéo d'entrée sont générés sur la base de l'inversion DDIM. Ces codes latents sont remplacés dans les zones non éditées, préservant ainsi les détails de la vidéo originale.
Stratégie d'entraînement hybride : combine des données d'images et de vidéos pour l'entraînement. Les données d'images et de vidéos sont d'abord utilisées pour accélérer la convergence et résoudre le problème de la limitation des données vidéo ; puis les données vidéo sont utilisées pour optimiser davantage la cohérence temporelle.

Avantages de SketchVideo

Abaisse les barrières à la création : permet aux utilisateurs ordinaires, sans connaissances ni compétences professionnelles, de créer facilement des vidéos à partir de croquis et de textes, éveillant ainsi le potentiel créatif de chacun.
Contrôle précis des détails : grâce au réseau de conditionnement par croquis qui prédit et injecte des signaux de contrôle des caractéristiques à différents niveaux, chaque détail — de la forme et de la position des objets à la disposition globale de la scène — peut être minutieusement décrit et représenté.
Efficace et pratique : adopte un modèle de génération vidéo basé sur DiT, en y intégrant de manière innovante des blocs de contrôle par croquis et un mécanisme d'attention inter-images, garantissant une sortie de haute qualité tout en réalisant une optimisation efficace de la mémoire, générant rapidement des vidéos et gagnant du temps de création.

Scénarios d'application de SketchVideo

Production cinématographique et télévisuelle : peut être utilisé pour générer rapidement des vidéos d'animation, ou pour ajouter des effets spéciaux et modifier des scènes dans des séquences cinématographiques et télévisuelles.
Synthèse de vidéos courtes : les créateurs peuvent facilement produire du contenu personnalisé en vidéo courte, comme des histoires animées de style dessiné à la main, des publicités créatives, etc.
Simulation virtuelle : dans la construction de scènes virtuelles, permet de générer rapidement des environnements virtuels dynamiques à partir de croquis, pour des domaines tels que le développement de jeux et la formation virtuelle.