LiveSketch_云技派,专注ai人工智能! 155

LiveSketch est un outil de génération de vidéos par IA qui permet aux utilisateurs de transformer des croquis statiques en animations à partir d'invites textuelles. Il offre une méthode simple et intuitive pour donner vie à leurs dessins. Que ce soit pour la narration, l'illustration, la conception web ou les présentations, LiveSketch permet d'animer des croquis statiques, les rendant ainsi plus riches et intéressants.

Avec une simple invite textuelle, LiveSketch peut transformer quelques gribouillis en de véritables animations SVG vivantes et dynamiques, faciles à éditer et à ajuster, permettant de contrôler les mouvements et l'amplitude de l'animation via du texte.

Le croquis est l'un des outils les plus intuitifs et universels utilisés par les humains pour communiquer visuellement leurs idées. Les croquis animés ouvrent une dimension supplémentaire à l'expression des pensées et sont largement utilisés par les designers à diverses fins.

L'animation de croquis est un processus laborieux qui nécessite une riche expérience et des compétences professionnelles en design. Dans ce travail, nous proposons une méthode pour LiveSketch qui permet d'ajouter automatiquement du mouvement à un croquis à sujet unique, simplement en fournissant une invite textuelle indiquant le mouvement souhaité (d'où l'expression « lui donner vie »). La sortie est une courte animation sous forme de représentation vectorielle, facilement éditable dans LiveSketch.

Notre méthode ne nécessite pas un entraînement intensif, mais exploite les a priori de mouvement d'un grand modèle de diffusion texte-vers-vidéo pré-entraîné, en utilisant une perte de distillation de score pour guider la position des traits. Pour favoriser un mouvement naturel et fluide, et mieux préserver l'apparence du croquis, nous modélisons le mouvement appris via deux composantes : la première contrôle les petites déformations locales, et la seconde contrôle les transformations affines globales.

De manière surprenante, nous avons constaté que, même pour les modèles qui peinent à générer eux-mêmes des vidéos à partir de croquis, LiveSketch peut tout de même servir de colonne vertébrale utile pour les représentations animées abstraites.

LiveSketch présente des limites importantes. Tout d'abord, à l'heure actuelle, il ne permet qu'un contrôle limité du résultat généré, en modifiant simplement l'invite décrivant le mouvement. Ces modifications et ce contrôle se limitent aux petits mouvements que le modèle peut créer, et les invites textuelles doivent rester cohérentes avec la sémantique du croquis initial ; il est impossible de distinguer les éléments lorsque le sujet contient plusieurs objets.

À l'avenir, ce type de technologie comme LiveSketch pourrait également briller dans des domaines tels que la création artistique et l'éducation des enfants, en abaissant considérablement le seuil de la création artistique et en améliorant le caractère ludique et interactif de l'éducation.