LiveSketch_云技派,专注ai人工智能! 153

LiveSketch ist ein KI-Video-Tool, mit dem Benutzer statische Skizzen mithilfe von Textaufforderungen in Animationen umwandeln können. Es bietet eine einfache und intuitive Methode, um Skizzen lebendig und dynamisch zu gestalten. Ob für Geschichtenerzählen, Illustrationen, Webdesign oder Präsentationen – LiveSketch erweckt statische Skizzen zum Leben und macht sie reichhaltiger und unterhaltsamer.

Es genügt eine kurze Textaufforderung, und LiveSketch lässt selbst einfache Kritzeleien Wirklichkeit werden, indem es lebendige und dynamische SVG-Animationssequenzen ausgibt, die leicht zu bearbeiten und anzupassen sind. Die Bewegungen und das Ausmaß der Animation können über den Text gesteuert werden.

Skizzen sind eines der intuitivsten und vielseitigsten Werkzeuge, die Menschen verwenden, um ihre Ideen klar zu vermitteln. Animierte Skizzen eröffnen eine weitere Dimension des Ausdrucks und werden von Designern häufig für verschiedene Zwecke eingesetzt.

Skizzieren-Animation ist ein mühsamer Prozess, der umfangreiche Erfahrung und professionelle Designkenntnisse erfordert. In dieser Arbeit stellen wir für LiveSketch eine Methode vor, die automatisch Bewegung zu Skizzen mit einem einzelnen Motiv hinzufügt, indem lediglich eine Textaufforderung bereitgestellt wird, die die gewünschte Bewegung angibt (also ihm „Leben einhaucht"). Die Ausgabe ist eine kurze Animation in Vektorform, die sich mit LiveSketch leicht bearbeiten lässt.

Unsere Methode erfordert kein umfangreiches Training, sondern nutzt die Bewegungsprioren eines großen vortrainierten Text-zu-Video-Diffusionsmodells und verwendet eine Score-Distillation-Verlustfunktion, um die Position der Striche zu steuern. Um natürliche und flüssige Bewegungen zu fördern und das Erscheinungsbild der Skizze besser zu bewahren, modellieren wir die gelernte Bewegung durch zwei Komponenten. Die erste steuert kleine lokale Verformungen, die zweite globale affine Transformationen.

Überraschenderweise stellen wir fest, dass LiveSketch selbst bei Modellen, die Schwierigkeiten haben, eigenständig Skizzenvideos zu erzeugen, weiterhin als nützliches Rückgrat für animierte abstrakte Darstellungen dienen kann.

LiveSketch hat erhebliche Einschränkungen. Erstens ist es derzeit nur in begrenztem Umfang möglich, die generierten Ergebnisse durch einfaches Ändern der Bewegungsbeschreibung in der Aufforderung zu steuern. Diese Änderungen und Steuerungen beschränken sich auf kleine Bewegungen, die das Modell erzeugen kann, und die Textaufforderung muss semantisch mit der anfänglichen Skizze übereinstimmen. Wenn das Motiv mehrere Objekte enthält, ist keine Unterscheidung möglich.

In Zukunft könnten Technologien wie LiveSketch in Bereichen wie künstlerischer Kreativität und Kindern einen großen Einfluss erzielen, die Eintrittsbarriere für künstlerisches Schaffen deutlich senken und die Unterhaltsamkeit sowie Interaktivität von verbessern.