LiveSketch_云技派,专注ai人工智能! 148

LiveSketchは、ai生成動画ツールであり、ユーザーはテキストプロンプトを通じて静止スケッチをアニメーションに変換できます。ストーリーテリング、イラスト、ウェブデザイン、プレゼンテーションのいずれにおいても、LiveSketchは静止スケッチ画に生命を吹き込み、より豊かで興味深いものにします。

短いテキストプロンプト一つで、LiveSketchは数筆の落書きをリアルにし、生き生きとしたSVGアニメーションクリップを出力します。また、編集や調整が容易で、テキストを通じてアニメーションの動きや幅度を制御できます。

スケッチは、人々がアイデアを直感的に伝えるために使われる、最も汎用的なツールの一つです。アニメーションスケッチは思考表現に新たな次元を開き、デザイナーによってさまざまな目的で広く活用されています。

スケッチアニメーションは労力を要するプロセスであり、豊富な経験と専門的なデザインスキルを必要とします。本研究ではLiveSketchに対する手法を提案します。この手法は、必要な動きを示すテキストプロンプトを提供するだけで、単一主題のスケッチに自動的に動きを追加します（つまり、「生命を吹き込む」）。出力はベクター形式で表現された短いアニメーションであり、LiveSketchで簡単に編集できます。

本手法は大規模な学習を必要とせず、大規模な事前学習済みテキストから動画への拡散モデルの動きの事前分布を利用し、スコア蒸留損失を用いてストロークの位置を指導します。自然で滑らかな動きを促進し、スケッチの外観をよりよく保持するために、学習された動きは二つのコンポーネントでモデル化されます。一つ目は小さな局所的な変形を制御し、二つ目はグローバルなアフィン変換を制御します。

驚くべきことに、自身でスケッチ動画を生成することが難しいモデルであっても、LiveSketchはアニメーション抽象表現の有用なバックボーンとして機能することがわかりました。

LiveSketchには大きな限界があります。まず、現時点では、動きを表すプロンプトを単純に修正することによってのみ、生成結果をある程度制御できます。これらの修正や制御はモデルが作成できる小さな動きに限定され、テキストプロンプトは初期スケッチの意味と一致している必要があります。被写体に複数のオブジェクトが含まれている場合、区別することができません。

今後、LiveSketchのような技術は芸術創作や子供教育などの分野で大きな輝きを放ち、芸術創造の敷居を大きく下げ、教育の楽しさとインタラクティブ性を向上させる可能性を秘めています。