LiveSketch_云技派,专注ai人工智能! 147

LiveSketch — это инструмент для генерации видео с помощью ИИ, который преобразует статические наброски в анимацию по текстовым подсказкам пользователя. Он предоставляет простой и интуитивно понятный способ сделать ваши наброски живыми и выразительными. Будь то рассказ историй, иллюстрация, веб-дизайн или презентация — LiveSketch способен вдохнуть жизнь в статические эскизы, делая их более насыщенными и интересными.

Достаточно всего лишь короткой текстовой подсказки, и LiveSketch воплотит даже самые простые каракули в реальность, создавая яркие и выразительные SVG-анимации, которые легко редактировать и настраивать, управляя движениями и амплитудой анимации с помощью текста.

Эскиз — один из самых интуитивных и универсальных инструментов, которые люди используют для наглядной передачи своих идей. Анимация эскизов открывает ещё одно измерение для выражения мыслей и широко используется дизайнерами для самых разных целей.

Создание анимации эскизов — трудоёмкий процесс, требующий богатого опыта и профессиональных навыков дизайна. В данной работе мы представляем метод LiveSketch, который позволяет автоматически добавлять движение к однообъектным эскизам, предоставляя лишь текстовую подсказку с описанием желаемого движения (тем самым «вдыхая в него жизнь»). Результатом является короткая анимация в векторном представлении, которую легко редактировать в LiveSketch.

Наш метод не требует обширного обучения, а использует априорные данные о движении из крупных предобученных текст-видео диффузионных моделей, применяя функцию потерь дистилляции оценок для управления положением штрихов. Для обеспечения естественного и плавного движения, а также лучшего сохранения внешнего вида эскиза мы моделируем изученное движение с помощью двух компонентов. Первый управляет небольшими локальными деформациями, а второй — глобальными аффинными преобразованиями.

Примечательно, что мы обнаружили, что даже модели, которым трудно самостоятельно генерировать видео из эскизов, могут служить полезной основой для анимации абстрактных представлений в LiveSketch.

У LiveSketch есть существенные ограничения. Прежде всего, в настоящее время он обеспечивает лишь ограниченный контроль над результатом генерации — путём простого изменения подсказки, описывающей движение. Эти модификации и контроль ограничены небольшими движениями, которые способна создать модель, а текстовая подсказка должна соответствовать семантике исходного эскиза. Когда объект состоит из нескольких элементов, разграничить их уже невозможно.

В будущем подобные LiveSketch технологии, возможно, смогут проявить себя в полной мере в таких областях, как художественное творчество и детское образование, значительно снижая порог входа в мир искусства и повышая интерес и интерактивность обучения.