LiveSketch_云技派,专注ai人工智能! 154

LiveSketch는 ai 기반 동영상 생성 도구로, 사용자가 텍스트 프롬프트를 통해 정적인 스케치를 애니메이션으로 변환할 수 있게 해줍니다. 이는 사용자의 스케치를 생동감 있게 만들어 주는 간단하고 직관적인 방법을 제공합니다. 스토리텔링, 일러스트레이션, 웹 디자인, 프레젠테이션 등 어떤 용도로 사용되든, LiveSketch는 정적인 스케치 이미지에 생명을 불어넣어 더 풍부하고 흥미롭게 만들어 줍니다.

짧은 텍스트 프롬프트 한 줄만으로 LiveSketch는 단순한 낙서를 생생한 SVG 애니메이션 클립으로 만들어 주며, 편집과 조정이 쉽고 텍스트를 통해 애니메이션의 동작과 크기를 제어할 수 있습니다.

스케치는 인간이 아이디어를 직관적이고 범용적으로 전달하는 데 사용하는 가장 보편적인 도구 중 하나입니다. 애니메이션 스케치는 아이디어 표현에 또 다른 차원을 열어주며, 디자이너들이 다양한 목적으로 널리 사용하고 있습니다. 

스케치 애니메이션은 많은 노력이 필요한 과정이며, 풍부한 경험과 전문적인 디자인 기술이 요구됩니다. 본 연구에서 우리는 LiveSketch를 위한 새로운 방법을 제안합니다. 이 방법은 원하는 동작을 나타내는 텍스트 프롬프트만 제공하면 단일 주제 스케치에 자동으로 동작을 추가합니다(따라서 "그것에 생명을 불어넣는다"는 이름이 붙었습니다). 출력은 벡터 표현 형태로 제공되는 짧은 애니메이션으로, LiveSketch에서 쉽게 편집할 수 있습니다. 

우리의 방법은 대량의 학습을 필요로 하지 않으며, 대규모 사전 학습된 텍스트-비디오 확산 모델의 동작 사전 정보를 활용하여 점수 증류 손실을 통해 스트로크의 위치를 안내합니다. 자연스럽고 부드러운 동작을 촉진하고 스케치의 외관을 더 잘 보존하기 위해, 학습된 동작을 두 가지 구성 요소로 모델링합니다. 첫 번째는 작은局部 변형을 제어하고, 두 번째는 전역 아핀 변환을 제어합니다.

 놀랍게도, 자체적으로 스케치 영상을 생성하기 어려운 모델일지라도, LiveSketch는 애니메이션 추상 표현의 유용한 백본(backbone)이 될 수 있음을 발견했습니다.

LiveSketch에는 상당한 한계가 있습니다. 첫째, 현재로서는 동작을 설명하는 프롬프트를 단순히 수정하여 생성 결과를 일정 수준 제어할 수 있을 뿐입니다. 이러한 수정과 제어는 모델이 생성할 수 있는 작은 동작으로 제한되며, 텍스트 프롬프트는 초기 스케치의 의미와 일치해야 합니다. 주제에 여러 객체가 포함된 경우 구분이 불가능합니다.

앞으로 LiveSketch와 같은 기술은 예술 창작, 어린이 교육 등 다양한 영역에서 큰 빛을 발하며, 예술 창작의 진입 장벽을 크게 낮추고 교육의 재미와 상호작용성을 높여 줄 것으로 기대됩니다.