ToonCrafter: 카툰 애니메이션의 트랜지션 프레임 자동 생성 235

ToonCrafter는 카툰 애니메이션의 전이 프레임을 자동 생성하고 참조 이미지를 기반으로 애니메이션 스케치를 자동 채색합니다. ToonCrafter는 생성적 보간 방식을 통해 카툰 애니메이션 프레임 사이의 자연스럽고 일관된 중간 프레임을 생성합니다. 복잡한 비선형 동작과 가림 문제를 처리할 수 있어 애니메이션 전이가 더욱 부드럽고 자연스럽습니다. 또한 참조 이미지에 따라 스케치에 색을 입힐 수도 있습니다.

참조 이미지를 한 장 또는 두 장 제공하기만 하면 시스템이 참조 이미지의 색상과 스타일에 따라 입력된 스케치에 채색 처리를 합니다.

ToonCrafter는 단순한 라인 애니메이션부터 복잡한 카툰 장면까지 다양한 애니메이션 스타일에 적응할 수 있어 어떤 것이든 손쉽게 처리합니다.

ToonCrafter는 홍콩 중문대학교, 홍콩 시티대학교 및 텐센트 인공지능 연구소가 공동 개발한 도구로, 애니메이터가 카툰 애니메이션의 전이 효과를 보다 효율적으로 생성하고 최적화하도록 돕는 것을 목표로 합니다. 이 도구는 생성 모델과 보간 기술을 통해 카툰 애니메이션에서 프레임 간 전이가 자연스럽지 못한 문제를 해결하여 애니메이션 제작의 효율성과 품질을 향상시켰습니다.

ToonCrafter 기능:

생성적 카툰 보간: ToonCrafter는 생성적 보간 방식을 채택하여 카툰 애니메이션 프레임 사이의 자연스럽고 일관된 중간 프레임을 생성합니다. 이 방식은 복잡한 비선형 동작과 가림 문제를 처리할 수 있어 애니메이션 전이를 더욱 부드럽고 자연스럽게 만듭니다. 애니메이션 스타일이 단순하든 복잡하든 ToonCrafter는 모두 적응할 수 있습니다.

달리기 애니메이션 제작 시 ToonCrafter가 인물 한 걸음 한 걸음 사이의 중간 프레임을 생성하여 달리기 동작이连贯적이고 사실적으로 보이게 하는 예를 설명합니다.

스케치 안내 보간: ToonCrafter는 또한 사용자가 스케치로 보간 과정을 안내하는 것을 지원합니다. 사용자는 희소한 스케치 입력을 제공할 수 있으며, 시스템은 이러한 스케치를 기반으로 사용자 기대에 부합하는 중간 프레임을 생성합니다.这种方式을 통해 사용자는 애니메이션 전이에 대해 세밀하게 제어하여 보간 결과의 정확성과 개인화를 높일 수 있습니다.

손 흔들기 애니메이션 제작 시 사용자가 시작 동작과 종료 동작만 그리면 ToonCrafter가 그 사이의 손 흔들기 과정을 생성하는 예를 설명합니다.

ToonCrafter 프로젝트 주소:https://huggingface.co/spaces/Doubiiu/tooncrafter

ToonCrafter Github:https://github.com/ToonCrafter/ToonCrafter