Diffutoon_云技派,专注ai人工智能! 128

Diffutoon은 확산 모델에 기반한 획기적인 만화 채색 기술로, 사실적인비디오를 애니메이션 비주얼 스타일로 매끄럽게 변환합니다. 이 방법은 만화 채색 과제를 스타일화, 일관성 향상, 구조 안내, 채색의 네 가지 구분 가능한 측면으로 분해합니다. 주요 만화 채색 파이프라인은 애니메이션 스타일 확산 원리에 기반한 다중 모듈 디노이징 모델에 의해 구동되며, 인상적인 수준의 디테일한 렌더링, 고해상도 및 장시간 비디오 생성 능력을 갖추고 있습니다. 편집 분기의 통합은 제공된 프롬프트에 따라 콘텐츠 조작을 가능하게 합니다. 플래시 어텐션의 전략적 통합을 통해 GPU 메모리 제한을 영리하게 완화하여 최대 1536 x 1536의 해상도를 구현합니다.

Diffutoon은 애니메이션 스타일로 디테일하고 고해상도이며 장시간의 비디오를 렌더링할 수 있습니다. 또한 추가 분기를 통해 콘텐츠를 편집할 수도 있습니다. Diffutoon의 효과는 수치 지표와 인간 평가를 통해 평가됩니다. 특히, 실험에서 Diffutoon은 오픈소스 및 클로즈드소스 베이스라인 방법들을 능가했습니다.

Diffutoon의 주요 기능：

• 사실적인 비디오를 다양한 애니메이션 스타일로 변환

• 사용자 프롬프트에 따라 비디오 콘텐츠를 편집 (예: 색상 변경 또는 특수 효과 추가)
  

• 조명, 머리카락, 포즈 등 디테일을 보존하면서 애니메이션 스타일과 밀접하게 관련된 시각적 효과를 유지합니다.

• 비디오 콘텐츠의 일관성을 유지하여 깜빡임과 왜곡을 방지합니다.

• 고해상도, 장시간 비디오를 생성할 수 있습니다.

Diffutoon의 주요 특징：

• 고해상도 출력: Diffutoon은 초고해상도 비디오를 처리할 수 있어 전문급 애니메이션 및 비디오 프로젝트에 적합합니다.

• 일관성 향상: 애니메이션 시퀀스의 시각적 일관성을 유지하는 데 필수적인 프레임 간 스타일 일관성을 보장합니다.

• 편집 가능한 콘텐츠: 이 방법은 프롬프트에 따라 콘텐츠 편집을 허용하여 창작 과정에 유연성을 제공합니다.

• 구조 안내 및 채색: Diffutoon은 스타일화된 출력의 시각적 매력과 정확성을 향상시키기 위해 구조 안내와 채색을 결합합니다.

Diffutoon 활용 사례：

• 애니메이션 제작: Diffutoon은 라이브 액션 영상이나 다른 유형의 비디오를 애니메이션 스타일의 영상으로 변환하여 애니메이션 제작에 활용될 수 있습니다.

• 비디오 편집: 프롬프트에 따라 비디오 콘텐츠를 편집할 수 있는 기능을 통해 프로젝트에 애니메이션 미학을 도입하고자 하는 비디오 편집자에게 강력한도구가 됩니다.

• 창의적 프로젝트: 아티스트와 크리에이터는 Diffutoon을 사용하여 비디오 콘텐츠에서 다른 스타일과 효과를 시도할 수 있습니다.

논문：https://arxiv.org/pdf/2401.16224

Github：https://github.com/modelscope/DiffSynth-Studio

프로젝트：https://ecnu-cilab.github.io/DiffutoonProjectPage/