대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
ToonComposer：腾讯推出的AI自动上色和生成动画工具
ToonComposer：腾讯推出的AI自动上色和生成动画工具소개
ToonComposer는 텐센트가 출시한 애니메이션 생성 도구로, 애니메이션 제작에서 "프레임 보간"과 "채색" 단계를 "원화 생성 후" 단계로 합쳐 애니메이션 제작 과정을 더 간단하게 만들어 줍니다.
ToonComposer 기능 특징
다양한 방식으로 입력하여 애니메이션 생성: ToonComposer는 텍스트, 스케치 또는 이미지를 사용하여 애니메이션을 생성할 수 있습니다. 예를 들어 "고양이가 우주복을 입고 달에서 나비를 쫓는다"라고 입력하면 여러 컷으로 구성된 애니메이션 스크립트를 생성할 수 있습니다.
애니메이션 디테일 자동 완성: 입력한 키프레임 스케치와 컬러 레퍼런스 프레임을 기반으로 중간 프레임을 자동으로 보완하고 채색하여, 최종적으로 자연스러운 만화 영상을 생성합니다.
스타일 변환 및 커스터마이징: 20여 가지의 일반적인 만화 스타일 템플릿이 내장되어 있어 원 클릭으로 전환할 수 있으며, 사용자 정의 스타일도 지원합니다.
동적 컷 편집: 컷 카드를 드래그 앤 드롭하여 순서를 조정하고, 동작과 카메라 파라미터를 수정하여 직관적인 편집 효과를 구현할 수 있습니다.
영역 제어 기능: 빈 영역을 지정하면 모델이 화면의 다른 부분을 바탕으로 합리적인 내용을 생성해 주어, 수동으로 그리는 작업량을 줄일 수 있습니다.
기술적 장점
스파ース 스케치 주입 메커니즘: 위치 인코딩 매핑과 위치 인식 잔차 기술을 통해 스파ース 키프레임 스케치를 모델에 정밀하게 통합하여 시간에 대한 정밀한 제어를 구현합니다.
공간 저랭크 어댑터(SLRA): 모델의 공간적 표현을 조정하여 만화 스타일에 맞추면서 동시에 시간적 일관성을 유지하여, 생성되는 동작이 더 자연스럽도록 합니다.
영역 제어 능력: 빈 영역을 지정할 수 있으며, 모델이 문맥에 맞춰 적절한 내용을 생성하여 수동 작업량을 줄여줍니다.
ToonComposer 사용 방법
하드웨어 및 시스템 요구 사항: NVIDIA GPU(VRAM 16GB 이상), Python 3.10, PyTorch 2.6.0이 필요합니다.
설치 단계
git clone https://github.com/TencentARC/ToonComposer cd ToonComposer conda create -n tooncomposer python=3.10 -y conda activate tooncomposer pip install -r requirements.txt pip install flash-attn==2.8.0.post2 --no-build-isolation
인터페이스 실행
실행 명령어: python app.py --device cuda:0 --resolution 480p , 그런 다음 브라우저에서 http://localhost:7860 을 열면 Gradio 인터페이스가 나타납니다.
인터페이스 조작
텍스트 프롬프트: 애니메이션 내용을 설명하는 텍스트를 입력합니다. 예: "A girl with long hair waves her hand." .
컬러 레퍼런스 프레임: 480×480 또는 608×608 크기의 컬러 이미지를 업로드하며, 일반적으로 0번째 프레임에 배치합니다.
키프레임 라인 아트: 타임라인에서 프레임 번호를 선택하고 해당 라인 아트를 업로드합니다. 최소 1장이 필요합니다.
영역 마스크(선택 사항): 라인 아트 위에서 검은색 브러시로 칠하면 모델이 해당 영역의 내용을 자동으로 생성합니다.
고급 설정: 프롬프트 강도(CFG Scale)와 라인 아트 제어력(Position - aware Residual Scale)을 조정할 수 있습니다.
애니메이션 생성: "Generate"를 클릭하고 진행 표시줄이 완료될 때까지 기다리면 생성된 애니메이션을 재생하고 다운로드할 수 있습니다.
장점 및 효과
수작업 감소: 애니메이션 제작에서 프레임 보간과 채색 단계의 수작업량을 눈에 띄게 줄여줍니다.
고품질 생성: 여러 테스트에서 ToonComposer는 시각적 품질, 동작 일관성, 제작 효율성 측면에서 기존 방법보다 더 나은 성능을 보였습니다.
높은 유연성: 임의의 시점에서 여러 장의 키프레임 라인 아트를 삽입할 수 있어 보다 정교한 동작 제어가 가능합니다.
활용 시나리오
애니메이션 제작
전통 만화: 중간 프레임을 빠르게 생성하고 채색을 완료하여 수작업을 줄이고 제작 효율성을 높입니다.
온라인 및 라이브 애니메이션: 실시간 생성을 지원하여 온라인 만화 제작 및 라이브 애니메이션 상황에 적합합니다.
3D 애니메이션: 3D 애니메이션 제작에서의 활용 가능성을 탐색합니다.
교육 분야: 생동감 있는 교육용 애니메이션을 제작하여 학생들이 복잡한 개념을 보다 직관적으로 이해하도록 도울 수 있습니다.
마케팅 및 광고: 광고 제작에 사용할 수 있는 애니메이션 아이디어 시안을 빠르게 생성할 수 있습니다.
게임 개발: 게임 개발을 보조하여 캐릭터 및 장면 애니메이션을 빠르게 생성하고 프로토타입 설계에 활용할 수 있습니다.
Github:https://github.com/TencentARC/ToonComposer
