StoryDiffusion: 일관된 이미지·비디오 스토리 및 만화 생성 127

StoryDiffusion는 난카이대학교 HVision 팀에서 개발한 인공지능 도구로, 주요 기능은 일관된 이미지와 동영상 스토리를 생성하는 것과 만화 생성 창작을 포함합니다. StoryDiffusion은 일관된 자기 주의(Consistent Self-Attention) 기술을 활용하여 학습 없이도 일관된 주제의 이미지를 생성할 수 있으며, 이러한 이미지는 이야기를 전달하거나 후속 콘텐츠 생성의 입력으로 사용될 수 있습니다.

StoryDiffusion은 캐릭터의 일관성을 유지하면서 다중 이미지 만화와 긴 동영상을 생성할 수 있으며, 이는连贯적인 서사가 필요한 광고, 영화 등 분야에서 특히 중요합니다.

StoryDiffusion 주요 기능 특징:

• 캐릭터 일관성 유지: StoryDiffusion은 일관된 자기 주의 메커니즘을 통해 주제가 일치하는 이미지와 동영상을 생성하여, 다중 이미지 만화와 긴 동영상에서 캐릭터의 스타일과 의상이 일관되도록 보장함으로써连贯적인 이야기 서사를 실현합니다.

• 다양한 시나리오 적용: 이 도구는 만화 생성 외에도 이미지-투-비디오 등 다양한 시나리오에 적용할 수 있습니다. 사용자는 일련의 조건 이미지를 제공하여 Image-to-Video 모델을 통해 동영상을 생성할 수 있으며, 이는 광고, 영화 등 분야에 새로운 창의적 방식과 제작 수단을 제공합니다.

• 교육 자료 설계: 교육자는 StoryDiffusion을 사용하여 교육용 동영상이나 인터랙티브 스토리를 설계할 수 있으며, 이러한 콘텐츠는 학습자의 참여도와 관심을 높이는 데 도움이 됩니다.

• 장거리 이미지 생성 기능: 특히连贯적인 광고 스토리를 제작하는 데 적합하며, 브랜드 이미지를 강화합니다. 이러한 기능 덕분에 StoryDiffusion은 광고 및 브랜드 홍보 분야에서显著的 장점을 가지고 있습니다.

• 플러그 앤 플레이, 학습 불필요: 연구 팀은 일관된 자기 주의를 기존 이미지 생성 모델의 U-Net 아키텍처에 삽입하고 기존의 자기 주의 가중치를 재사용하여 학습 없이 플러그 앤 플레이 특성을 유지합니다.

• 고효율과 견고성: StoryDiffusion은 캐릭터 특성을 유지하는 동시에 프롬프트 설명에도 잘 부합하여 견고함을 보여줍니다. 이는 정량적 지표에서 최상의 성능을 달성했음을 나타냅니다.

StoryDiffusion은 일관된 자기 주의 메커니즘을 통해 일관된 이미지와 동영상을 생성할 수 있을 뿐만 아니라 교육, 광고, 엔터테인먼트 등 다양한 실제 시나리오에도 적용 가능하며, 동시에 고효율과 견고성을 갖추고 있습니다.

GitHub 프로젝트: 관련 프로젝트는 이미 GitHub에서 1k의 Star를 획득했으며, GitHub 주소는 https://github.com/HVision-NKU/StoryDiffusion 입니다.

논문 및 데모: StoryDiffusion에 대한 더 많은 기술적 세부 정보와 실험 결과는 논문 《StoryDiffusion: Consistent Self-Attention for long-range image and video generation》에서 확인할 수 있으며, 논문 주소는 https://arxiv.org/pdf/2405.01434v1 입니다.