StoryMem: ByteDance의 오픈소스 AI 멀티샷 장편 영상 생성 도구 97

ByteDance와 난양공과대학교가 오픈소스로 공개한 AI 장편 영상 프레임워크입니다. 기존 단일 샷 영상扩散 모델을 멀티 샷 스토리 영상 생성 도구로 바꾸며, 비주얼 메모리 뱅크를 통해 40~60초, 8~12개의 샷으로 구성된 연속된 이야기를 만들어내고 캐릭터의 외형과 장면 스타일을 일관되게 유지합니다.

#Ai工具箱 #Ai开源项目

방문 StoryMem: ByteDance의 오픈소스 AI 멀티샷 장편 영상 생성 도구

StoryMem: ByteDance의 오픈소스 AI 멀티샷 장편 영상 생성 도구소개

StoryMem은 바이트댄스와 난양공과대학교가 오픈소스로 공개한 AI 다중 샷 장편 비디오 생성 도구로, 주로 다중 샷 영상에서 인물 형상과画面 스타일이 통일되지 않는 문제를 해결합니다. 기존의 단일 샷 비디오 확산 모델을 다중 샷 스토리 영상을 제작할 수 있는 도구로 개조했으며, 시각적 메모리 뱅크를 통해 40~60초, 8~12개의 샷으로 구성된 연속된 스토리를 제작할 수 있어, 캐릭터의 외모와 배경 스타일이 흐트러지지 않습니다.

기술 구현 측면에서 StoryMem은 Wan2.2 모델을 기반으로 미세 조정(fine-tuning)을 통해 메모리 처리 능력을 추가했습니다. 생성 시 먼저 첫 번째 샷을 메모리의 출발점으로 만들고, 이후 생성되는 모든 새 샷은 이전 메모리 내용을 참조하며 메모리 뱅크를 지속적으로 업데이트하여 전체 비디오의 일관성을 유지합니다.

StoryMem 기능 특징

메모리 투 비디오(M2V): LoRA를 사용하여 이전의 키프레임을 현재 노이즈에 주입하며, 간단한 조정만으로 서로 다른 샷이 일관되게 보이도록 합니다.
동적 메모리 뱅크: 최대 10개의 키프레임을 보관하며, 먼저 CLIP으로 의미 기반으로 선별한 뒤 HPSv3으로 시각적 품질이 좋은 것을 선택해 자동으로 저품질 화면을 제거합니다.
세 가지 확장 방식:

MI2V: 첫 번째 프레임 이미지를 조건으로 사용하여 장면 전환이 더 매끄럽습니다.
MM2V: 이전 5개 프레임의 동작을 조건으로 사용하여 움직임이 더 자연스럽습니다.
MR2V: 자신의 이미지를 초기 메모리로 업로드하여 주인공의 얼굴을 지정할 수 있습니다.

출력 효과: 기존 방식과 비교해 일관성이 29% 향상되었으며, 기존 모델의 높은 화질과 프롬프트 적합성도 그대로 유지됩니다.

StoryMem 활용 시나리오

마케팅 광고: 스크립트를 입력하면 여러 개의 동적 스토리보드를 빠르게 제작할 수 있어 A/B 테스트에 용이합니다.
영상 프리 프로덕션: 텍스트 스토리보드를 곧바로 시각적 화면으로 변환해 사전 기획 비용을 절약합니다.
숏폼 / 독립 창작: 장벽 없이 1분 길이의 영화 같은 단편 영상을 만들 수 있습니다.
교육 및 기업 훈련: 역사 재현, 과학讲解, 제품 데모 등을 원클릭으로 제작할 수 있습니다.

StoryMem 사용 방법

저장소 복제:
git clone https://github.com/Kevin-thu/StoryMem
의존성 설치:
pip install -r requirements.txt
스크립트 준비: 예시를 참고해 다중 샷 프롬프트를 작성하거나, ST-Bench에서 제공하는 300개의 스토리 템플릿을 사용하세요.
생성 시작:
python inference.py --prompt "당신의 스토리 스크립트" --length 60 --memory_size 10
선택 기능:
매끄러운 장면 전환이 필요하면 --mi2v 추가
주인공을 직접 지정하고 싶으면 --ref_image path/to/face.jpg --mr2v 추가