TaleStreamAI: 소설 텍스트를 쇼츠 영상으로 자동 변환, 소설 프로모션에 적합 105

小编 · 2025-04-30

TaleStreamAI는 소설 텍스트를 쇼츠 영상으로 자동 변환하는 오픈소스 프로젝트입니다.

TaleStreamAI: 소설 텍스트를 쇼츠 영상으로 자동 변환, 소설 프로모션에 적합

TaleStreamai란 무엇인가요?

TaleStreamAI는 소설 텍스트를 자동으로 숏폼 영상으로 변환할 수 있는 오픈소스 프로젝트입니다.

TaleStreamAI：实现小说文本到短视频的自动化转换，适合做小说推文.jpg

TaleStreamAI 기술 하이라이트

지능형 스토리보드: Gemini 모델을 활용해 소설 줄거리를 분석하고 긴 챕터를 여러 부분으로 나누어 대용량 텍스트 처리를 피하면서, 각 스토리보드에 대본과镜头 스크립트를 계획하여 이야기를 더 매끄럽게 전달합니다.
프롬프트 최적화: DeepSeek-V3 모델을 통해 이미지 생성 프롬프트를 다듬어, 스토리보드의 텍스트 설명이 AI 더 정확하게 맞춰 생성 이미지의 품질과 적합도를 높입니다.
정확한 자막:静音检测과 음성 분석 기술을 활용하고, OpenAI의 Whisper 모델로 음성 인식을 수행해 정확한 SRT 자막을 생성하며, 자막과 오디오가 완벽하게 동기화되도록 보장합니다.
영상 효과 처리: MoviePy 라이브러리로 개발된 이미지 이동 알고리즘을 통해 패닝 등 다양한 화면 효과를 구현하며, 자동으로 자막을 추가하고 영상 해상도와 비율을 사용자 지정할 수 있어 전문가 수준의 영상을 제작합니다.
리소스 관리 최적화: 가비지 컬렉션, 임시 파일 정리, 메모리 최적화 등을 통해 프로그램이 장시간 안정적으로 실행되도록 보장하여, 대량의 영상 작업을 처리할 때에도 오류가 잘 발생하지 않습니다. 또한 모듈화된 아키텍처, 멀티스레드 처리, 오류 복구 메커니즘 등의 설계로 시스템이 더 유연하고 효율적으로 작동합니다.

TaleStreamAI 운영 프로세스

콘텐츠 수집: 起点(起点) 웹사이트에서 지정된 소설을 가져와 BeautifulSoup 라이브러리로 웹페이지를 파싱하여 챕터 내용을 추출하고 독립적인 텍스트 파일로 저장합니다.
스토리보드 제작: Gemini 대규모 언어 모델이 소설 내용을 여러 장면으로 나누며, 각 스토리보드에는 콘텐츠, 중국어 및 영어 镜头 설명 등의 정보가 포함됩니다.
프롬프트 정교화: DeepSeek-V3 모델이 스토리보드 프롬프트를 추가로 최적화하여 AI 이미지 생성에 적합한 정확한 명령을 형성합니다.
이미지 생성: 최적화된 프롬프트를 Stable Diffusion API(무료)로 보내 고품질 이미지를 가져옵니다.
오디오 합성: CosyVoice2 음성 합성 모델을 활용해 스토리보드 텍스트를 자연스러운 음성 내레이션으로 변환하며, 멀티스레드 처리와 API 키 로테이션을 지원하고 MP3 형식의 오디오를 출력합니다.
자막 생성: Whisper 모델로 오디오에 대해 음성 인식을 수행하고, 강화된 분할 기술을 통해 정확한 SRT 자막 파일을 생성합니다.
단일 컷 합성: 이미지, 오디오, 자막을 통합하고 MoviePy 라이브러리를 활용해 영상 효과를 추가하여 단일 영상 클립을 제작합니다.
완성 영상 제작: FFmpeg의 concat 기능을 사용해 모든 영상 클립을 순서대로 병합하고 메모리 사용량을 최적화하여 완성된 영상을 출력합니다.