대본 기획 도우미▸ 
AI 앱 
AI 뉴스 Pusa 모델: Mochi를 미세 조정한 오픈소스 비디오 확산 모델, 텍스트·이미지·비디오-투-비디오 지원
小编 ·
Pusa 모델: Mochi를 미세 조정한 오픈소스 비디오 확산 모델, 텍스트·이미지·비디오-투-비디오 지원
Pusa란 무엇인가?
Pusa는 Raphael Liu가 2025년 4월에 발표한 새로운 ai 비디오 생성 모델로, 그 핵심 혁신은 프레임 레벨 노이즈 제어를 통한 새로운 확산 패러다임으로 비디오 확산의 시간 모델링을 재정의한다는 점에 있습니다. Pusa 모델은 텍스트, 이미지, 비디오-투-비디오의 다양한 생성 작업을 지원하며, 모션 충실도와 프롬프트 준수를 유지하면서도 저비용, 고성능이라는 특징을 갖추고 있습니다.
Pusa 모델 특징
프레임 레벨 노이즈 제어와 벡터화된 타임스텝: Pusa는 프레임 레벨 노이즈 제어와 벡터화된 타임스텝을 도입했으며, 이는 처음에 FVDM 논문에서 제안되었습니다. 전통적인 방법과 비교했을 때, Pusa의 타임스텝 수는 기존의 1000개에서 수천 개로 늘어나 모델의 유연성과 확장성을 크게 향상시켰습니다. 이러한 프레임 레벨 노이즈 제어는 Pusa가 비디오 생성 과정에서 각 프레임의 내용을 더 세밀하게 처리할 수 있도록 하여, 더 높은 품질의 비디오 생성 효과를 구현합니다.
비파괴적 수정: Pusa는 기본 모델을 그대로 유지하면서 기존의 텍스트-투-비디오 생성 능력을 보존합니다. 가벼운 미세 조정만으로 Pusa는 다양한 비디오 생성 작업에 적응할 수 있으며, 기본 모델에 대한 대규모 수정이 필요하지 않습니다. 이러한 비파괴적 수정은 개발 시간과 비용을 절약할 뿐만 아니라, 모델의 안정성과 신뢰성을 보장합니다.
범용 적용성: Pusa의 방법은 Mochi 모델에만 적용되는 것이 아니라, Hunyuan Video, Wan2.1 등 다른 선도적인 비디오 확산 모델에도 쉽게 적용할 수 있습니다.
Pusa 모델 아키텍처
프레임 레벨 노이즈 제어: Pusa는 프레임 레벨 노이즈 제어와 벡터화된 타임스텝을 구현하여 전례 없는 유연성과 확장성을 제공합니다.
비파괴적 수정: 기본 모델에 대한 수정은 기존의 텍스트-투-비디오 생성 능력을 그대로 유지하며, 가벼운 미세 조정만으로 충분합니다.
범용 적용성: 이 방법은 Hunyuan Video, Wan2.1 등 다른 선도적인 비디오 확산 모델에도 쉽게 적용할 수 있습니다.
Pusa 활용 사례
영화 특수효과 제작, 광고 크리에이티브 생성 및 개인 맞춤형 비디오 콘텐츠 제작에 적합합니다.
다중 모달 입력(예: 텍스트+이미지)을 결합하여 복잡한 장면을 시뮬레이션하고, 비디오 생성의 유연성을 향상시킵니다.
Pusa 설치 및 사용법
설치:
git clone https://github.com/genmoai/models cd models pip install uv uv venv .venv source .venv/bin/activate uv pip install setuptools uv pip install -e . --no-build-isolation
Flash Attention을 설치해야 하는 경우, 다음을 사용할 수 있습니다:
uv pip install -e .[flash] --no-build-isolation
가중치 다운로드:
Hugging Face CLI 사용:
pip install huggingface_hub huggingface-cli download RaphaelLiu/Pusa-V0.5 --local-dir
또는 Hugging Face에서 직접 로컬로 다운로드할 수도 있습니다.
기본 사용법:
텍스트-투-비디오 생성:
python ./demos/cli_test_ti2v_release.py \ --model_dir "/path/to/Pusa-V0.5" \ --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \ --prompt "A man is playing basketball" \ --num_steps 30
이미지-투-비디오 생성:
python ./demos/cli_test_ti2v_release.py \ --model_dir "/path/to/Pusa-V0.5" \ --dit_path "/path/to/Pusa-V0.5/pusa_v0_dit.safetensors" \ --prompt "Your_prompt_here" \ --image_dir "/path/to/input/image.jpg" \ --cond_position 1 \ --num_steps 30
훈련:
원본 모델에 대한 훈련을 지원하는 완전한 Pusa 훈련 코드와 자세한 정보가 제공됩니다.
코드 저장소:https://github.com/Yaofang-Liu/Pusa-VidGen
HuggingFace:https://huggingface.co/RaphaelLiu/Pusa-V0.5
