FramePack: Stanford University 팀이 개발한 오픈소스 AI 비디오 생성 도구 69

小编 · 2025-04-29

FramePack은 Stanford 박사이자 ControlNet의 저자인 Lvmin Zhang(장뤄민) 씨 팀이 개발한 오픈소스 AI 비디오 생성 도구입니다. 프레임 컨텍스트 압축과 드리프트 방지 샘플링 기술을 통해 AI 비디오 생성의 높은 하드웨어 장벽을 낮추었습니다.

FramePack: Stanford University 팀이 개발한 오픈소스 AI 비디오 생성 도구

FramePack란 무엇인가요?

FramePack은 스탠포드대학교 박사이자 ControlNet의 저자인 장뤼민(Lvmin Zhang) 팀이 개발한 오픈소스 ai 비디오 생성 도구로, 프레임 컨텍스트 압축 및 드리프트 방지 샘플링 기술을 통해 AI 비디오 생성의 높은 하드웨어 진입 장벽을 허물었습니다.

FramePack：斯坦福大学团队开发的开源AI视频生成工具.webp

FramePack 핵심 기능

시작/끝 프레임 비디오 지원: 사용자가 시작과 끝 프레임을 지정하여 완전한 비디오 클립을 생성할 수 있으며, 제작자는 핵심 화면 설계에 집중하고 소프트웨어가 중간 부분을 자동으로 채워주므로 애니메이션 단편이나 광고 영상 제작에 적합합니다.
일괄 생성: 여러 비디오 프로젝트를 일괄 처리할 수 있으며, 매개변수를 설정한 후 한 번에 여러 비디오 파일을 생성할 수 있어 콘텐츠 제작자의 작업 효율성을 높여주며, 소셜 미디어 플랫폼용 시리즈 프로모션 비디오 준비와 같은 시나리오에 적합합니다.
해상도 조절: 고화질부터 초고화질, 모바일 기기에 적합한 소형 비디오까지 유연한 해상도 조정 옵션을 제공하여 다양한 애플리케이션 시나리오의 요구 사항을 충족합니다.
50 시리즈 그래픽 카드 호환: NVIDIA GeForce 50 시리즈 그래픽 카드를 지원하며, 6GB의 비디오 메모리 요구 사항으로 대부분의 최신 그래픽 카드가 충분히 활용할 수 있고, GPU 가속 계산을 통해 비디오 생성 대기 시간을 단축합니다.
최장 120초 비디오 지원: 사용자는 최대 120초의 비디오를 생성할 수 있어 대부분의 쇼트 비디오 플랫폼 요구 사항을 충족하며, 완전한 이야기 전달과 정보 전달이 가능합니다.

FramePack 기술적 장점

지능형 프레임 압축: Transformer의 Patchify 커널 크기를 변경하여 중요도가 다른 프레임을 서로 다른 정도로 압축하고, 입력 컨텍스트를 일정한 길이로 압축하여 생성 작업량이 비디오 길이에 따라 증가하지 않도록 하며, 비디오 메모리 사용량을 줄이고 계산 효율성을 높입니다.
양방향 메모리 샘플링: 드리프트 방지 샘플링 기술을 도입하여 모델이 현재 프레임을 생성할 때 최근 프레임을 참조할 뿐만 아니라 초기 프레임의 핵심 특징까지도 회상할 수 있게 하여, 기존 프레임별 예측 모델에서 쉽게 발생하는 드리프트 문제를 방지하고 비디오 품질을 향상시키며, 모델이 더 긴 비디오 시퀀스를 생성할 수 있도록 합니다.
유연한 스케줄링 전략: 기하학적 압축, 첫 프레임 우선, 대칭 압축 등 다양한 모드를 지원하여 실시간 라이브 스트리밍, 이미지-비디오 변환, 교육 시연 등 다양한 시나리오에 적용할 수 있습니다.

FramePack 적용 시나리오

비디오 편집: 비디오 편집 및 후반 작업에서 다음 프레임을 예측하여 사용자가 연속적인 비디오 콘텐츠를 만드는 데 도움을 줍니다.
애니메이션 제작: 애니메이션 제작에서 연속적인 동작 생성 작업을 효율적으로 완료할 수 있습니다.
게임 개발: 게임 개발에 실시간 프레임 생성을 제공하여 실시간 비디오 피드백을 지원합니다.
교육 애플리케이션: 교육자가 동적 강의를 일괄 제작하는 등 교육 내용을 더 직관적으로 보여줄 수 있도록 도와줍니다.

FramePack：斯坦福大学团队开发的开源AI视频生成工具.webp

FramePack 설치 및 사용 방법

설치 단계

1. 환경 준비

Python 환경을 설치해야 하며, Python 3.9 이상 버전을 사용하는 것을 권장합니다.
GPU: fp16 및 bf16을 지원하는 Nvidia GPU, 예: RTX 30XX, 40XX, 50XX 시리즈.
운영 체제: Linux 또는 Windows.
GPU 메모리: 최소 6GB.

2. 저장소 복제

터미널 또는 명령 프롬프트를 열고 다음 명령을 실행하여 FramePack의 GitHub 저장소를 복제합니다:

git clone https://github.com/lllyasviel/FramePack.git
cd FramePack

3. 가상 환경 생성 및 활성화

python -m venv framepack_env
# Windows의 경우
.\framepack_env\Scripts\activate
# Linux 또는 macOS의 경우
source framepack_env/bin/activate

4. 의존성 설치

가상 환경을 활성화한 후, 프로젝트에 필요한 의존성 패키지를 설치합니다:

pip install -r requirements.txt

사용 방법

1. 매개변수 구성

프로젝트 디렉터리에서 구성 파일(보통 .yaml 형식)을 찾아 비디오의 해상도, 길이, 생성 모드 등 매개변수를 필요에 따라 수정합니다.

2. 비디오 생성

시작과 끝 프레임의 이미지 파일을 준비하여 지정된 폴더에 배치합니다. 그런 다음 터미널에서 다음 명령을 실행하여 비디오를 생성합니다:

python main.py --input_path /path/to/input/images --output_path /path/to/output/video

여기서 /path/to/input/images는 시작과 끝 프레임 이미지가 있는 폴더 경로이며, /path/to/output/video는 생성된 비디오의 저장 경로입니다.

3. 결과 확인

생성이 완료되면 지정된 출력 경로에서 생성된 비디오 파일을 찾아 비디오 플레이어로 확인할 수 있습니다.