Goku: ByteDance가 개발한 멀티모달 AI 비디오 생성 모델 174

Goku는 홍콩대학교와 바이트댄스(ByteDance)가 공동으로 개발한 다중 모드 비디오 생성 모델로, 보정 플로우 트랜스포머(Rectified Flow Transformer) 아키텍처를 기반으로 하며, 이미지와 비디오의 통합 생성에 특화되어 최적화되었습니다. 이 모델은 2025년 2월에 기술 보고서를 공식 발표했으며, 저비용·고효율의 생성 능력을 통해 디지털 콘텐츠 제작 프로세스를 혁신하는 것을 핵심 목표로 하며, 특히 광고 마케팅, 전자상거래 전시 분야에서 혁신적인 잠재력을 보여주고 있습니다.

Goku의 기능 특징:

다중 모드 생성 능력

• 텍스트 투 비디오(Text-to-Video): 자연어 설명을 통해 동영상을 직접 생성하며, 복잡한 장면과 인물 상호작용을 지원합니다. 예를 들어 "여름 해변 음료 광고"라는 설명만으로 인물 동작과 제품 클로즈업을 포함한 완전한 단편 영상을 생성할 수 있습니다.

• 이미지 투 비디오(Image-to-Video): 단일 상품 이미지나 장면 이미지를 입력으로 받아 동적 전시 영상을 생성합니다. 예를 들어 정적인 의류 이미지를 모델 착용 효과의连贯한镜头로 변환할 수 있습니다.

• 텍스트 투 이미지(Text-to-Image): 고해상도 이미지를 생성하며, 조명, 질감 등 파라미터 조정과 같은 세부 제어 기능을 지원합니다.

기술 아키텍처 혁신

• 보정 플로우 프레임워크: Goku는 보정 플로우(Rectified Flow) 트랜스포머를 채택했으며, 이미지-비디오 통합 VAE(변이형 오토인코더)와 완전 어텐션 트랜스포머를 결합하여, 모델이 이미지 및 비디오 생성 작업을 통합 처리할 수 있게 합니다. 생성 경로의 연속성을 최적화하여 전통적인 확산 모델의 반복 단계를 줄이고 생성 효율성을 향상시킵니다.

• 다단계 훈련 전략: 이미지-텍스트 의미 정렬 사전 훈련, 이미지-비디오 통합 훈련, 그리고 다양한 모드에 대한 미세 조정을 통해 단계적으로 모델 능력을 향상시키며, 초기에는 기본 특징 학습에 집중하고 후기에는 시계열连贯성과 세부 정밀도를 강화합니다.

• 대규모 데이터셋 지원: 연구팀은 약 3,600만 개의 비디오와 1억 6천만 장의 이미지로 구성된 대규모 데이터셋을 구축했으며, 다양한 데이터 필터링 및 증강 기술을 적용하여 데이터 품질을 높였습니다.

비용 및 성능 장점

• Goku+ 상업 버전: 비디오 광고 전용 기반 모델로서, 생성 비용이 전통적인 촬영 제작의 1/100에 불과하며, 개인화 맞춤 설정(예: 브랜드 로고 삽입, 다국어 더빙 등)을 지원합니다.

• SOTA 성능: MSR-VTT 및 UCF-101 등의 벤치마크 테스트에서 텍스트 투 비디오 생성 작업이 업계 기록을 경신했으며, 비디오连贯성과 의미 정렬도에서同类 모델 대비 20% 이상领先합니다.

Goku 사용 방법:

모델 선택 및 배포

• 세 가지 규모 모델 제공: 경량 버전(모바일 단말适配), 표준 버전(범용 장면), 기업용 버전(4K 해상도 및 장시간 비디오 생성 지원).

• 클라우드 API 호출 및 로컬화 배포를 지원하며, 기업 사용자는 바이트댄스 화산 엔진(火山引擎) 플랫폼을 통해 접속할 수 있습니다.

입력 및 파라미터 구성

• 입력 형식: 텍스트 프롬프트는 구조화된 설명(주체-동작-장면-스타일)을 따라야 하며, 이미지 입력은 PNG/JPG 및 투명 배경 형식을 지원합니다.

• 제어 파라미터: 비디오 길이(기본 5초, 최대 60초까지 확장 가능), 프레임 속도(24/30/60fps), 해상도(최대 4096×2160) 및 스타일화 필터(예: "사실적 스타일", "만화 렌더링") 등이 포함됩니다.

인터랙티브 편집

• 생성 후 프레임 단위 미세 조정을 지원하며, 예를 들어局部 동작을 수정하거나 배경 요소를 교체하거나, 텍스트 명령을 통해 특수 효과(예: "빗방울 효과 추가")를 추가할 수 있습니다.

Goku 제품 응용:

전자상거래 및 광고 마케팅

• 상품 동적 전시: 제품 이미지 한 장만으로 가상 진행자讲解과 다각도 전시가 포함된 광고 영상을 생성할 수 있으며, 타오바오, 도우인(抖音) 등 플랫폼의 상품 상세 페이지에 적합합니다.

• 저비용 현지화 광고: 다양한 지역 시장을 대상으로 언어 및 문화 배경에 맞는 광고 콘텐츠를 신속하게 생성하여, 다국적 마케팅 비용을 크게 절감합니다.

소셜 미디어 콘텐츠 제작

• 먹방/튜토리얼 비디오 생성: 재료 목록과 단계별 설명을 입력하면 요리 과정 영상을 자동으로 생성하며, 대화형 자막과 배경 음악 추가를 지원합니다.

• UGC 보조 도구: 제작자에게 "카피를 비디오로 전환" 기능을 제공하여, 이미지 및 텍스트 콘텐츠를 자동으로 단편 비디오로 변환하여 콘텐츠 생산 효율성을 높입니다.

영화 및 게임 사전 제작

• 스토리보드 프리뷰: 텍스트를 통해剧情 스토리보드를 신속하게 생성하여, 감독과 각본가가 서사节奏를 시각화할 수 있도록 지원합니다.

• NPC 동작 라이브러리 구축: 게임 개발에批量 캐릭터 동작 생성을 제공하여, 수동 모델링 작업량을 줄입니다.

Goku의 발표는 AI 비디오 생성이 "보조 도구"에서 "프로덕션급 응용"으로의 도약을 상징합니다. 저비용 특성은 이미 여러 국제快速 소비 브랜드의 시범 협력을 유치했으며, 광고 제작 주기를 약 80% 단축할 수 있는 것으로 추정됩니다. 향후 실시간 렌더링 및 3D 모델링 기술과 결합하여, Goku는 가상 현실, 메타버스 등 장면으로進一步 확장될 것으로 기대됩니다. 현재 기술적 한계는 주로 장편 비디오의情节 논리 제어에서 나타나지만, 팀은 강화 학습 메커니즘 도입을 통해 지속적으로 최적화할 것이라고 밝히고 있습니다.

GitHub:https://github.com/Saiyan-World/goku

프로젝트 주소:https://saiyan-world.github.io/goku/

논문:https://arxiv.org/abs/2502.04896