HunyuanCustom: Tencent Hunyuan이 출시하고 오픈소스로 공개한 새로운 멀티모달 맞춤 비디오 생성 도구 60

HunyuanCustom이란 무엇인가요?

HunyuanCustom은 텐센트 혼원이 출시하고 오픈소스로 공개한 다중 모달 기반 맞춤형 비디오 생성 프레임워크로, 특정 주제를 가진 영상을 생성할 수 있으며 텍스트, 이미지, 오디오, 비디오 등 다양한 입력 조건을 지원합니다.

HunyuanCustom 모델 아키텍처

• HunyuanVideo 기반: HunyuanCustom은 HunyuanVideo를 기반으로 구축되었으며, 특정 주제와 일관된 비디오 생성에 중점을 둡니다.

• 다중 모달 융합: LLaVA 기반의 텍스트-이미지 융합 모듈을 도입하여 다중 모달 입력에 대한 이해를 강화했습니다. 또한 오디오 및 비디오에 대한 특정 조건 주입 메커니즘을 설계하여 다중 모달 조건에서의 비디오 생성을 구현했습니다.

HunyuanCustom 핵심 기능

• 다중 모달 입력 기반 비디오 생성: 텍스트, 이미지, 오디오, 비디오 등 다중 모달 입력을 융합하여 비디오를 생성하며, 높은 제어력과 생성 품질을 갖추고 있습니다.

• 단일 주체 비디오 생성: 사용자가 대상 인물이나 사물이 포함된 이미지 한 장을 업로드하고 텍스트 설명 한 문장을 제공하면, 이미지 속 신원 정보를 인식하고 완전히 다른 동작, 의상, 장면에서 자연스럽고 일관된 비디오 콘텐츠를 생성할 수 있습니다. 예를 들어 인물 사진을 업로드하고 "그가 강아지를 산책시키고 있다"고 입력하면 해당 비디오가 생성됩니다.

• 다중 주체 비디오 생성: 사용자가 인물 사진 한 장과 사물 사진 한 장을 제공하고 텍스트 설명을 입력하면, 이 두 주체가 요구사항대로 비디오에 등장할 수 있습니다. 예를 들어 인물과 감자칩 한 봉지 사진을 제공하고 "한 남자가 수영장 옆에서 손에 감자칩을 들고 보여주고 있다"고 입력하면 해당 비디오가 생성됩니다.

• 단일 주체 비디오 더빙: 오디오驱动(단일 주체) 모드에서 사용자는 인물 이미지를 업로드하고 오디오 음성을 함께 제공할 수 있으며, 모델은 인물이 임의의 장면에서 말하거나 노래를 부르거나 기타 음성-비디오 동기화 연기를 수행하는 효과를 생성합니다. 이는 디지털 휴먼 라이브 방송, 가상 고객 서비스, 교육演示 등 다양한场景에 광범위하게 적용 가능합니다.

• 비디오 부분 편집: 비디오驱动 모드에서는 이미지의 인물이나 사물을 임의의 비디오 클립에 자연스럽게 교체하거나 삽입하여 창의적인 삽입이나 장면 확장이 가능하며, 비디오 재구성과 콘텐츠 강화를 손쉽게 구현할 수 있습니다.

HunyuanCustom 기술적 장점

• 높은 신원 일관성: 업계 최고의 주체 일관성 모델링 능력을 통해 단일 인물, 비인간 사물, 다중 주체 상호작용 등 다양한 장면에서 신원 특징의 비디오 전 과정 일관성과连贯성을 유지할 수 있으며, 인물이 "얼굴이 바뀌지" 않으며 사물이 "漂移"하지 않습니다.

• 강한 제어력: 텍스트, 참조 주체 이미지 및 음성 등 다양한 모달 신호의 제어를 따르는 강력한 제어 신호 추종 능력을 갖추고 있어, 사용자가 필요로 하는 대상, 장면 및 동작을 비교적 잘 생성할 수 있습니다.

• 높은 비디오 생성 품질: 텐센트 혼원 비디오 대규모 모델의 강력한 능력 덕분에 인물 디테일 복원, 동작流畅성, 광影 사실성 등 모든 방면에서 업계 최고 수준을 달성했습니다.

HunyuanCustom 적용 시나리오

• 광고 시나리오: 상품 배경을 신속하게 변경할 수 있으며, 모델이 빠르게 옷을 바꿀 수 있습니다.

• 전자상거래 및 고객 서비스 시나리오: 생동감 있는 디지털 휴먼 상품 소개 영상을 빠르고 저렴하게 제작하거나, 특정 복장을 한 디지털 휴먼 고객 서비스 영상을 제작할 수 있습니다.

• 영화 및 드라마 시나리오: 단편 드라마 및 짧은 스토리短视频을 빠르게 제작합니다.

• 교육 및 과학 보급 시나리오: 오디오驱动으로 설명 영상을 생성합니다.

HunyuanCustom의 단일 주체 생성 능력은 이미 오픈소스로 공개되었으며 혼원 공식 사이트에서 서비스 중입니다. 사용자는 "모델 광장 - 이미지-비디오 변환 - 참조 기반 비디오 생성"에서 체험할 수 있으며, 기타 기능은 5월 내 순차적으로 외부에 오픈소스로 공개될 예정입니다. 다음 링크를 통해 관련 정보에 접근할 수 있습니다:

• 체험 링크: https://hunyuan.tencent.com/modelSquare/home/play?modelId=192

• 프로젝트 공식 사이트: https://hunyuancustom.github.io/

• 코드: https://github.com/Tencent/HunyuanCustom

• 기술 보고서: https://arxiv.org/pdf/2505.04512