AnchorCrafter: 중科院와 텐센트가 공동 개발한 AI 가상 라이버 커머스 도구 131

AnchorCrafter는 중국科学院와 텐센트가联手 만든 ai 가상 호스트 라이브 커머스 도구로, 첨단 AI 기술을 활용하여 자연스럽고 매끄러운 라이브 커머스 동영상을 생성할 수 있으며, 전자상거래 동영상 제작의 품질과 효율을 크게 향상시킵니다.

AnchorCrafter란 무엇인가요?

AnchorCrafter는 확산(diffusion) 기반 시스템으로, 인간과 사물의 상호작용(Human-Object Interaction, HOI)을 자세(pose) 유도 기반 인간 동영상 생성에 통합하여 고정밀도의 앵커 스타일 제품 프로모션 동영상을 자동으로 생성합니다.

AnchorCrafter 기술 하이라이트:

• 인간-사물 상호작용 모델링: AnchorCrafter는 가상 모델이 상품을展示하는 것을 구동할 뿐만 아니라, 손과 상품의 접촉과 같이 인간과 상품 간의 상호작용 세부 사항을 정확하게 포착하고 제어하여 더욱 자연스럽고 사실적인 동영상 콘텐츠를 생성합니다.

• 고품질 시각 효과: 시스템은 HOI-appearance perception 기술을 통해 다각도 상품 이미지 특징을 융합하여 동영상에서 상품의 외관 세부 사항이 정확하게呈现되도록 보장하며, 동시에 인간과 사물의 외관을 구분하고 최적화하기 위해 디커플링 네트워크 구조를 활용하여 시각적 충실도를 향상시킵니다.

• 훈련 데이터의 효율적 활용: 훈련 데이터 세트가 상대적으로 작음에도 불구하고(44개의 네트워크 동영상과 307개의 자체 수집 동영상), AnchorCrafter는 효율적인 훈련 전략을 통해 제한된 자원(예: 4카드 A100 GPU, 4만 개의 훈련 스텝, 프레임당 6프레임 길이)에서도 만족스러운 결과를 산출하여 알고리즘의 효율성과 견고성을 입증합니다.

• HOI-region 재가중치 손실: 모델이 손-사물 상호작용을 학습하는 것을 강화하기 위해 시스템은 특정 손실 함수를 채택하여 손과 사물 영역의 손실에 가중치를 부여하고, 상호작용 부분의 정확성과 자연스러움을 보장합니다.

AnchorCrafter의 기술 원리

• 동영상 확산 모델: 동영상 프레임을 처리하기 위해 확산 Unet과 변분 오토인코더(VAE)를 사용하며, 동영상 시퀀스를 잠재 공간으로 인코딩하여 고품질 출력을 생성합니다.

• HOI-외관 인식: 인간과 사물의 외관 특징을 추출하고 이를 백본 네트워크에 통합하여 외관 제어를 구현하며, 다각도 사물 참조 이미지를 사용하여 사물 외관 인식 능력을 강화합니다.

• HOI-모션 주입: 인간 모션 시퀀스를 주입하여 사물 모션을 제어하고 사물 궤적 조건 및 가림(occlusion) 관리 문제를 해결하며, 깊이 맵을 입력으로 활용하여 모션의 선명성과 일관성을 유지합니다.

• HOI 영역 재가중치 손실: 상호작용 영역에 더 높은 훈련 가중치를 부여하여 모델이 사물 세부 사항을 학습하는 것을 강화하고, 최종 생성된 동영상의 품질과 사실성을 향상시킵니다.

AnchorCrafter의 주요 용도

• 전자상거래 동영상 제작: AnchorCrafter는 사용자가 제공하는 캐릭터 이미지와推广하려는 제품을 기반으로 자연스럽고 매끄러운 라이브 커머스 동영상을 생성하여, 전자상거래 기업이 고품질 마케팅 동영상을 손쉽게 제작할 수 있도록 돕습니다.

• 제품 프로모션: 인물과 제품을 융합하여 매력적인 제품 프로모션 동영상을 제작하고, 제품의 시장 경쟁력을 높입니다.

AnchorCrafter의 장점

• 화면 품질과 동작 자연스러움: AnchorCrafter가 생성한 가상 호스트 라이브 커머스 동영상은 화면 품질과 동작 자연스러움에서 업계 최고 수준에 도달하여, 실제 사람 호스트와 비교해도 손색이 없습니다.

• 효율성: 사용자는 간단한 이미지와 상품 정보만 제공하면 고품질 라이브 커머스 동영상을 빠르게 생성할 수 있어, 시간과 비용을大幅に 절약할 수 있습니다.

AnchorCrafter 사용 단계:

• 자료 준비: 호스트의 사진 한 장을 제공합니다.展示하려는 상품 사진을 제공합니다.

• 호스트 선택: 수많은 네트워크 호스트 중에서 가장 마음에 드는 한 명을 선택하면, AI 기술이 그 이미지를 가상 세계로 "복제"합니다.

• 동영상 생성: AnchorCrafter는 호스트의 동작과 표정, 상품과의 상호작용을 포함한 멋진 라이브 커머스 동영상을 자동으로 생성합니다.

• 정밀 제어: 자신의 필요에 따라 다양한 상호작용 동작을 설계하여 호스트와 상품이 완벽하게 융합되도록 합니다.

• 동영상 내보내기: 생성이 완료되면 고품질 동영상을 내보내어 전자상거래 플랫폼의 프로모션에 사용합니다.

AnchorCrafter는 특히 전자상거래 플랫폼에 적합하여, 라이브 커머스 동영상을 빠르게 생성하고, 제품展示의 매력을 강화하며, 판매 잠재력을 높이고, 동시에 실제 사람 호스트에 대한 의존도를 줄여 제작 비용을 절감합니다.