URM: Alimama의 새로운 이커머스 추천 모델 82

URM이란 무엇인가?

URM(Universal Recommendation Model)은 알리마마(阿里妈妈)가 발표한 전자상거래 추천 모델입니다. 이 모델은 세계 지식 대규모 모델로, 알리마마는 LLM 기반으로 세계 지식과 전자상거래 지식을 모두 갖춘 대규모 모델을 구축하여 기존 LLM이 전자상거래 추천 시나리오에서 성능이 떨어지는 문제를 해결하고자 합니다. 주요 문제로는 첫째, 대규모 모델이 전자상거래 분야에 대한 전문 지식이 부족하다는 점, 둘째, 사용자의 과거 행동 정보 입력이 길고 밀도가 낮다는 점이 있습니다. URM은 LLM의 세계 지식과 전자상거래 전문 지식을 결합하여 사용자 관심사에 대한 깊이 있는 이해와 정확한 추천을 실현합니다.

URM의 핵심 특징

• 지식 주입 및 정보 정렬: URM은 지식 주입과 정보 정렬을 통해 LLM의 일반 지식과 전자상거래 분야의 전문 지식을 결합합니다.

• 멀티모달 융합: 멀티모달 융합 상품 표현을 도입하여 상품의 ID 표현과 의미적 표현(예: 텍스트, 이미지 등)을 결합하고, 상품의 표현 능력과 추천 정확도를 향상시킵니다.

• 효율적인 Sequence-In-Set-Out 생성 방식: 사용자 모델링 헤드(hUM)와 언어 모델 헤드(hLM)를 통해 각각 사용자 표현과 텍스트 출력을 생성하여, 단일 순전파에서 고품질의 추천 세트를 생성할 수 있습니다.

• 멀티태스크 처리 능력: 다중 시나리오 추천, 다중 목표 추천, 롱테일 추천, 발견적 추천 등 다양한 작업을 지원합니다.

• 제로샷 학습 능력: 대량의 레이블링된 데이터가 없는 경우에도 새로운 작업과 시나리오에 빠르게 적응하여 효과적인 추천을 제공할 수 있습니다.

URM 기술 원리

• 멀티모달 융합 표현: ID 표현과 의미적 표현의 정렬 및 융합을 통해 멀티모달 상품 임베딩 벡터를 생성합니다.

• 작업 정의 및 프롬프트 엔지니어링: 텍스트를 기반으로 다양한 추천 작업을 정의하고, 서로 다른 프롬프트 템플릿 설계를 통해 추천 결과의 분포를 조정합니다.

• 학습 방식: 상품 추천 작업의 노이즈 대조 추정(NCE) 손실과 텍스트 생성 작업의 음의 로그 가능도 손실을 결합하고, 전체 파라미터에 대한 지도 미세 조정(SFT)을 채택하여 상품의 원래 표현만 고정합니다.

URM 적용 효과

URM은 이미 알리마마의 전시 광고 시나리오에 적용되어 상인의 광고投放 효과와 소비자의 쇼핑 경험을 눈에 띄게 향상시켰습니다. 예를 들어, 임베디드 가전과 수납 용품에 대한 과거 행동 이력이 있는 사용자의 경우, URM은 사용자가 인테리어에 관심을 가지고 있으며 경장(硬装) 초기 단계에 있을 것으로 추측하고, 전 세대 맞춤형 제품과 고품질 가전을 추천합니다. 또한 URM은 사용자의 과거 관심사와 특정 텍스트 안내를 결합하여 현재 상황에 더 부합하는 추천 결과를 생성할 수 있습니다.

URM 성능

오프라인 실험에서 URM은 멀티태스크 융합 데이터셋으로 학습되었으며, 프로덕션 데이터셋에서 평균 11.0%의 Recall 향상을 달성했습니다. 또한 9개 작업 중 6개 하위 작업에서 온라인에서 사용되는 Target-Attention 구조의 전통적인 추천 모델을 능가했습니다.

URM 적용 시나리오

• 개인화된 상품 추천: 사용자가 전자상거래 플랫폼을 탐색할 때 시스템은 사용자의 과거 행동과 선호도에 따라 사용자 관심사에 맞는 상품을 추천합니다. 예를 들어, 운동 장비를 자주 구매하는 사용자의 경우 URM은 최신 운동화, 운동 의류 및 피트니스 기구를 추천할 수 있습니다.

• 다중 시나리오 추천: URM은 다중 시나리오 추천 작업을 지원하며, 사용자가 현재 있는 페이지와 행동 맥락에 따라 시나리오와 관련된 추천을 생성할 수 있습니다. 예를 들어, 홈 페이지에서는 인기 상품을, 카테고리 페이지에서는 관련 카테고리의 상품을, 추천된 결과 페이지에서는 검색어와 밀접하게 관련된 상품을 제공합니다.

• 검색 강화: URM은 검색 질문을 추천 작업으로 간주하고, 프롬프트 템플릿을 통해 사용자의 과거 행동과 검색어를 결합하여 보다 정확한 검색 결과를 생성할 수 있습니다. 예를 들어, 사용자가 "여름 원피스"를 검색하면 URM은 사용자의 과거 선호도에 따라 여름에 적합한 원피스 스타일을 추천할 수 있습니다.

• 관심사 추천: URM은 프롬프트 템플릿과 멀티모달 융합 모듈을 통해 사용자의 장기적인 관심사를 포착하고 장기 관심사와 관련된 추천을 생성할 수 있습니다. 예를 들어, 전자제품을 자주 구매하는 사용자의 경우 URM은 곧 출시될 최신 전자제품을 추천할 수 있습니다.

• 롱테일 상품 추천: RM은 특정 프롬프트 템플릿을 통해 롱테일 상품을 포함한 추천 목록을 생성할 수 있습니다. 예를 들어, 소장 취향의 음악을 좋아하는 사용자의 경우 URM은 한정판 레코드나 음악 관련 상품과 같은 소장 취향 음악 관련 상품을 추천할 수 있습니다.

ArXiv 기술 논문:https://arxiv.org/pdf/2502.03041