URM : le nouveau modèle de recommandation e-commerce d'Alimama 83

Qu'est-ce que l'URM ?

URM (Universal Recommendation Model) est un modèle de recommandation e-commerce publié par Alimama. Ce modèle est un grand modèle de connaissances mondiales, et Alimama souhaite s'appuyer sur les LLM pour construire un grand modèle intégrant à la fois les connaissances mondiales et les connaissances e-commerce, afin de résoudre les problèmes de performance médiocre des LLM traditionnels dans les scénarios de recommandation e-commerce : d'une part, les grands modèles manquent de connaissances spécialisées dans le domaine du e-commerce, et d'autre part, les informations sur l'historique de comportement des utilisateurs sont longues et peu denses. URM combine les connaissances mondiales des LLM avec les connaissances spécialisées du e-commerce, permettant une compréhension approfondie des intérêts des utilisateurs et des recommandations précises.

Caractéristiques principales d'URM

• Injection de connaissances et alignement des informations : URM combine les connaissances générales des LLM avec les connaissances spécialisées du domaine e-commerce grâce à l'injection de connaissances et à l'alignement des informations.

• Fusion multimodale : introduction de représentations produits par fusion multimodale, combinant les représentations ID et les représentations sémantiques (texte,图像, etc.) des produits, afin d'améliorer la capacité d'expression des produits et la précision des recommandations.

• Méthode de génération Sequence-In-Set-Out efficace : génération de la représentation utilisateur et de la sortie textuelle respectivement via la tête de modélisation utilisateur (hUM) et la tête de modèle de langage (hLM), permettant de générer un ensemble de recommandations de haute qualité en une seule passe avant.

• Capacité de traitement multi-tâches : prise en charge de diverses tâches telles que la recommandation multi-scénarios, la recommandation multi-objectifs, la recommandation de produits à longue traîne et la recommandation découverte.

• Capacité d'apprentissage zero-shot : capable de s'adapter rapidement aux nouvelles tâches et aux nouveaux scénarios, et de fournir des recommandations efficaces même en l'absence de grandes quantités de données annotées.

Principe technique d'URM

• Représentation par fusion multimodale : génération de vecteurs d'embedding produits multimodaux via l'alignement et la fusion des représentations ID et des représentations sémantiques.

• Définition des tâches et ingénierie de prompt : définition des différentes tâches de recommandation sur la base du texte, et ajustement de la distribution des résultats de recommandation en concevant différents modèles de prompt.

• Méthode d'entraînement : combinaison de la perte d'estimation contrastive bruitée (NCE) pour la tâche de recommandation de produits et de la perte de vraisemblance négative pour la tâche de génération de texte, en adoptant un fine-tuning supervisé (SFT) sur tous les paramètres, avec gel uniquement des représentations originales des produits.

Effets d'application d'URM

URM a déjà été mis en ligne dans le scénario publicitaire display d'Alimama, améliorant considérablement l'efficacité des投放 publicitaires des商家 et l'expérience d'achat des consommateurs. Par exemple, pour un utilisateur ayant un historique de comportement avec des appareils électroménagers encastrables et des articles de rangement, URM peut déduire que l'utilisateur s'intéresse probablement à la décoration et se trouve à un stade précoce des travaux de gros œuvre, et recommander des produits de personnalisation de la maison entière ainsi que des appareils électroménagers de haute qualité. De plus, URM peut également combiner les intérêts historiques de l'utilisateur et des引导 textuels spécifiques pour générer des résultats de recommandation plus adaptés au contexte actuel.

Performances d'URM

Lors d'expériences hors ligne, URM a été entraîné à l'aide d'un jeu de données multi-tâches融合, et a obtenu une amélioration moyenne du Recall de 11,0 % sur le jeu de données de production, surpassant le modèle de recommandation traditionnel utilisant la structure Target-Attention en production dans 6 sous-tâches (sur 9 tâches au total).

Scénarios d'application d'URM

• Recommandation personnalisée de produits : lorsque l'utilisateur parcourt la plateforme e-commerce, le système recommande des produits correspondant aux préférences de ce dernier en fonction de son historique de comportement et de ses intérêts. Par exemple, pour un utilisateur achetant fréquemment des équipements de sport, URM peut recommander les dernières chaussures de sport, vêtements de sport et équipements de fitness.

• Recommandation multi-scénarios : URM prend en charge les tâches de recommandation multi-scénarios et est capable de générer des recommandations liées au contexte en fonction de la page actuelle de l'utilisateur et du contexte comportemental. Par exemple, recommander des produits populaires sur la page d'accueil, recommander des produits de catégories connexes sur la page de catégorie, et fournir des produits hautement pertinents par rapport aux mots-clés sur la page de résultats de recherche.

• Recherche améliorée : URM peut traiter les problèmes de recherche comme une tâche de recommandation, en intégrant l'historique de comportement de l'utilisateur et les mots-clés de recherche via des modèles de prompt pour générer des résultats de recherche plus précis. Par exemple, si l'utilisateur recherche « robes d'été », URM peut recommander des styles de robes adaptés à l'été en fonction des préférences historiques de l'utilisateur.

• Recommandation basée sur les intérêts : URM peut capturer les intérêts à long terme de l'utilisateur via des modèles de prompt et des modules de fusion multimodale, et générer des recommandations liées à ces intérêts à long terme. Par exemple, pour un utilisateur achetant fréquemment des produits technologiques, URM peut recommander de nouveaux produits électroniques即将上市.

• Recommandation de produits à longue traîne : RM peut générer des listes de recommandation contenant des produits à longue traîne via des modèles de prompt spécifiques. Par exemple, pour un utilisateur appréciant la musique alternative, URM peut recommander des produits liés à la musique alternative, tels que des éditions limitées de disques ou des produits dérivés musicaux.

Article technique sur ArXiv :https://arxiv.org/pdf/2502.03041