URM: el nuevo modelo de recomendación para e-commerce de Alimama 84

¿Qué es URM?

URM (Universal Recommendation Model) es un modelo de recomendación para comercio electrónico publicado por Alimama. Es un modelo grande de conocimiento mundial; la compañía busca construir un modelo grande basado en LLM que combine conocimiento del mundo y conocimiento de comercio electrónico, para resolver los problemas de rendimiento insuficiente de los LLM tradicionales en escenarios de recomendación de comercio electrónico: la falta de conocimiento profesional del modelo en el ámbito del comercio electrónico, y la entrada de información de comportamiento histórico del usuario, que es extensa y de baja densidad. URM combina el conocimiento mundial del LLM con el conocimiento profesional del comercio electrónico, logrando una comprensión profunda de los intereses del usuario y una recomendación precisa.

Características principales de URM

• Inyección de conocimiento y alineación de información: URM combina el conocimiento general del LLM con el conocimiento profesional del dominio del comercio electrónico mediante la inyección de conocimiento y la alineación de información.

• Fusión multimodal: introduce representaciones multimodales de productos, combinando la representación por ID y la representación semántica (como texto, imágenes, etc.) de los productos, mejorando la capacidad de expresión del producto y la precisión de la recomendación.

• Generación eficiente Sequence-In-Set-Out: mediante cabezales de modelado de usuario (hUM) y cabezales de modelo de lenguaje (hLM) se generan respectivamente la representación del usuario y la salida de texto, lo que permite generar conjuntos de recomendación de alta calidad en una sola pasada hacia adelante.

• Capacidad multitarea: admite tareas de recomendación multi-escenario, multi-objetivo, de cola larga, de descubrimiento, entre otras.

• Capacidad de aprendizaje de cero muestras: puede adaptarse rápidamente a nuevas tareas y escenarios, proporcionando recomendaciones efectivas incluso sin grandes cantidades de datos etiquetados.

Principios técnicos de URM

• Representación por fusión multimodal: mediante la alineación y fusión de la representación por ID y la representación semántica, se generan vectores de incrustación multimodales de los productos.

• Definición de tareas e ingeniería de prompts: las diferentes tareas de recomendación se definen en base a texto, y la distribución de los resultados de la recomendación se ajusta mediante el diseño de diferentes plantillas de prompt.

• Método de entrenamiento: combina la pérdida de estimación contrastiva de ruido (NCE) de la tarea de recomendación de productos y la pérdida de verosimilitud logarítmica negativa de la tarea de generación de texto, adoptando un ajuste fino supervisado (SFT) con parámetros completos, congelando únicamente la representación original del producto.

Efectos de aplicación de URM

URM ya se ha puesto en línea en el escenario de publicidad display de Alimama, mejorando notablemente el rendimiento de la inversión publicitaria de los comerciantes y la experiencia de compra de los consumidores. Por ejemplo, para un usuario con comportamiento histórico en electrodomésticos empotrados y artículos de organización, URM puede inferir que el usuario podría estar interesado en reformas y encontrarse en una etapa temprana de obra gruesa, y recomendar productos de personalización integral del hogar y electrodomésticos de alta calidad. Además, URM puede combinar los intereses históricos del usuario con guías textuales específicas para generar resultados de recomendación más acordes con el contexto actual.

Rendimiento de URM

En experimentos offline, URM fue entrenado con un conjunto de datos de fusión multitarea y logró una mejora promedio del 11,0% en Recall en el conjunto de datos de producción, superando al modelo de recomendación tradicional con estructura Target-Attention utilizado en línea en 6 de las 9 sub-tareas.

Escenarios de aplicación de URM

• Recomendación personalizada de productos: cuando el usuario navega por la plataforma de comercio electrónico, el sistema recomienda productos acordes con sus intereses según su comportamiento histórico y sus preferencias. Por ejemplo, para un usuario que compra con frecuencia equipamiento deportivo, URM puede recomendar las últimas zapatillas de deporte, ropa deportiva y equipos de fitness.

• Recomendación multi-escenario: URM admite tareas de recomendación multi-escenario y puede generar recomendaciones relacionadas con el escenario según la página actual del usuario y el contexto de su comportamiento. Por ejemplo, recomendar productos populares en la página de inicio, productos de categorías relacionadas en la página de categorías, y productos altamente relevantes para los términos de búsqueda en la página de resultados de búsqueda.

• Mejora de la búsqueda: URM puede tratar la consulta de búsqueda como una tarea de recomendación, combinando el comportamiento histórico del usuario y los términos de búsqueda mediante plantillas de prompt para generar resultados de búsqueda más precisos. Por ejemplo, si el usuario busca "vestidos de verano", URM puede recomendar estilos de vestidos adecuados para el verano según las preferencias históricas del usuario.

• Recomendación por intereses: URM puede captar los intereses a largo plazo del usuario mediante plantillas de prompt y el módulo de fusión multimodal, y generar recomendaciones relacionadas con dichos intereses. Por ejemplo, para un usuario que compra con frecuencia productos tecnológicos, URM puede recomendar nuevos productos electrónicos próximos a lanzarse.

• Recomendación de productos de cola larga: URM puede generar listas de recomendación que incluyan productos de cola larga mediante plantillas de prompt específicas. Por ejemplo, para un usuario aficionado a la música de nicho, URM puede recomendar productos relacionados con la música de nicho, como ediciones limitadas de discos o merchandising musical.

Paper técnico en ArXiv:https://arxiv.org/pdf/2502.03041