URM: новая модель рекомендаций для e-commerce от Alimama 80

Что такое URM?

URM (Universal Recommendation Model) — это модель рекомендаций для электронной коммерции, выпущенная компанией Alimama. Эта модель представляет собой крупную модель с мировыми знаниями: Alimama стремится на основе LLM создать крупную модель, которая объединяет мировые знания и знания в области электронной коммерции, чтобы решить проблему слабой эффективности традиционных LLM в сценариях рекомендаций электронной коммерции: во-первых, крупные модели испытывают нехватку профессиональных знаний в сфере e-commerce, а во-вторых, пользовательские данные об истории поведения являются слишком длинными и низкоинформативными. URM объединяет мировые знания LLM с экспертными знаниями в области электронной коммерции, обеспечивая глубокое понимание интересов пользователей и точные рекомендации.

Ключевые особенности URM

• Внедрение знаний и согласование информации: URM объединяет общие знания LLM с экспертными знаниями в области электронной коммерции посредством внедрения знаний и согласования информации.

• Мультимодальное слияние: введение мультимодального представления товаров, сочетающего ID-представление и семантическое представление товара (например, текст, изображения и т. д.), что повышает выразительность товаров и точность рекомендаций.

• Эффективный метод генерации Sequence-In-Set-Out: с помощью пользовательской головы моделирования (hUM) и языковой модельной головы (hLM) отдельно формируются пользовательское представление и текстовый вывод, что позволяет за один прямой проход генерировать высококачественный набор рекомендаций.

• Возможность многозадачной обработки: поддержка рекомендаций для различных сценариев, множества целей, длинного хвоста, открытия новых товаров и других задач.

• Способность к обучению с нулевым количеством примеров: возможность быстро адаптироваться к новым задачам и сценариям, обеспечивая эффективные рекомендации даже при отсутствии большого объёма размеченных данных.

Технические принципы URM

• Мультимодальное объединённое представление: путём согласования и слияния ID-представления и семантического представления формируются мультимодальные векторы встраивания товаров.

• Определение задач и промпт-инжиниринг: различные задачи рекомендаций определяются на текстовой основе, а распределение результатов рекомендаций корректируется с помощью специально разработанных шаблонов подсказок.

• Метод обучения: комбинация потерь NCE (оценка шумового контрастирования) для задачи рекомендации товаров и потерь отрицательного логарифмического правдоподобия для задачи генерации текста, с использованием полно-параметрической SFT (контролируемой дообучения), при этом замораживается только исходное представление товара.

Эффективность применения URM

URM уже внедрён в сценарии рекламы с показом Alimama, что заметно повысило эффективность рекламных размещений для продавцов и качество покупательского опыта потребителей. Например, для пользователя, который ранее совершал действия с встраиваемой бытовой техникой и товарами для организации пространства, URM способен предположить, что пользователь, возможно, интересуется ремонтом и находится на ранней стадии черновой отделки, и рекомендовать комплексные решения по меблировке дома и высококачественную бытовую технику. Кроме того, URM может учитывать исторические интересы пользователя и конкретные текстовые подсказки, формируя более релевантные текущей ситуации рекомендации.

Производительность URM

В автономных экспериментах URM, обученный на мультизадачном объединённом наборе данных, показал средний прирост Recall на 11,0% на производственном наборе данных и превзошёл традиционную рекомендательную модель с Target-Attention структурой, используемую в продакшене, в 6 из 9 подзадач.

Сценарии применения URM

• Персонализированные товарные рекомендации: когда пользователь просматривает платформу электронной коммерции, система рекомендует товары, соответствующие его интересам, на основе истории поведения и предпочтений. Например, для пользователя, который часто покупает спортивное снаряжение, URM может рекомендовать новейшие кроссовки, спортивную одежду и фитнес-оборудование.

• Рекомендации для различных сценариев: URM поддерживает задачи рекомендаций для нескольких сценариев, способные генерировать релевантные рекомендации в зависимости от текущей страницы и контекста действий пользователя. Например, на главной странице — популярные товары, на странице категории — товары соответствующей категории, на странице результатов поиска — товары, максимально соответствующие поисковому запросу.

• Усиление поиска: URM может рассматривать поисковый запрос как задачу рекомендации, объединяя историю поведения пользователя и поисковый запрос через шаблон подсказки для генерации более точных результатов поиска. Например, при поиске «летнее платье» URM может рекомендовать модели летних платьев, соответствующие предпочтениям пользователя.

• Рекомендации по интересам: URM может улавливать долгосрочные интересы пользователя с помощью шаблонов подсказок и мультимодального модуля слияния и формировать рекомендации, связанные с долгосрочными интересами. Например, для пользователя, который часто приобретает технические новинки, URM может рекомендовать новые электронные продукты, готовящиеся к выпуску.

• Рекомендации длинного хвоста: URM может формировать списки рекомендаций, содержащие товары длинного хвоста, с помощью специальных шаблонов подсказок. Например, для пользователя, предпочитающего нишевую музыку, URM может рекомендовать связанные с ней товары, такие как лимитированные издания пластинок или музыкальный мерч.

Техническая статья на ArXiv:https://arxiv.org/pdf/2502.03041