URM: Alimamas neues E-Commerce-Empfehlungsmodell 79

Was ist URM?

URM (Universal Recommendation Model) ist ein von Alimama veröffentlichtes E-Commerce-Empfehlungsmodell. Dieses Modell ist ein großes Weltwissensmodell. Alimama möchte auf Basis von LLMs ein großes Modell entwickeln, das sowohl Weltwissen als auch E-Commerce-Wissen berücksichtigt, um die Probleme herkömmlicher LLMs in E-Commerce-Empfehlungsszenarien zu lösen: Erstens fehlt den großen Modellen Fachwissen im E-Commerce-Bereich, und zweitens sind die Eingaben der historischen Nutzerverhaltensinformationen冗长 und von geringer Dichte. URM kombiniert das Weltwissen von LLMs mit dem Fachwissen im E-Commerce-Bereich und ermöglicht so ein tiefgehendes Verständnis der Nutzerinteressen sowie präzise Empfehlungen.

Kernmerkmale von URM

• Wissensinjektion und Informationsabgleich: URM kombiniert durch Wissensinjektion und Informationsabgleich das allgemeine Wissen von LLMs mit dem Fachwissen im E-Commerce-Bereich.

• Multimodale Fusion: Einführung multimodaler Fusions-Produktdarstellungen, die ID-Darstellungen und semantische Darstellungen (z. B. Text, Bilder usw.) von Produkten kombinieren, um die Ausdrucksfähigkeit der Produkte und die Genauigkeit der Empfehlungen zu verbessern.

• Effiziente Sequence-In-Set-Out-Generierung: Durch den Nutzermodellierungskopf (hUM) und den Sprachmodellkopf (hLM) werden分别 Nutzerdarstellungen und Textausgaben erzeugt, wodurch in einer einzigen Vorwärtsausbreitung qualitativ hochwertige Empfehlungs-Sets generiert werden können.

• Multitasking-Fähigkeit: Unterstützung verschiedener Aufgaben wie Multi-Szenario-Empfehlungen, Multi-Objektiv-Empfehlungen, Long-Tail-Empfehlungen und Entdeckungs-Empfehlungen.

• Zero-Shot-Lernfähigkeit: Kann sich schnell an neue Aufgaben und neue Szenarien anpassen und auch dann effektive Empfehlungen liefern, wenn keine großen Mengen an标注daten vorhanden sind.

Technische Prinzipien von URM

• Multimodale Fusionsdarstellung: Durch die abgeglichene Fusion von ID-Darstellungen und semantischen Darstellungen werden multimodale Produkt-Einbettungsvektoren erzeugt.

• Aufgabendefinition und Prompt-Engineering: Verschiedene Empfehlungsaufgaben werden basierend auf Text definiert, und durch das Entwerfen verschiedener Prompt-Vorlagen wird die Verteilung der Empfehlungsergebnisse angepasst.

• Trainingsmethode: Kombination aus dem Noise Contrastive Estimation (NCE)-Verlust für die Produktempfehlungsaufgabe und dem negativen Log-Likelihood-Verlust für die Textgenerierungsaufgabe, unter Verwendung von überwachtem Feintuning (SFT) mit vollständigen Parametern, wobei nur die ursprünglichen Produktdarstellungen eingefroren werden.

Anwendungseffekte von URM

URM wurde bereits in den Display-Werbeszenarien von Alimama eingesetzt und hat die Effektivität der Anzeigenschaltung für Händler sowie das Einkaufserlebnis der Verbraucher deutlich verbessert. Beispielsweise kann URM für einen Nutzer mit historischem Verhalten bei eingebetteten Haushaltsgeräten und Aufbewahrungsartikeln ableiten, dass sich der Nutzer möglicherweise für Renovierungen interessiert und sich in einer frühen Phase der硬装 befindet, und Produkte für die Komplettgestaltung von Wohnungen sowie hochwertige Haushaltsgeräte empfehlen. Darüber hinaus kann URM die historischen Interessen des Nutzers mit spezifischen Textvorgaben kombinieren, um Empfehlungsergebnisse zu erzeugen, die besser zum aktuellen Kontext passen.

Leistungsfähigkeit von URM

In Offline-Experimenten wurde URM mit einem融合多任务-Datensatz trainiert und erreichte auf dem Produktionsdatensatz eine durchschnittliche Steigerung des Recall um 11,0%. In 6 der 9 Teilaufgaben übertraf es das herkömmliche Online-Empfehlungsmodell mit Target-Attention-Struktur.

Anwendungsszenarien von URM

• Personalisierte Produktempfehlung: Wenn ein Nutzer eine E-Commerce-Plattform durchsucht, empfiehlt das System Produkte, die den Interessen des Nutzers entsprechen, basierend auf seinem historischen Verhalten und seinen Vorlieben. Beispielsweise kann URM für einen Nutzer, der häufig Sportausrüstung kauft, die neuesten Sportschuhe, Sportbekleidung und Fitnessgeräte empfehlen.

• Multi-Szenario-Empfehlungen: URM unterstützt Multi-Szenario-Empfehlungsaufgaben und kann basierend auf der aktuellen Seite und dem Verhaltenskontext des Nutzers szenariobezogene Empfehlungen generieren. Beispielsweise beliebte Produkte auf der Startseite, Produkte verwandter Kategorien auf der Kategorieseite und Produkte mit hoher Relevanz zum Suchbegriff auf der Suchergebnisseite.

• Suchverbesserung: URM kann Suchanfragen als Empfehlungsaufgabe behandeln und durch Prompt-Vorlagen das historische Verhalten des Nutzers und die Suchbegriffe kombinieren, um genauere Suchergebnisse zu erzeugen. Sucht ein Nutzer beispielsweise nach „Sommerkleidern“, kann URM basierend auf den historischen Vorlieben des Nutzers für den Sommer geeignete Kleiderstile empfehlen.

• Interessenbasierte Empfehlungen: URM kann durch Prompt-Vorlagen und das multimodale Fusionsmodul die langfristigen Interessen des Nutzers erfassen und Empfehlungen generieren, die mit diesen langfristigen Interessen zusammenhängen. Beispielsweise kann URM für einen Nutzer, der häufig Technologieprodukte kauft, neu erscheinende Elektronikprodukte empfehlen.

• Long-Tail-Produktempfehlungen: RM kann durch spezifische Prompt-Vorlagen Empfehlungslisten generieren, die Long-Tail-Produkte enthalten. Beispielsweise kann URM für einen Nutzer, der Nischenmusik mag, Produkte im Zusammenhang mit Nischenmusik empfehlen, wie z. B. limitierte Schallplatten oder Musik-Merchandise-Artikel.

ArXiv-Technische Abhandlung:https://arxiv.org/pdf/2502.03041