URM:Alimamaが発表した新しいeコマース推薦モデル 85

小编 ·

URM:Alimamaが発表した新しいeコマース推薦モデル

URM(Universal Recommendation Model)は、Alimamaが発表したeコマース推薦モデルです。世界知識を持つ大規模モデルとして、LLMの世界知識とeコマースの専門知識を組み合わせ、従来のLLMがeコマース推薦で抱える課題——ドメイン専門知識の不足や、冗長で密度の低いユーザー行動情報への対応——を解決します。URMにより、ユーザーの興味を深く理解し、的確な推薦を実現します。

URM:Alimamaが発表した新しいeコマース推薦モデル

URMとは?

URM(Universal Recommendation Model)は、アリババ妈妈が発表したEC推薦モデルです。このモデルは世界知識を持つ大規模モデルであり、アリババ妈妈はLLMを基盤として世界知識とEC知識の両方を兼ね備えた大規模モデルを構築し、従来のLLMがEC推薦シナリオでパフォーマンスが低いという問題の解決を目指しています。具体的には、(1) 大規模モデルがEC分野における専門的な知識を不足している点、(2) ユーザーの過去の行動情報の入力が長く密度が低いという点です。URMはLLMの世界知識とEC専門知識を組み合わせ、ユーザーの興味の深い理解と精密な推薦を実現します。

URM:阿里妈妈发布的新型电商推荐模型.jpg

URMのコアな特徴

  • 知識注入と情報アライメント:URMは知識注入と情報アライメントを通じて、LLMの汎用知識とEC分野の専門知識を結合します。

  • マルチモーダル融合:マルチモーダル融合の商品表現を導入し、商品のID表現と意味表現(テキスト、画像など)を組み合わせて、商品の表現能力と推薦の正確性を向上させます。

  • 高効率なSequence-In-Set-Out生成方式:ユーザーモデリングヘッド(hUM)と言語モデルヘッド(hLM)を通じて、それぞれユーザー表現とテキスト出力を生成し、1回のフォワードパスで高品質な推薦セットを生成できます。

  • マルチタスク処理能力:複数シナリオ推薦、複数目標推薦、ロングテール推薦、発見性推薦など、さまざまなタスクをサポートします。

  • ゼロショット学習能力:新しいタスクや新しいシナリオに迅速に適応でき、大量のラベル付きデータがなくても効果的な推薦を提供できます。

URMの技術原理

  • マルチモーダル融合表現:ID表現と意味表現のアライメント融合を通じて、マルチモーダルな商品埋め込みベクトルを生成します。

  • タスク定義とプロンプトエンジニアリング:テキストに基づいて異なる推薦タスクを定義し、異なるプロンプトテンプレートを設計することで推薦結果の分布を調整します。

  • 学習方法:商品推薦タスクのNoise Contrastive Estimation(NCE)損失とテキスト生成タスクの負の対数尤度損失を組み合わせ、完整パラメータの教師あり微調整(SFT)を採用し、元の商品の表現のみを凍結します。

URMの応用効果

URMはすでにアリババ妈妈のディスプレイ広告シナリオに導入されており、商家の広告配信効果と消費者のショッピング体験を顕著に向上させています。例えば、組み込み家電や収納用品に対して過去の行動履歴があるユーザーに対して、URMはユーザーが内装工事に関心があり、初期のハード内装段階にある可能性があると推測し、フルカスタム製品や高品質な家電を推薦します。さらに、URMはユーザーの過去の興味と特定のテキストガイダンスを組み合わせることで、現在の状況により適合した推薦結果を生成することもできます。

URMのパフォーマンス

オフライン実験において、URMはマルチタスク融合データセットを用いて学習され、本番データセットで平均11.0%のRecall向上を達成し、9つのタスクのうち6つのサブタスクでオンラインで使用されているTarget-Attention構造の従来の推薦モデルを上回りました。

URMの応用シナリオ

  • 個別化された商品推薦:ユーザーがECプラットフォームを閲覧する際、システムはユーザーの過去の行動や好みに基づき、ユーザーの興味に合致した商品を推薦します。例えば、スポーツ用品を頻繁に購入するユーザーに対して、URMは最新のスポーツシューズ、スポーツウェア、フィットネス機器を推薦できます。

  • マルチシナリオ推薦:URMはマルチシナリオ推薦タスクをサポートし、ユーザーが現在いるページや行動コンテキストに基づいて、シナリオに関連する推薦を生成できます。例えば、トップページで人気商品を推薦し、カテゴリページで関連カテゴリの商品を推薦し、検索結果ページで検索語に高度に関連する商品を提供します。

  • 検索強化:URMは検索問題を推薦タスクとして扱い、プロンプトテンプレートを通じてユーザーの過去の行動と検索語を組み合わせて、より精密な検索結果を生成できます。例えば、ユーザーが「サマー ワンピース」を検索すると、URMはユーザーの過去の好みに基づいて夏に適したワンピースのスタイルを推薦できます。

  • 興味推薦:URMはプロンプトテンプレートとマルチモーダル融合モジュールを通じて、ユーザーの長期的な興味を捉え、長期的な興味に関連する推薦を生成できます。例えば、科技製品を頻繁に購入するユーザーに対して、URMは近日発売される新しい電子製品を推薦できます。

  • ロングテール商品推薦:RMは特定のプロンプトテンプレートを通じて、ロングテール商品を含む推薦リストを生成できます。例えば、マイナー音楽を好むユーザーに対して、URMは限定版レコードや音楽グッズなど、マイナー音楽関連の商品を推薦できます。

ArXiv技術論文:https://arxiv.org/pdf/2502.03041