RecSys2023論文読み会での発表資料。Large language modelを推薦システムに応用する研究の概要紹介。

1. Tutorial on Large Language Models for
Recommendation
紹介者：佐藤政寛
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[2] A Survey on Large Language Models for Recommendation (arXiv 2023 May)
[3] How Can Recommender Systems Benefit from Large Language Models: A Survey (arXiv 2023 Jun.)
[4] Recommender systems in the era of large language models (arXiv 2023 Jul.)
[5] Pre-train, prompt and recommendation: A comprehensive survey of language modelling paradigm adaptations in
recommender systems (arXiv 2023 Feb.)
[6] When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities (arXiv 2023 Jul.)
by Wenyue Hua (Rutgers University), Lei Li (Hong Kong Baptist
University), Shuyuan Xu (Rutgers University), Li Chen (Hong Kong Baptist
University), Yongfeng Zhang (Rutgers University)
関連サーベイ論⽂

2. アウトライン
1
• LLMをtop-k推薦に使う⽅法の典型パターンを紹介
• Generativeな推薦⽅法におけるindexingをいくつか紹介
• LLMを⽤いた推薦性能を、LLMのtuning有無や推薦モデルの併⽤
有無の観点で俯瞰
• 信頼性の課題や運⽤上の課題などをいくつか紹介

3. LLM for Recommendationとはどういう研究？
• A) Transformerベースのアーキテクチャで
• B) ⼤量の⾃然⾔語データを⽤いて
• C) (⾃⼰教師あり)学習した(汎⽤的な)モデルを
• D) 推薦タスクに活⽤
2
Transformerベースで（⾔語データでなく）ユーザーの⾏動データのみ
を学習しているBERT4Recなどはここでは含まない。

4. 各推薦タスクへの活⽤例
3
[4] Recommender systems in the era of large language models (arXiv 2023 Jul.)
(Sequential推薦も同様)

5. Top-K推薦での代表的な活⽤パターン
4
[2] A Survey on Large Language Models for Recommendation (arXiv 2023 May)
[6] When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities (arXiv 2023 Jul.)
LLM as content interpreter (feature encoder):
テキスト特徴量のエンコーダーとして使う
LLM as knowledge base:
ユーザーやアイテムの補助情報となる
テキスト特徴量を⽣成する
LLM as system reasoner (recommender):
LLMが直接推薦する（推薦スコアの出⼒
or推薦アイテムの選択)

6. 3) LLM as Recommender
5
[3] How Can Recommender Systems Benefit from Large Language Models: A Survey (arXiv 2023 Jun.)
A) Item scoring task (discriminative recommendation)
A-1) LLMの出⼒をもとに(projection layerで)推薦スコア
を予測
A-2) LLMがpreference (yes/noや5段階評価)を出⼒
B) Item generation task (generative recommendation)
アイテムのタイトルやIDを⽣成

7. A-2) LLMのPreference出⼒の例
6
[7] Prompt Learning for News Recommendation (SIGIR 2023)
こういうユーザーにこのアイテムは
マッチしているかどうかをLLMに答え
させる

8. B) Item generationの例
7
[8] Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)
(RecSys 2022)
こういうユーザーにマッチするアイテムは
どれかをLLMに選択させる

9. Discriminative vs. Generative recommendation
8
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
従来のDiscriminativeな⽅法では、⼤規模な推薦システム(>= 数億ユーザーx数億アイテ
ム)において、スコア計算に時間かかりすぎるので多段階のフィルタリングが必要。
Generativeな⽅法では（原理的には）⼀発で推薦できる。
ただしItem ID
の扱い⽅には
⼯夫が必要

10. Generativeな推薦におけるItem ID
9
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[9] How to Index Item IDs for Recommendation Foundation Models (SIGIR-AP 2023)
IDに求める特性
1. アイテムごとにユニークであること
2. 類似したアイテムはトークンが類似すること
3. トークン種類が多すぎないこと
• 商品番号（ “item_7391”など）をIDに
してもよいし、“The Load of the Rings”
のようにタイトルをIDとしてもよい。
• ID “item_7391”を、
<item><_><73><91>のようにトークン
にわけてもよい

11. • Independent Indexing (IID)
• 各アイテムごとに独⽴なIDをそのままトークンとする（分割なし）
• Random Indexing (RID)
• 各アイテムにrandom numberを割り当てて、トークン分割
• 例）ID “4332”を割り当てて”43”と”32”に分割
• Title Indexing (TID)
• 商品タイトルをIndexにしてトークン分割
各種Indexing⽅法とその課題
10
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[9] How to Index Item IDs for Recommendation Foundation Models (SIGIR-AP 2023)
IDに求める特性
1. アイテムごとにユニークであること
2. 類似したアイテムはトークンが類似すること
3. トークン種類が多すぎないこと
・いずれも2を満たさない
・IIDは3も問題
・TIDは2がややマシに思われ
るが、1を満たさないことも

12. • Sequential Indexing (SID)
• ユーザーシーケンス内で順にインデックスづけ。
• 共起しているアイテムは近いインデックスになりやすい。
改善版Indexing⽅法1
11
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[9] How to Index Item IDs for Recommendation Foundation Models (SIGIR-AP 2023)

13. • Collaborative Indexing (CID)
• 共起関係で階層クラスタリングし、各階層のクラスタ番号をつなげたものをIDに
する。
改善版Indexing⽅法2
12
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[9] How to Index Item IDs for Recommendation Foundation Models (SIGIR-AP 2023)

14. • Semantic Indexing (SemD)
• アイテムのカテゴリ構造情報でインデックスづけ。
改善版Indexing⽅法3
13
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[9] How to Index Item IDs for Recommendation Foundation Models (SIGIR-AP 2023)

15. LLMを⽤いた推薦の性能
14
[3] How Can Recommender Systems Benefit from Large Language Models: A Survey (arXiv 2023 Jun.)
・LLMのtuning無しでCRMも無
し(協調フィルタリング的な情
報無し)だと、性能は限定的
（左下）
・(tuning⼤変なので) LLMのサ
イズが⼤きいものはtuning無
しに偏る傾向（左 vs. 右）
・LLMサイズが⼤きいほど性
能上がるかは不明（同⼀⼿法
でのLLMサイズ⽐較はあまり
⾏われていない）
LLMの
tuningの
有無
予測に従来の推薦モデル
(CRM)を使うか否か

16. LLMでのfew-shot/zero-shot推薦（前⾴の左下）
15
[4] Recommender systems in the era of large language models (arXiv 2023 Jul.)
• LLMに推薦システムとして⾏動して
もらうためのTask description。
• ユーザーのinteractionを教えて推薦を
促すPrompt。
• Few-shotの場合は、こういうユー
ザー履歴ではこういう推薦という例
もLLMに⽰す（Demonstrations）

17. 信頼性の課題
16
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
• Hallucination
• (⽣成的推薦において)存在しないアイテムを推薦してしまう
• IDの⽣成ならほぼ⼤丈夫
• Bias and Fairness
• LLM⾃体にバイアスがあることが知られており、その影響受ける
• Transparency and Explainability
• LLM内部の推論機構も考慮した説明はまだ難しい

18. 実運⽤上の課題
17
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[3] How Can Recommender Systems Benefit from Large Language Models: A Survey (arXiv 2023 Jun.)
[4] Recommender systems in the era of large language models (arXiv 2023 Jul.)
[6] When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities (arXiv 2023 Jul.)
• Fine-tuning efficiency
• LLMが巨⼤になるほどfine-tuningに時間かかる
• Inference Efficiency
• LLMは計算時間かかる
• Privacy
• LLMに内在する個⼈情報を推薦時に暴露する可能性

19. Generative recommendationの将来
18
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions (arXiv 2023 Sep.)
[6] When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities (arXiv 2023 Jul.)
• Personalized contentの⽣成
(LLM as personalized content creator)
• 既存のアイテムから選択するのではなく、推薦するアイテムをユーザー
に合わせて新規に⽣成
• 例）I’m traveling in Singapore, generate pictures to post on my Instagram.
• 個⼈化広告向けに（アイテムを推薦する）広告のタイトルや⽂章などを
⽣成する研究はすでにあるが、推薦されるアイテム⾃体も⽣成する

20. LLMの多様な活⽤⽅法
19
[6] When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities (arXiv 2023 Jul.)
[10] Keynote: Towards Generative Search and Recommendation (RecSys 2023)
• LLMで推薦モデルの⾃動選択（neural architecture search）
• LLMを⽤いて⼈間を模したagent⾏動をとらせ、その⾏動履歴で
データ拡張
• LLMが推薦エンジンをツールとして使って推薦アイテムをユー
ザーに提⽰

21. まとめ
20
• LLMをtop-k推薦に使う⽅法の典型パターンを紹介
• Generativeな推薦⽅法におけるindexingをいくつか紹介
• LLMを⽤いた推薦性能を、LLMのtuning有無や推薦モデルの併⽤
有無の観点で俯瞰
• 信頼性の課題や運⽤上の課題などをいくつか紹介

22. References
[1] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions
(arXiv 2023 Sep.)
[2] A Survey on Large Language Models for Recommendation (arXiv 2023 May)
[3] How Can Recommender Systems Benefit from Large Language Models: A Survey (arXiv 2023 Jun.)
[4] Recommender systems in the era of large language models (arXiv 2023 Jul.)
[5] Pre-train, prompt and recommendation: A comprehensive survey of language modelling paradigm
adaptations in recommender systems (arXiv 2023 Feb.)
[6] When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities
(arXiv 2023 Jul.)
[7] Prompt Learning for News Recommendation (SIGIR 2023)
[8] Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict
Paradigm (P5) (RecSys 2022)
[9] How to Index Item IDs for Recommendation Foundation Models (SIGIR-AP 2023)
[10] Keynote: Towards Generative Search and Recommendation (RecSys 2023)
21
[1]はtutorialsの発表者らによるサーベイ論⽂
であり、tutorial内容にもっとも近い