Intention Nets: Psychology-Inspired User Choice Behavior Modeling for Next-Basket Prediction

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
DLゼミ
Intention Nets: Psychology-Inspired User Choice
Behavior Modeling for Next-Basket Prediction
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
博士後期課程2年幡本昂平

• Shoujin Wang,1 Liang Hu,2,3,∗ Yan Wang,1,∗ Quan Z. Sheng,1 Mehmet
Orgun,1 Longbing Cao2
– 1Department of Computing, Macquarie University
– 2Advanced Analytics Institute, University of Technology Sydney
– 3University of Shanghai for Science and Technology
• The Thirty-Fourth AAAI Conference on Artificial Intelligence
(AAAI-20)
• S. Wang, L. Hu, Y. Wang, Q. Z. Sheng, M. Orgun, and L. Cao, “Intention Nets: Psychology-
Inspired User Choice Behavior Modeling for Next-Basket Prediction,” AAAI, vol. 34, no. 04, pp.
6259–6266, Apr. 2020, doi: 10.1609/aaai.v34i04.6093.
書誌情報 2

• 心理学の知見を組み込んだ，ユーザ行動の予
測モデルであるIntention Netsを提案
• 意図によって行動の継続期間は異なることに
着目
• ユーザの次回の購買商品を予測するnext-
basket predictionで先行事例よりも優れた精
度を達成
論文概要 3

• 人間の行動は複雑で不確実
– 心理学者は意図を形成し，行動をおこす誘引とな
る要素を理解しようしている
• この論文では複雑なユーザ行動として，
次に買う商品集合(basket)の予測を扱う
背景 4
予測

• 心理学理論[Albarracin and Wyer Jr 2000]
ユーザの行動はある目的を達成するための
異質な意図(intention)の集合で決定される
• 例
– ある購買された商品集合（basket）
• （少なくとも）2つの意図
– 赤ちゃんの授乳
– 痛み止め
心理学におけるユーザ行動の理解 5

• 意図はその継続時間が異なることがある
– 持続的：赤ちゃんへの授乳
• 赤矢印で表される長期間の粉ミルク購入
– 一時的：痛み止め
• 緑矢印で表される絆創膏と痛み止めの購入で終了
意図の異質性 6
basketのシーケンス例

• 心理学[Carrera et al. 2012]
ユーザ行動は階層的な枠組みで記述できると
指摘
• 各意図はそれぞれの継続時間だけ複数の
バスケットに関連する結果をもたらす
意図の階層性 7
買い物かごを満たす
赤ちゃんの授乳痛み止め・・・

• ユーザの行動シーケンスを機械的にモデル化
– 1時間ごとの気温のような均質なデータ点の扱い
– 意図の異質性を無視
– 例
• Markov chain-based (Rendle and et al. 2010)
• RNN (Wan et al. 2015; Yu et al. 2016)
• 機械的なモデル化では以下が困難
– 行動の深い理解（意図の異質性など）
– next-basketの正しい予測
従来のnext-basket prediction method 8

• 心理学の知見を取り込んだIntention Nets(IntNet)
– 意図を抽出するIntention Recognition Nets(IRN)
– 意図ごとの行動推移を捉えるParallel Action Chain
Net(PACN)
• 意図の継続時間による行動の依存関係を捉える専用のユニット
Persistent-Transient Intention Units(PTIU)を設計
提案モデル 9

• ①アイテム𝑣𝑣𝑖𝑖から意図を抽出
– 𝐾𝐾次元embedding𝐯𝐯𝑖𝑖に変換
– IRNで隠れ意図ベクトルを抽出
• 𝐾𝐾 × 𝑚𝑚次元行列𝐖𝐖pでフィルタ
• ソフトマックスで確率に
• gumbel-softmax trick[Jang, Gu, and Poole 2017]で各アイテムを特定の意
図に対応付ける
– 微分可能性を保ちつつ，ワンホットエンコーディングに近い形に変換してく
れる処理
– 商品と対応付けて𝑘𝑘番目の意図に関する行動embeddingを計算
Intention Recognition Nets 10
①

• ACNをm個の意図分，並列に並べた構成
– 各ACNは𝑡𝑡 − 1個PTIUを結合させている
• 1時点前までの意図による継続した行動を捉える
– PTIUは意図の継続期間を捉えられる工夫をおこなった
ユニット
Parallel Action Chain Nets (PACN) 11

• RNNで使われるLSTMやGRUといったセルでは
意図による行動継続期間の異質性を捉えられ
ない
– 各時点での（意図?）状態の更新操作が同じ
• 継続期間にかかわらず同じゲートで処理しているという
解釈
• PTIUのアイデア
– ordered neurons LSTM[Shen et al. 2019](ICLR 2019 best
paper)と同じように状態更新処理の役割を明示的
にする
– 持続的意図と一時的意図を別で扱うような構成
Persistent-Transient Intention Units (PTIU) 12

• GRUに改変を加えた構成
PTIUの構成 13
GRU
出典：http://colah.github.io/posts/2015-08-Understanding-LSTMs/

• 現在の意図状態�
h𝑗𝑗を計算（GRUと同じ）
意図状態の計算 14
リセットゲートのベクトル
更新ゲートのベクトル

• 持続意図ゲートと一時意図ゲートを計算
意図ゲート 15
cumulative
softmax
[Shen et al. 2019]

• 状態ベクトル𝐡𝐡𝑗𝑗−1の持続的・一時的のカット
オフ点を予測する
• ソフトマックス関数の出力を累積和した値
• 持続的意図の情報と一時的意図の情報は𝐡𝐡𝑗𝑗−1
の特定の部分にエンコードされていると仮定
Cumulative softmax [Shen et al. 2019] 16

• resilientゲートの計算：持続性と一時性の適応的なト
レードオフ
• 最終出力
次状態の出力 17
持続的意図
一時的意図
持続性と一時性のトレードオフを考慮

• 出力された意図状態を結合
• 候補アイテム𝐯𝐯𝑡𝑡について，意図embeddingを抽出
• 意図とアイテムの関連度スコアを内積で計算
• ロジスティック関数で確率化
• 確率でtop-nのアイテムを出力
Next-basketの予測方法 18
商品の意図ベクトル
（おおよそonehot）

• 2つの実オンライントランザクションデータ
– Tmall
• IJCAI-15のコンペでリリース
• 6ヶ月間のTmallでの購買データ
• 中国のAmazon
– Tafeng
• Kaggleでリリース
• 4ヶ月間の中国のスーパーでの購買データ
• いずれもnext-basket予測のパフォーマンス測
定によく使われる
実験で利用するデータ 19
https://www.tmall.com/
https://www.kaggle.com/chiranjivdas09/ta-feng-grocery-dataset
https://tianchi.aliyun.com/dataset/dataDetail?dataId=42

• バスケットのシーケンス長𝑡𝑡はデータセットごとに固定
– sliding windowで取り出し
– 元データより𝑡𝑡が長い場合はパディング&マスキング
• 論文ではデータのうち30%をTestにした場合を報告
– 20%, 40%でも実験自体は実施
• 提案モデルのembeddingの次元数は100（経験的に決定）
• 意図数𝑚𝑚は3（バリデーションセットで決定）
データの取り扱い・パラメータ 20

• 予測スコアをベースラインモデルと比較
– F1スコア, Hit Rate,
nDCGで比較
– 3%~19.89%の精度向上
– Recallも改善
IntNet vs. Baselines 21

• ACNを一つだけにしたIntNet-Sと比較
– 最低15%改善
• ユーザの選択が異なる意図に基づくことを示している
ACN並列化の効果 22

• IntNetのACNのユニットをGRUにしたIntNet-GRUと比較
• 最低10%向上
– PTIUがGRUよりも異なる長さの意図を扱えることを示す
PTIU vs. GRU 23
GRU GRU GRU
GRU GRU GRU
GRU GRU GRU

• 同じbasket内ではアイテムごとに意図が異なる
• ほとんどのアイテムは1つの意図に集中
• PACNの並列化が有効であることの根拠
アイテムを意図に変換するIRNの出力可視化 24

• 8バスケット間の意図ゲートの推移
– ACN1では持続意図ゲートが大きな値，ACN3では逆
– ACN1は一時的な行動を，ACN3は持続的な行動をモデル化
している
• PTIUが異質性を捉えられている証拠
意図ゲートの可視化 25

• Intention Recognition Nets(IRN)とParallel
Action Chain Net(PACN)からなるIntention
Netsを提案
• ordered-neuron LSTMに近い工夫をしたユ
ニットPTIUも設計
– 持続的意図と一時的的意図を捉えることに成功
• ACNの並列も複数意図を捉えるのに貢献
まとめ 26

Intention Nets: Psychology-Inspired User Choice Behavior Modeling for Next-Basket Prediction

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Intention Nets: Psychology-Inspired User Choice Behavior Modeling for Next-Basket Prediction

Similar to Intention Nets: Psychology-Inspired User Choice Behavior Modeling for Next-Basket Prediction (20)

More from harmonylab

More from harmonylab (20)

Recently uploaded

Recently uploaded (20)

Intention Nets: Psychology-Inspired User Choice Behavior Modeling for Next-Basket Prediction