第6回 統計・機械学習若手シンポジウムの公演で使用したユーザーサイド情報検索システムについてのスライドです。
https://sites.google.com/view/statsmlsymposium21/
Private Recommender Systems: How Can Users Build Their Own Fair Recommender Systems without Log Data? (SDM 2022) https://arxiv.org/abs/2105.12353
Retrieving Black-box Optimal Images from External Databases (WSDM 2022) https://arxiv.org/abs/2112.14921
第6回 統計・機械学習若手シンポジウムの公演で使用したユーザーサイド情報検索システムについてのスライドです。
https://sites.google.com/view/statsmlsymposium21/
Private Recommender Systems: How Can Users Build Their Own Fair Recommender Systems without Log Data? (SDM 2022) https://arxiv.org/abs/2105.12353
Retrieving Black-box Optimal Images from External Databases (WSDM 2022) https://arxiv.org/abs/2112.14921
文献紹介:Temporal Convolutional Networks for Action Segmentation and DetectionToru Tamaki
Colin Lea, Michael D. Flynn, Rene Vidal, Austin Reiter, Gregory D. Hager, "Temporal Convolutional Networks for Action Segmentation and Detection", CVPR2017
https://openaccess.thecvf.com/content_cvpr_2017/html/Lea_Temporal_Convolutional_Networks_CVPR_2017_paper.html
情報システム障害解析のための知識グラフ構築の試み / Constructing a knowledge graph for information sys...Shinji Takao
人工知能学会 第25回知識流通ネットワーク研究会発表 http://sigksn.html.xdomain.jp/conf25/index.html
システム障害解析に関する専門家知識の抽出、グラフ化、DB化を行った際得られた知見と、知識流通手段としての知識グラフの可能性と課題を考察した結果を報告します。
Knowledge graphs have been getting attention because of its relevance to interpretable AI. Not only that, they also can be useful as a knowledge sharing mean which enable non-experts to utilize experts’ knowledge. We aim to report findings from constructing a knowledge graph through eliciting experts’ knowledge and building a knowledge database. We also suggest the possibilities and issues of knowledge graph as a knowledge sharing mean.
Ryosuke Hattori, Kazushi Okamoto, Atsushi Shibata: Visualizing the Importance of Floor-Plan Image Features in Rent-Prediction Models, Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems (SCIS-ISIS2020), 2020.12
Kanta Nakamura, Kazushi Okamoto: Directed Graph-based Researcher Recommendation by Random Walk with Restart and Cosine Similarity, Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems(SCIS-ISIS2020), 2020.12
Kanta Nakamura, Kazushi Okamoto: Development of a Collaborator Recommender System Based on Directed Graph Model, 20th International Symposium on Advanced Intelligent Systems and International Conference on Biometrics and Kansei Engineering (ISIS2019&ICBAKE2019), 2019.12
Kazushi Okamoto: Text Analysis of Academic Papers Archived in Institutional Repositories, 15th IEEE/ACIS International Conference on Computer and Information Science (ICIS2016), 2016.06.28
Kazushi Okamoto: Families of Triangular Norm Based Kernel Function and Its Application to Kernel k-means, Joint 8th International Conference on Soft Computing and Intelligent Systems and 17th International Symposium on Advanced Intelligent Systems (SCIS-ISIS2016), 2016.08.25
2. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
02
はじめに
• 情報推薦におけるセッションとは [S.Wang+, 2019]
• 1つのイベントまたは一定期間内に
収集または消費されたアイテムのセット
→ バスケットデータ
• 一定期間に起こった行動や
イベントのコレクション
→ セッションデータ
• セッションデータの例
• サブスクリプション方式の
音楽配信サービスにおける再生履歴
• ECサイトにおける商品閲覧履歴
S. Wang, C. Longbing, W. Yan: A Survey on Session-based Recommender Systems,
arXiv, arXiv:1902.04864, 2019.
3. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
Session-Based Recommender Systems (SBRS)
セッションベース推薦システム
• 定義: 既知のセッション情報(ex. 直近の過去セッション)が部分的に
与えられた場合に,セッション内/セッション間に埋め込まれた複雑な関係を
モデル化し,未知のセッション情報を予測する推薦システム [S. Wang+, 2019]
• 性質
• セッション構造を維持して情報の損失を最小限に抑える
• ユーザ情報を必ずしも必要としない
03
S. Wang, C. Longbing, W. Yan: A Survey on
Session-based Recommender Systems,
arXiv, arXiv:1902.04864, 2019.
B C A B ?
A
セッション
アイテム
ユーザ
t
時刻
4. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
分散表現を活用する推薦システム
• 加法構成性をもつ分散表現
• 分散表現: オブジェクト(単語,アイテム etc.)を高次元ベクトルで表現する手法
• 加法構成性をもつ分散表現: 加法構成性(ベクトル演算による意味計算が可能)を
もつことが実験で明らかにされている分散表現 (ex. Word2Vec [T. Mikolov+, 2013] )
• 加法構成性をもつ分散表現を活用する推薦システムの例
• Item2Vec [O. Barkan+, 2016]:
Word2Vecを商品購買履歴に応用して商品の分散表現を構築
• user2vec [M. Grbovic+, 2015]: 文書をユーザに置き換えてユーザの分散表現を学習
文
04
T. Mikolov, et al.: Distributed Representations of Words and Phrases and their Compositonality, Proc. of Advances in Neural Information Processing Systems 26, pp.3111–3119, 2013.
O. Barkan, N. Koenigstein: Item2Vec: Neural Item Embedding for Collaborative Filtering, In 2016 IEEE 26th Int. Workshop on Machine Learning for Signal Processing (MLSP), pp.1–6, 2016.
M. Grbovic et al.: E-commerce in your inbox: Product Recommendations at Scale, Proc. of the 21st ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining, pp.1809–1818, 2015.
単語
文章
バスケット
セッション
アイテム
ユーザ
5. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
ユーザの分散表現の導入に伴う課題
05
M. Grbovic et al.: E-commerce in your inbox: Product Recommendations at Scale,
Proc. of the 21st ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining, pp.1809–1818, 2015.
Q. Le, T. Mikolov: Distributed Representations of Sentences and Documents, Proc. of the 31st Int. Conf. on Machine Learning, pp.1188–1196,2014.
異なるアルゴリズムの予測精度([Q. Le+, 2014] Figure.10より引用)
• user2vec: GrbovicらによるProd2Vecに含まれるシステムの1つ [M. Grbovic+, 2015]
• ユーザとアイテムの分散表現(ユーザ・アイテム分散表現)を同時に学習
• ユーザとアイテムで共通するベクトル空間内で最近傍k個の商品を見つけて推薦
• ユーザ表現の構築にはParagraph2Vec(テキストをユーザに見立てる)を適用
• Paragraph2Vec: テキストの分散表現を構築するモデル [Q. Le+, 2014]
• ユーザ表現の導入の利点・欠点
• 利点: パーソナライズな推薦生成が可能になり,
推薦精度の向上に貢献
• 欠点: ユーザの嗜好は短期的に変化
→ 構築からの時間経過により精度が急低下
→ 精度維持には頻繁なユーザ表現の再構築が必要
• ユーザの急な嗜好変化にすぐに対応できない
• 新規ユーザにすぐに対応できない
7. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
• Wangらの主張 [Wang+, 2015]: 次バスケット推薦をタスクとする推薦システムは推薦生成に
向け,ユーザの一般的な嗜好を考慮するだけでなく,連続的な行動も探求すべき
• 2つの要素(一般的な嗜好と連続的な行動)を考慮するシステムは
優れた性能を獲得しており,WangらはこれをHybrid modelと呼んでいる
• 本研究はWangらの主張を支持し,Hybrid modelのアイデアを次バスケット推薦
だけでなく,同じSBRSのタスクである次アイテム推薦にも適用できると考える
SBRSがモデル化すべき要素
07
P. Wang et al.: Learning Hierarchical Representation Model for Next Basket Recommendation,
Proc. of the 38th Int. ACM SIGIR Conf. on Research and Development in Information Retrieval, 403–412, 2015.
ユーザの連続的な行動
最新セッションにおいて
出現したアイテム
およびその順序
ユーザの一般的な嗜好
ユーザが典型的に
どのようなアイテムを好むか
Hybrid
model
8. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
既存システムとの比較
08
• O. Barkan, N. Koenigstein: Item2Vec: Neural Item Embedding for Collaborative Filtering,
In 2016 IEEE 26th Int. Workshop on Machine Learning for Signal Processing (MLSP), pp.1–6, 2016.
• M. Grbovic et al.: E-commerce in your inbox: Product Recommendations at Scale,
Proc. of the 21st ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining, pp.1809–1818, 2015.
• S. Rendle et al.: Factorizing Personalized Markov Chains for Next-basket Recommendation, Proc. of the 19th Int. Conf. on World Wide Web, pp.811–820, 2010.
• B. Hidasi et al.: Session-based Recommendations with Recurrent Neural Networks, Int. Conf. on Learning Representations, arXiv, arXiv:1511.06939, 2016.
• J. Li, P. Ren, Z. Chen, Z. Ren, T. Lian, J. Ma: Neural Attentive Session-based Recommendation,
Proc. of the 2017 ACM on Conf. on Information and Knowledge Management, pp.1419–1428, 2017.
システム モデルタイプ 連続的な行動 一般的な嗜好 課題など
Item2Vec 分散表現 ✕ ✕ 提案システムの要素技術
user2vec 分散表現 ✕ ⃝ 短期変化するユーザ嗜好への対応
FPMC
マルコフ連鎖
行列因子分解
⃝ ⃝ 計算コスト大
GRU4Rec RNN ⃝ ✕ 説明性が低い,厳密すぎる順序考慮
NARM RNN ⃝ ⃝ Attention機構による改善,課題は同上
提案システム 分散表現 ⃝ ⃝
ユーザ嗜好へのリアルタイムな対応,
緩和された順序考慮,説明性向上
9. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
リアルタイム
ユーザ
表現構築
提案システム
分散表現の構築・更新
09
A B A B ?
アイテム分散表現構築
xv = (0.46,⋯,0.49) ∈ ℝd
Item2Vec
セッション表現構築/更新
ユーザ表現構築/更新
C D
x1
s = xA x2
s = f(x1
s , xB)
x3
s = f(x2
s , xA) x4
s = f(x3
s , xC)
v
x1
u = x4
s x1
s′

= xD x2
s′

= f(x1
s′

, xB)
xu = g(x1
u, x3
s′

)
zu = h(x1
u, x2
s′

)
21. 2021年度 人工知能学会全国大会(第35回)
2021.06.08 /21
おわりに
• 本研究のまとめ
• 分散表現を用いたセッション・ユーザ表現のリアルタイム学習型
セッションベース推薦システムを提案
• アイテム・セッション・ユーザの分散表現がすべて同じベクトル空間上に
存在することを活かした2つの推薦アイテム探索法を提案
• 提案システムは精度・多様性・新規性の3つの観点がバランスよく優れている
傾向が見られるが,データセットによってはItem2vecより劣ることがある
• CF型探索は推薦の説明性の向上が期待でき,いずれの観点でもNN型探索より優れている
• 今後の研究計画
• 多層ニューラルネットワークベースシステム(ex. GRU4Rec [Hidasi+, 2016])との比較
• 近似最近傍探索アルゴリズムの導入(計算コスト削減)
• 他の分散表現モデル(ex. GloVe [Pennington+, 2014])の活用
21
B. Hidasi et al.: Session-based Recommendations with Recurrent Neural Networks,
Int. Conf. on Learning Representations, arXiv, arXiv:1511.06939, 2016.
J. Pennington et al.: Global Vectors for Word Representation,
Proc. of the 2014 Conf. on Empirical Methods in Natural Language Processing, 1532–1543, 2014.