レコメンドアルゴリズムの基本と周辺知識と実装方法

1. takemikamiʼs note ‒ http://takemikami.com/ レコメンドアルゴリズムの基礎及び、応⽤のための周辺知識と実装⽅法 TECH & BRIDGE MEETING 〜エンジニア講演会〜第2回⼈⼯知能・機械学習・ディープラーニング〜初級者向け〜 Copyright (C) Takeshi Mikami. All rights reserved. 1 三上威(フリーランスITエンジニア) twitter: @takemikami 2017.6.10 TKPガーデンシティ渋⾕ホールB 機械学習レコメンド

2. takemikamiʼs note ‒ http://takemikami.com/ はじめに • 対象：機械学習未経験のエンジニア • テーマ：レコメンドアルゴリズムとその応⽤ • 内容 • Pythonを使った機械学習の紹介 • レコメンドアルゴリズムの基礎 • レコメンドの周辺知識と実装⽅法 Copyright (C) Takeshi Mikami. All rights reserved. 2 本⽇の勉強会でお話しする内容について説明します

3. takemikamiʼs note ‒ http://takemikami.com/ ⾃⼰紹介 • 三上威 (@takemikami) • フリーランスITエンジニア • データ分析及び機械学習等の応⽤システム開発 • マーケティングデータ分析基盤のシステム開発 • 略歴 • 情報通信ネットワーク・確率論 @ 甲南⼤学理学部応⽤数学科 • Web系システムの開発・構築 @ NEC系SIer • 旅⾏系ECサイトのマーケティングデータ分析 @ DeNA • データ分析及び機械学習等の応⽤システム開発 @ フリーランス • 最近扱っている技術領域 • Python, TensorFlow/Keras, Hadoop&Spark, hivemall, AWS Copyright (C) Takeshi Mikami. All rights reserved. 3 発表者のプロフィールを紹介します

4. takemikamiʼs note ‒ http://takemikami.com/ 機械学習を応⽤するためのスキル Copyright (C) Takeshi Mikami. All rights reserved. 4 ※丸⼭宏・⼭⽥敦・神⾕直樹共著「データサイエンティスト・ハンドブック」（近代科学社）を参考に作成ビジネス⼒ (business problem solving) データエンジニアリング⼒ (data engineering) データサイエンス⼒ (data science) ビジネス課題を理解・解決するスキル統計・機械学習等の情報科学を理解・活⽤するスキルデータの加⼯・運⽤環境を実装するスキル機械学習を応⽤するために必要なスキルを紹介しますデータサイエンティストに求められるスキルとしてよく⽰されるものです

5. takemikamiʼs note ‒ http://takemikami.com/ ビジネス⼒とは • ビジネス課題を整理する「このデータ分析によって解きたいビジネス課題は何か」を考える →課題を明確にしておかないと成果に結びつかない • ビジネス課題を説明するレポーティングやプレゼンスキル →意思決定者が理解出来ないと実⾏できない Copyright (C) Takeshi Mikami. All rights reserved. 5 機械学習を応⽤するためのビジネス⼒について説明します

6. takemikamiʼs note ‒ http://takemikami.com/ データサイエンス⼒とは • アルゴリズムを理解する統計学や機械学習のアルゴリズムの理解 →理解していないとチューニングが⾏えない • データ・アルゴリズムの特性を理解するデータの特性、それらを計算するための計算資源の⾒ →実⽤的にデータを活⽤するための設計に必要 Copyright (C) Takeshi Mikami. All rights reserved. 6 機械学習を応⽤するためのデータサイエンス⼒について説明します

7. takemikamiʼs note ‒ http://takemikami.com/ データエンジニアリング⼒とは • アルゴリズムの実装スキルライブラリの活⽤スキル、アルゴリズムの実装スキル →システム化するために必要 • システムインフラの運⽤スキルビッグデータ、並列分散処理などの理解と運⽤スキル →⼤量のデータを扱う場合に必要 Copyright (C) Takeshi Mikami. All rights reserved. 7 機械学習を応⽤するためのデータエンジニアリング⼒について説明します

8. takemikamiʼs note ‒ http://takemikami.com/ 本⽇扱う分野 (機械学習を応⽤するためのスキル) Copyright (C) Takeshi Mikami. All rights reserved. 8 ビジネス⼒ (business problem solving) データエンジニアリング⼒ (data engineering) データサイエンス⼒ (data science) データサイエンス・エンジニアリングを中⼼にお話しします機械学習を応⽤するためのスキルの中で、本⽇お話する分野を⽰します

10. takemikamiʼs note ‒ http://takemikami.com/ データ分析のアプローチ • データ分析のアプーチは以下の３つに分類できる Copyright (C) Takeshi Mikami. All rights reserved. 10 scikit-learnによる機械学習アプローチ説明例⼿法説明的データ分析 (descriptive) 事実を説明する・⾒つける・どんな⼈が何を買っているか？・ある広告がどれだけ売上に貢献しているか？ BI、クラスタリング、アソシエーション分析予測的データ分析 (predictive) (未来や⽋測値を)予測する・ある商品群を閲覧した⼈の性別は？・広告を出稿したら、どれだけ売上が上がるか？分類・回帰、統計的機械学習指⽰的データ分析 (prescriptive) 最適解を探す・利益を最⼤化するための、最適な仕⼊れ量は？・売上を最⼤化するには、どこに広告を出稿すべきか？最適化、実験計画 → 実施したい「分析のアプローチ」が何かを認識し、適切な「⼿法」を適⽤する３つのデータ分析のアプローチを紹介します

11. takemikamiʼs note ‒ http://takemikami.com/ 代表的な機械学習の⼿法 Copyright (C) Takeshi Mikami. All rights reserved. 11 scikit-learnによる機械学習教師種類⼿法活⽤⽅法教師あり (supervised learning) 分類 (classification) ロジスティック回帰決定⽊ SVM ニューラルネットワーク離脱顧客判定スパムメールの判定回帰 (regression) 線形回帰分析ベイズ線形回帰分析販売予測教師なし (unsupervised learning) クラスタリング (clustering) k-means法混合正規分布モデル顧客のセグメント分け次元削減 (dimentionality reduction) 主成分分析特異値分解商品の類似性を可視化 ※教師あり/なし以外にも強化学習(reinforcement learning)という⼿法もあります代表的な機械学習の⼿法を紹介します

12. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering)と分類(classification) Copyright (C) Takeshi Mikami. All rights reserved. 12 scikit-learnによる機械学習分類(classification) クラスタリング(clustering) 教師教師あり教師なし説明与えられたデータを適切なクラスに振り分ける与えられたデータを複数のグループ分けるイメージ既存データを元に作ったルールで新規データを振り分けるデータの特徴を元に意味あるグループが無いか⾒つける A ルール B C クラスタリングと分類（教師あり学習と教師なし学習）の違いを⽰します

13. takemikamiʼs note ‒ http://takemikami.com/ scikit-learnの紹介をします scikit-learnとは • Pythonの代表的な機械学習ライブラリ • 分類・回帰、クラスタリング・次元削減などのアルゴリズムを多数備える • NumPy, SciPyというPythonの数値計算ライブラリと連携動作する Copyright (C) Takeshi Mikami. All rights reserved. 13 scikit-learnによる機械学習 scikit-learnで試しながらそれぞれの⼿法を紹介していきます Pythonのオープンソースの機械学習ライブラリ

14. takemikamiʼs note ‒ http://takemikami.com/ scikit-learnで利⽤できるアルゴリズムを紹介します scikit-learnで利⽤できるアルゴリズム Copyright (C) Takeshi Mikami. All rights reserved. 14 scikit-learnによる機械学習分類クラスタリング回帰次元削減引⽤元: http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html アルゴリズム選択のチャート図

15. takemikamiʼs note ‒ http://takemikami.com/ 可視化・レポーティング環境〜jupyter notebook, matplotlib Copyright (C) Takeshi Mikami. All rights reserved. 15 scikit-learnによる機械学習可視化・レポーティング⽤ツールとしてjupyter notebook, matplotlibを紹介します Pythonのコード（分析のプロセス） Pythonの処理結果（分析の結果） jupyter notebook → 分析のプロセスと結果の記録 matplotlibによる可視化 matplotlib → 分析の結果の可視化 Pythonのコード（分析のプロセス） Pythonの処理結果（分析の結果）

16. takemikamiʼs note ‒ http://takemikami.com/ 教師あり学習の基本 Copyright (C) Takeshi Mikami. All rights reserved. 16 scikit-learnによる機械学習教師あり学習の基本的な考え⽅を説明しますやりたいこと：「xの値」が与えられた時に「yの値」を予測したい → 𝑦 = 𝑓 𝑥 という関数を求めたい 𝑦 = 𝑓(𝑥) ⽬的変数説明変数予測モデル⽬的変数が離散値→分類⽬的変数が連続値→回帰

17. takemikamiʼs note ‒ http://takemikami.com/ 教師あり学習の基本 Copyright (C) Takeshi Mikami. All rights reserved. 17 scikit-learnによる機械学習教師あり学習の基本的な考え⽅を説明します x y データ１ 1 2 データ２ 2 4 データ３ 3 6 データ４ 4 8 データ５ 5 ? y = 2x ①教師データを取得教師あり学習の⼿続き： ②教師データから y=f(x) を導く１０ ③未知の値を予測する予測(prediction) 学習 (fitting, training)

18. takemikamiʼs note ‒ http://takemikami.com/ 回帰(regression) 線形回帰による回帰の例 • 最⼩⼆乗法とは「残差の⼆乗和が最⼩になる係数を決定する⼿法」 Copyright (C) Takeshi Mikami. All rights reserved. 18 scikit-learnによる機械学習線形回帰分析を例に分類のアルゴリズムを紹介します線形回帰の例標本回帰直線からの残差の⼆乗和これを最⼩にする、a,bを求める

19. takemikamiʼs note ‒ http://takemikami.com/ 回帰(regression) 線形回帰による回帰の例 • 残差平⽅和を最⼩にする𝑎, 𝑏を求める ∑ 𝑒, - =. ,/0 ∑ {𝑦, − (𝑎 + 𝑏𝑥,)}-. ,/0 • 残差平⽅和を𝑎, 𝑏で偏微分すると 𝑛𝑎 + 𝑏 ∑ 𝑥, = ∑ 𝑦, , 𝑎 ∑ 𝑥, + 𝑏 ∑ 𝑦, - = ∑ 𝑥, 𝑦, • この連⽴⼀次⽅程式を解くと 𝑏 = . ∑ 89:9;(∑ 89)(∑ :9) . ∑ 89 <;(∑ 89)< , 𝑎 = 0 . ∑ 𝑦, − 𝑏 0 . ∑ 𝑥, Copyright (C) Takeshi Mikami. All rights reserved. 19 scikit-learnによる機械学習線形回帰分析を例に分類のアルゴリズムを紹介します

21. takemikamiʼs note ‒ http://takemikami.com/ 回帰(regression) 線形回帰による回帰の例 Copyright (C) Takeshi Mikami. All rights reserved. 21 scikit-learnによる機械学習 scikit-learnでの線形回帰分析を紹介しますデータを描画してみます x: 説明変数 y: ⽬的変数

24. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 Copyright (C) Takeshi Mikami. All rights reserved. 24 scikit-learnによる機械学習決定⽊を例に分類のアルゴリズムを紹介します No ⾵気温海⽔浴 1 弱⾼⾏く 2 弱低⾏かない 3 弱⾼⾏く 4 弱中⾏く 5 弱低⾏かない 6 弱⾼⾏かない 7 強⾼⾏かない 8 強低⾏かない 9 強中⾏かない 10 強⾼⾏く気温：⾼気温：中気温：低⾵：弱⾏く⾏く⾏かない⾵：強⾏かない⾏かない⾏かない⽬的変数：海⽔浴⾏く・⾏かない説明変数：⾵・気温これを樹⽊モデルに当てはめて考えてみる元データ⾏動パターン判断結果やりたいこと：⾵・気温から海⽔浴に⾏くかを判断する

25. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 • ジニ係数(Gini Index)を⽤いて分岐点を計算 • 分布の不純度の尺度値が⼤きいほど、不純度が⾼い（データがばらついている）と判断 • 値が⼤きい点から枝を分岐していく Copyright (C) Takeshi Mikami. All rights reserved. 25 scikit-learnによる機械学習決定⽊を例に分類のアルゴリズムを紹介します t:ノード数 i：クラス p:⽐率

26. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 • 分岐前の状態のジニ係数を算出 Copyright (C) Takeshi Mikami. All rights reserved. 26 scikit-learnによる機械学習決定⽊を例に分類のアルゴリズムを紹介します No ⾵気温海⽔浴 1 弱⾼⾏く 2 弱低⾏かない 3 弱⾼⾏く 4 弱中⾏く 5 弱低⾏かない 6 弱⾼⾏かない 7 強⾼⾏かない 8 強低⾏かない 9 強中⾏かない 10 強⾼⾏く GI(分岐前） = 1-[(4/10)2 + (6/10)2] = 0.48

27. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 • ⾵の強弱を分岐点とするジニ係数を算出 Copyright (C) Takeshi Mikami. All rights reserved. 27 scikit-learnによる機械学習決定⽊を例に分類のアルゴリズムを紹介します No ⾵気温海⽔浴 1 弱⾼⾏く 2 弱低⾏かない 3 弱⾼⾏く 4 弱中⾏く 5 弱低⾏かない 6 弱⾼⾏かない 7 強⾼⾏かない 8 強低⾏かない 9 強中⾏かない 10 強⾼⾏く GI(⾵=弱） = 1-[(3/6)2 + (3/6)2] = 0.5 GI(⾵=強） = 1-[(1/4)2 + (3/4)2] = 0.375 GI(⾵=強・弱） = GI分岐前 ‒ 6/10GI(⾵=弱) - 4/10(⾵=強) = 0.032

28. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 • 気温の⾼中低を分岐点とするジニ係数算出 Copyright (C) Takeshi Mikami. All rights reserved. 28 scikit-learnによる機械学習決定⽊を例に分類のアルゴリズムを紹介します No ⾵気温海⽔浴 1 弱⾼⾏く 2 弱低⾏かない 3 弱⾼⾏く 4 弱中⾏く 5 弱低⾏かない 6 弱⾼⾏かない 7 強⾼⾏かない 8 強低⾏かない 9 強中⾏かない 10 強⾼⾏く GI(気温＝⾼） = 1-[(2/5)2 + (3/5)2] = 0.48 GI(気温＝中低） = 1-[(4/5)2 + (1/5)2] = 0.32 GI(気温=⾼・中低) = GI(分岐前) - 5/10GI(気温=⾼)-5/10GI(気温=中低) = 0.08 同様に、 GI(気温=中・⾼低)=0.05 GI(気温=低・⾼中)=0.137

29. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 • （最も⼤きい）ジニ係数から分岐点を決める Copyright (C) Takeshi Mikami. All rights reserved. 29 scikit-learnによる機械学習決定⽊を例に分類のアルゴリズムを紹介します GI(⾵=強・弱） = 0.032 GI(気温=⾼・中低) = 0.08 GI(気温=中・⾼低) = 0.05 GI(気温=低・⾼中) = 0.137 気温：⾼気温：中気温：低⾵：弱⾏く⾏く⾏かない⾵：強⾏かない⾏かない⾏かない ① ② ① ② 第１ノードは気温の⾼中・低で分岐。同様にして第2ノード以降も求めていく

30. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 Copyright (C) Takeshi Mikami. All rights reserved. 30 scikit-learnによる機械学習使⽤するデータセット(iris)の説明をします • 使⽤するirisのデータは分類の例でよく使われるデータセット setosa vergicolor virginica ⽬的変数：アヤメの品種(setosa, vergicolor, virginca) 説明変数：花びら・がく⽚の⼤きさ petal sepal ※画像はwikipedia.org, ja.wikipedia.orgから

31. takemikamiʼs note ‒ http://takemikami.com/ 分類(classification) 決定⽊の例 Copyright (C) Takeshi Mikami. All rights reserved. 31 scikit-learnによる機械学習使⽤するデータセット(iris)の説明をします (⽬的変数) アヤメの品種 (説明変数) 花びら・がく⽚の⼤きさアヤメの品種種別データ50件づつ

34. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 34 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介しますやりたいこと：データセットを指定した数のクラスタに分ける • クラスタ数(k)を決める • クラスタの中⼼点を対象データからランダムにk個決める • 繰り返し • 各データを最も近くにある中⼼点のクラスタに割り当てる • クラスタ内のデータの平均値を新たなクラスタの中⼼点にする • クラスタの中⼼点が変化しなくなったら終了 →次のスライドから、 k-means法で最適なクラスタを探索する流れをイメージで⽰します。

35. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 35 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介しますクラスタリングを⾏いたいデータセットを⽤意する

36. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 36 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介します ✓ ✓ クラスタの中⼼点を対象データからランダムにk個決める(この図では２個)

37. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 37 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介します各データを最も近くにある中⼼点のクラスタに割り当てる ✓ ✓

38. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 38 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介しますクラスタ内のデータの平均値を新たなクラスタの中⼼点にする ✓ ✓ ✓ ✓

39. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 39 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介します各データを最も近くにある中⼼点のクラスタに割り当てる ✓ ✓ ✓ ✓

40. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 40 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介しますクラスタ内のデータの平均値を新たなクラスタの中⼼点にする ✓ ✓ ✓ ✓ ✓ ✓

41. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 41 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介します各データを最も近くにある中⼼点のクラスタに割り当てる ✓ ✓ ✓ ✓ ✓ ✓

42. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 42 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介しますクラスタ内のデータの平均値を新たなクラスタの中⼼点にする ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

43. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 43 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介します各データを最も近くにある中⼼点のクラスタに割り当てる ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

44. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 44 scikit-learnによる機械学習 k-meansを例にクラスタリングのアルゴリズムを紹介します ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ クラスタ内のデータの平均値を新たなクラスタの中⼼点にする →クラスタの中⼼点が変化しなくなった ⇒ 終了

45. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 45 scikit-learnによる機械学習 k-means法の計算で利⽤する距離について説明しますユークリッド距離コサイン距離式式 (２変数の時) 説明データ間の直線距離データをベクトルで表現した時の⾓度の近さ ※⼀部の変数の⼤きさの偏りに影響を受けない d(Xa − Xb ) = (xaj − xbj )2 j=1 ρ ∑ s(Xa − Xb ) = xaj xbj j=1 ρ ∑ xaj 2 j=1 ρ ∑ xbj 2 j=1 ρ ∑ d(Xa − Xb ) = xa1 − xb1( ) 2 +(xa2 − xb2 )2 s(Xa − Xb ) = xa1xb1 + xa2 xb2 xa1 2 + xa2 2 xb1 2 + xb2 2

47. takemikamiʼs note ‒ http://takemikami.com/ クラスタリング(clustering) k-meansの例 Copyright (C) Takeshi Mikami. All rights reserved. 47 scikit-learnによる機械学習 scikit-learnでのk-meansを紹介しますクラスタリング結果と元データのターゲットを表⽰します

48. takemikamiʼs note ‒ http://takemikami.com/ 次元削減(dimensionality reduction) PCAの例 • 次元削減とは変数の数(データの次元数)を削減すること Copyright (C) Takeshi Mikami. All rights reserved. 48 scikit-learnによる機械学習次元削減(dimensionality reduction)について説明します x1 x2 … xn y #１ 1 3 … 1 2 #２ 2 5 … 4 4 #３ 3 6 … 5 6 #４ 4 7 … 4 8 #５ 5 8 … 2 10 xʼ1 xʼ2 y #１ 4 4 2 #２ 3 7 4 #３ 6 8 6 #４ 5 7 8 #５ 6 8 10 元の説明変数数が多い⽬的変数⽬的変数次元削減後の説明変数 →データ圧縮・データの類似性の可視化に利⽤できる ※ PCA = Principal Component Analysis (主成分分析)

49. takemikamiʼs note ‒ http://takemikami.com/ 次元削減(dimensionality reduction) PCAの例 Copyright (C) Takeshi Mikami. All rights reserved. 49 scikit-learnによる機械学習 scikit-learnでのPCA(主成分分析)を紹介しますライブラリ・データを読み込み学習させます

51. takemikamiʼs note ‒ http://takemikami.com/ ニューラルネットワークとは • パーセプトロンとは、視覚と脳の機能をモデル化したもの • ⼊⼒信号(x)と重み(w)の乗算の総和に対して、出⼒信号(y)が決まる Copyright (C) Takeshi Mikami. All rights reserved. 51 TensorFlowによる機械学習パーセプトロン・ニューラルネットワークについて説明します 𝑥0 𝑥- 𝑦 𝑤0 𝑤- ⼊⼒層出⼒層重み →パーセプトロンを多層に重ね、中間層を多くしたものがディープニューラルネットワーク⼊⼒層中間層出⼒層

52. takemikamiʼs note ‒ http://takemikami.com/ TensorFlowとは • DistBeliefというGoogleのサービスに使われている社内ツールを OpenSourceにしたもの • ニューラルネットワーク/ディープニューラルネットが実装できる • TensorBoardによってモデル・学習状況等を可視化できる • データフローグラフによって、⾃由度の⾼いネットワークを記載できる • 画像処理の関数も⽤意されている Copyright (C) Takeshi Mikami. All rights reserved. 52 TensorFlowによる機械学習 TensorFlowの紹介をしますオープンソースの機械学習ライブラリ →画像のクラス分類などに利⽤できる (チュートリアルがそれ)

53. takemikamiʼs note ‒ http://takemikami.com/ ニューラルネットワーク CNNの例 Copyright (C) Takeshi Mikami. All rights reserved. 53 TensorFlowによる機械学習 tensorflow/kerasでのCNN(畳み込みニューラルネット)を紹介します • MNISTデータセットは画像処理の機械学習の例でよく使われるデータ • ⼿書きで書かれた数字を畳み込みニューラルネットを使って分類⽬的変数：数字(0〜9) 説明変数：⼿書きの画像データ ↓ ↓ ↓ ↓ ５０４１

54. takemikamiʼs note ‒ http://takemikami.com/ ニューラルネットワーク CNNの例 Copyright (C) Takeshi Mikami. All rights reserved. 54 TensorFlowによる機械学習 tensorflow/kerasでのCNN(畳み込みニューラルネット)を紹介します ※ CNN = Convolutional Neural Network (畳み込みニューラルネット) ライブラリの読み込みとパラメータの設定 ※ここでは⼿短にコードを書くため、 kerasという、tensorflow上で動作する⾼⽔準ニューラルネットライブラリを使⽤しています。

58. takemikamiʼs note ‒ http://takemikami.com/ ニューラルネットワーク CNNの例 Copyright (C) Takeshi Mikami. All rights reserved. 58 TensorFlowによる機械学習 tensorflow/kerasでのCNN(畳み込みニューラルネット)を紹介します TensorBoardでの可視化ネットワークの可視化学習の進⾏と精度の変化

60. takemikamiʼs note ‒ http://takemikami.com/ レコメンドエンジンとは • レコメンドエンジンとは Copyright (C) Takeshi Mikami. All rights reserved. 60 レコメンドとはレコメンドエンジンの説明、パーソナライズについて⽰します「対象ユーザに対し、その嗜好を予測し、アイテムを推薦するシステム」 Amazon Googleニュース閲覧中の本を買った⼈が、買ったことがある本地域に合わせたニュースユーザ属性や⾏動にあわせたニュース

61. takemikamiʼs note ‒ http://takemikami.com/ レコメンドの⼿法：パーソナライズ Copyright (C) Takeshi Mikami. All rights reserved. 61 レコメンドとはレコメンドの⼿法「パーソナライズ」について説明しますパーソナライズ⾮パーソナライズ説明ユーザの特徴にもとづいた推薦 →ユーザ毎に推薦されるアイテムが異なる万⼈に向けたおすすめ →全ユーザに同じアイテムが推薦されるアルゴリズム協調フィルタリング内容ベース型フィルタリング閲覧履歴 etc ベストセラー新着販売店担当者のおすすめ etc レコメンドというとパーソナライズを指すことが多いが、ユーザ属性不明の場合などに対応する為、⾮パーソナライズの⼿法も組み合わせる。

62. takemikamiʼs note ‒ http://takemikami.com/ レコメンドの⼿法：協調型・内容ベース型 Copyright (C) Takeshi Mikami. All rights reserved. 62 レコメンドとはレコメンドの⼿法「協調型」と「内容ベース型」の違いについて説明します協調型 (collaborative filtering) 内容ベース型 (content based filtering) 説明他のユーザの嗜好⾏動を元に、対象ユーザへのアイテムを推薦アイテムの特徴・説明と、ユーザの特徴・⾏動を⽤いて推薦イメージ他のユーザの嗜好から、対象ユーザへアイテムを推薦アイテム・ユーザの特徴を⽤いて推薦課題ある程度の量の他のユーザのデータが必要新規アイテム・ユーザに適切な推薦ができないアイテムの特徴データのメンテナンスが必要 →各⼿法に課題があるため、これらを組み合わせたハイブリッドアプローチをとることも多い。コールドスタート問題・・・ ○ × × × × ○ ○ ○ ？特徴A 特徴B 特徴C 特徴Aʼ

63. takemikamiʼs note ‒ http://takemikami.com/ レコメンドの⼿法：リアルタイム・バッチ処理 Copyright (C) Takeshi Mikami. All rights reserved. 63 レコメンドとはレコメンドの⼿法「リアルタイム」「バッチ処理」について説明しますバッチ処理リアルタイム説明ユーザ・アイテムの特徴・⾏動を元に、事前に推薦アイテムのリストを作成しておくユーザの⾏動を元にして、リアルタイムにアイテムを推薦する適⽤例パーソナライズおすすめアイテムメールマイページでのおすすめアイテム掲出 etc はじめて訪問したユーザへのおすすめアイテム掲出 etc 特徴A 特徴B 特徴C 特徴収集特徴Aʼ 推薦事前に処理インタラクション特徴A 特徴B 特徴C 特徴Aʼ

64. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ユーザベース)のイメージ Copyright (C) Takeshi Mikami. All rights reserved. 64 協調フィルタリングのアルゴリズムユーザベースの協調フィルタリングのイメージを⽰しますやりたいこと：「ユーザ１〜４のアイテムの評価」と「対象ユーザのアイテムA〜Dの評価」 →「対象ユーザのアイテムEの評価」を予測アイテムA アイテムB アイテムC アイテムD アイテムE 対象ユーザ 5 3 4 4 ? ユーザ１ 3 1 2 3 3 ユーザ２ 4 3 4 3 5 ユーザ３ 3 3 1 5 4 ユーザ４ 1 5 5 2 1 予測 1(最も好まない)〜5(最も好む)

65. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ユーザベース)の⼿続き • 対象ユーザ以外のユーザに対して、対象ユーザとの類似度を求める • 類似するユーザを選ぶ • 類似ユーザの対象アイテムの評価から、加重平均を算出 Copyright (C) Takeshi Mikami. All rights reserved. 65 協調フィルタリングのアルゴリズムユーザベースの協調フィルタリングを⾏う⼿続きを⽰します →次のスライドから、ユーザベースの協調フィルタリングで予測を⾏う流れをイメージで⽰します。

66. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ユーザベース)の⼿続き〜イメージ1 Copyright (C) Takeshi Mikami. All rights reserved. 66 協調フィルタリングのアルゴリズムユーザベースの協調フィルタリングのイメージアイテムA アイテムB アイテムC アイテムD アイテムE 類似度対象ユーザ 5 3 4 4 ? 1 ユーザ１ 3 1 2 3 3 0.85 ユーザ２ 4 3 4 3 5 0.70 ユーザ３ 3 3 1 5 4 0.00 ユーザ４ 1 5 5 2 1 -0.79 アイテムA〜Dの評価値を使って、対象ユーザとの類似度を計算 ※ここでは、ピアソンの相関係数(Pearson correlation coefficient)を使って類似度を計算しています。

67. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ユーザベース)の⼿続き〜イメージ2 Copyright (C) Takeshi Mikami. All rights reserved. 67 協調フィルタリングのアルゴリズムユーザベースの協調フィルタリングのイメージアイテムA アイテムB アイテムC アイテムD アイテムE 類似度対象ユーザ 5 3 4 4 ? 1 ユーザ１ 3 1 2 3 3 0.85 ユーザ２ 4 3 4 3 5 0.70 ユーザ３ 3 3 1 5 4 0.00 ユーザ４ 1 5 5 2 1 -0.79 類似度をみて、類似するユーザを選ぶ

68. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ユーザベース)の⼿続き〜イメージ3 Copyright (C) Takeshi Mikami. All rights reserved. 68 協調フィルタリングのアルゴリズムユーザベースの協調フィルタリングのイメージアイテムA アイテムB アイテムC アイテムD アイテムE 類似度対象ユーザ 5 3 4 4 4.87 1 ユーザ１ 3 1 2 3 3 0.85 ユーザ２ 4 3 4 3 5 0.70 ユーザ３ 3 3 1 5 4 0.00 ユーザ４ 1 5 5 2 1 -0.79 類似ユーザの「アイテムEの評価」と「類似度」から加重平均を計算し →対象ユーザのアイテムEの評価を予測

69. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(アイテムベース)のイメージ Copyright (C) Takeshi Mikami. All rights reserved. 69 協調フィルタリングのアルゴリズムアイテムベースの協調フィルタリングのイメージを⽰しますやりたいこと：「旅⾏者１〜５の旅先別の旅⾏回数」と「対象ユーザの旅先別の旅⾏回数」 →「対象ユーザが⾏く可能性が⾼い旅先」を予測台北バンコクホノルルグァム対象ユーザ 0 1 0 0 旅⾏者１ 2 1 0 0 旅⾏者２ 1 0 0 0 旅⾏者３ 0 0 3 2 旅⾏者４ 2 3 1 0 旅⾏者５ 1 0 2 5 ⾏く可能性が⾼い旅先を予測旅⾏回数

70. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(アイテムベース)の⼿続き • 対象ユーザ以外のユーザの評価値から、各アイテム間の類似度を求め、類似度⾏列を算出する • 対象ユーザの評価値と類似度⾏列の積を求める Copyright (C) Takeshi Mikami. All rights reserved. 70 協調フィルタリングのアルゴリズムアイテムベースの協調フィルタリングを⾏う⼿続きを⽰します →次のスライドから、アイテムベースの協調フィルタリングで予測を⾏う流れをイメージで⽰します。

71. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(アイテムベース)の⼿続き〜イメージ1 Copyright (C) Takeshi Mikami. All rights reserved. 71 協調フィルタリングのアルゴリズムアイテムベースの協調フィルタリングのイメージ台北バンコクホノルルグァム対象ユーザ 0 1 0 0 旅⾏者１ 2 1 0 0 旅⾏者２ 1 0 0 0 旅⾏者３ 0 0 3 2 旅⾏者４ 2 3 1 0 旅⾏者５ 1 0 2 5 台北との類似度 1 0.8 0.34 0.29 旅⾏者1〜5の旅⾏回数を使って、台北との類似度を計算 ※ここでは、コサイン類似度(cosine similarity)を使って類似度を計算しています。

72. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(アイテムベース)の⼿続き〜イメージ2 Copyright (C) Takeshi Mikami. All rights reserved. 72 協調フィルタリングのアルゴリズムアイテムベースの協調フィルタリングのイメージ台北バンコクホノルルグァム対象ユーザ 0 1 0 0 旅⾏者１ 2 1 0 0 旅⾏者２ 1 0 0 0 旅⾏者３ 0 0 3 2 旅⾏者４ 2 3 1 0 旅⾏者５ 1 0 2 5 台北 1 0.8 0.34 0.29 バンコク 0.8 1 0.25 0.25 ホノルル 0.34 0.25 1 0.79 グァム 0.29 0.0 0.79 1 類似度⾏列が出来る同様に、バンコク,ホノルル,グァムについても計算

73. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(アイテムベース)の⼿続き〜イメージ3 Copyright (C) Takeshi Mikami. All rights reserved. 73 協調フィルタリングのアルゴリズムアイテムベースの協調フィルタリングのイメージ台北バンコクホノルルグァム台北 1 0.8 0.34 0.29 バンコク 0.8 1 0.25 0.25 ホノルル 0.34 0.25 1 0.79 グァム 0.29 0.0 0.79 1 台北バンコクホノルルグァム対象ユーザ 0 1 0 0 × ＝台北 0.8 バンコク 1 ホノルル 0.25 グァム 0.0 「対象ユーザの旅先訪問回数」「類似度⾏列」の積訪問したことがあるバンコクを除くと、台北を旅先に選ぶ可能性が⾼い

74. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(アイテムベース)のメリット Copyright (C) Takeshi Mikami. All rights reserved. 74 協調フィルタリングのアルゴリズムアイテムベースの協調フィルタリングのイメージ台北バンコクホノルルグァム台北 1 0.8 0.34 0.29 バンコク 0.8 1 0.25 0.25 ホノルル 0.34 0.25 1 0.79 グァム 0.29 0.0 0.79 1 台北バンコクホノルルグァム対象ユーザ 0 1 0 0 × ＝台北 0.8 バンコク 1 ホノルル 0.25 グァム 0.0 アイテム間の「類似度⾏列」は、事前にバッチで作成が可能新たなユーザに対しても、類似度⾏列の再作成なしに、レコメンドが可能

75. takemikamiʼs note ‒ http://takemikami.com/ 類似度の計算 Copyright (C) Takeshi Mikami. All rights reserved. 75 協調フィルタリングのアルゴリズム協調フィルタリングの⼿続きで⽤いた類似度について説明しますピアソンの相関係数コサイン類似度式説明ユーザベース向きの尺度アイテムベース向きの尺度データをベクトルで表現した時の⾓度の近さ ※⼀部の変数の⼤きさの偏りに影響を受けない X: 評価値⾏列 ρ: 要素数 Xa, Xb: 類似度の⽐較対象

76. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ALS)のイメージ Copyright (C) Takeshi Mikami. All rights reserved. 76 協調フィルタリングのアルゴリズム ALS(交互最⼩⼆乗法)による協調フィルタリングのイメージを⽰しますやりたいこと：「評価値⾏列」を使って、ユーザとアイテムをk個の特徴量で表す A B C D E 1 2 3 4 A B C D E 1 2 3 4 評価値⾏列アイテムの特徴量⾏列ユーザの特徴量⾏列ユーザ「評価値⾏列」から、ユーザ・アイテムの特徴量⾏列を求める（k個の因⼦でユーザ・アイテムを説明したい）アイテム ※ ALS = Alternative Least Squares (交互最⼩⼆乗法)

77. takemikamiʼs note ‒ http://takemikami.com/ 最⼩⼆乗法について〜ALS(『交互』最⼩⼆乗法)の前に • 最⼩⼆乗法とは「残差の⼆乗和が最⼩になる係数を決定する⼿法」 Copyright (C) Takeshi Mikami. All rights reserved. 77 協調フィルタリングのアルゴリズム最⼩⼆乗法について説明します線形回帰の例標本回帰直線からの残差の⼆乗和これを最⼩にする、a,bを求める

78. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ALS)の⼿続き • 特徴量の数を決める • アイテムの特徴量⾏列を初期化する • 収束するまで以下を繰り返す • 評価値⾏列・アイテムの特徴量⾏列から、ユーザの特徴量を最⼩⾃乗法で計算 • 評価値⾏列・ユーザの特徴量⾏列から、アイテムの特徴量を最⼩⾃乗法で計算 Copyright (C) Takeshi Mikami. All rights reserved. 78 協調フィルタリングのアルゴリズム ALS (交互最⼩⼆乗法)による協調フィルタリングの⼿続きを⽰します →次のスライドから、 ALS(交互最⼩⼆乗法)による協調フィルタリングの流れをイメージで⽰します。

79. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ALS)の⼿続き〜イメージ1 Copyright (C) Takeshi Mikami. All rights reserved. 79 協調フィルタリングのアルゴリズム ALS(交互最⼩⼆乗法)による協調フィルタリングのイメージ A B C D E 1 2 3 4 A B C D E 1 2 3 4 評価値⾏列列数特徴量の数を決めるアイテムの特徴量⾏列⾏数ユーザの特徴量⾏列

80. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ALS)の⼿続き〜イメージ2 Copyright (C) Takeshi Mikami. All rights reserved. 80 協調フィルタリングのアルゴリズム ALS(交互最⼩⼆乗法)による協調フィルタリングのイメージ A B C D E 1 2 3 4 A B C D E 1 2 3 4 評価値⾏列アイテムの特徴量⾏列ユーザの特徴量⾏列アイテム毎の評価値の平均を算出⼗分に⼩さい値で乱数をふる

81. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ALS)の⼿続き〜イメージ3 Copyright (C) Takeshi Mikami. All rights reserved. 81 協調フィルタリングのアルゴリズム ALS(交互最⼩⼆乗法)による協調フィルタリングのイメージ A B C D E 1 2 3 4 A B C D E 1 2 3 4 評価値⾏列アイテムの特徴量⾏列ユーザの特徴量⾏列 =× 線形回帰の例で「a,b」にあたる線形回帰の例で「x」にあたる線形回帰の例で「y」にあたる以下の誤差が最⼩になるようにユーザの特徴量を計算・「ユーザの特徴量⾏列」と「アイテムの特徴量」の積・「評価値⾏列」

82. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ALS)の⼿続き〜イメージ4 Copyright (C) Takeshi Mikami. All rights reserved. 82 協調フィルタリングのアルゴリズム ALS(交互最⼩⼆乗法)による協調フィルタリングのイメージ A B C D E 1 2 3 4 A B C D E 1 2 3 4 評価値⾏列アイテムの特徴量⾏列ユーザの特徴量⾏列 =× 線形回帰の例で「x」にあたる線形回帰の例で「a,b」にあたる線形回帰の例で「y」にあたる以下の誤差が最⼩になるようにユーザの特徴量を計算・「ユーザの特徴量⾏列」と「アイテムの特徴量」の積・「評価値⾏列」

83. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング(ALS)の⼿続き〜イメージ5 Copyright (C) Takeshi Mikami. All rights reserved. 83 協調フィルタリングのアルゴリズム ALS(交互最⼩⼆乗法)による協調フィルタリングのイメージ A B C D E 1 2 3 4 A B C D E 1 2 3 4 評価値⾏列アイテムの特徴量⾏列ユーザの特徴量⾏列 =× 誤差が収束するまで、これらの特徴量の再計算を繰り返す誤差が収束するまで、これらの特徴量の再計算を繰り返す

85. takemikamiʼs note ‒ http://takemikami.com/ マーケティングデータ分析と機械学習 Copyright (C) Takeshi Mikami. All rights reserved. 85 システム構成と周辺知識マーケティングデータ分析における、機械学習の位置づけを⽰します顧客とのチャネルデータ分析顧客社会・業界リアル広告イベント・・・ Data Warehouse SNS 収集施策実店舗収集 DataMart Web広告ECサイト BIツール機械学習加⼯マーケターデータサイエンティスト施策の検討・意思決定を機械学習で⽀援

86. takemikamiʼs note ‒ http://takemikami.com/ レコメンドシステムの構成例 Copyright (C) Takeshi Mikami. All rights reserved. 86 システム構成と周辺知識レコメンドシステムの構成例を紹介します Webサイト販売系システム backend db datalake recommendDB user interaction DB アイテム情報売上情報⾏動ログ⾏動ログデータ収集サーバログ収集サーバアイテム情報ランキング情報類似度⾏列アイテム情報レコメンドサーバ (online) アイテム類似度計算ログ・売上集計ユーザ情報レコメンドサーバ (batch)

87. takemikamiʼs note ‒ http://takemikami.com/ レコメンドシステムの構成例 Copyright (C) Takeshi Mikami. All rights reserved. 87 システム構成と周辺知識レコメンドシステムの構成例を紹介します Webサイト販売系システム backend db datalake recommendDB user interaction DB アイテム情報売上情報⾏動ログ⾏動ログデータ収集サーバログ収集サーバアイテム情報ランキング情報類似度⾏列アイテム情報レコメンドサーバ (online) アイテム類似度計算ログ・売上集計ユーザ情報レコメンドサーバ (batch) ユーザの⾏動を収集し学習する流れ

88. takemikamiʼs note ‒ http://takemikami.com/ レコメンドシステムの構成例 Copyright (C) Takeshi Mikami. All rights reserved. 88 システム構成と周辺知識レコメンドシステムの構成例を紹介します Webサイト販売系システム backend db datalake recommendDB user interaction DB アイテム情報売上情報⾏動ログ⾏動ログデータ収集サーバログ収集サーバアイテム情報ランキング情報類似度⾏列アイテム情報レコメンドサーバ (online) アイテム類似度計算ログ・売上集計ユーザ情報レコメンドサーバ (batch) リアルタイムにユーザの⾏動を収集する流れユーザの⾏動を応じたレコメンド情報を表出する流れユーザの⾏動は Key-Value Store でユーザ単位に管理アイテムベースでのレコメンド

89. takemikamiʼs note ‒ http://takemikami.com/ レコメンドシステムの構成例 Copyright (C) Takeshi Mikami. All rights reserved. 89 システム構成と周辺知識レコメンドシステムの構成例を紹介します Webサイト販売系システム backend db datalake recommendDB user interaction DB アイテム情報売上情報⾏動ログ⾏動ログデータ収集サーバログ収集サーバアイテム情報ランキング情報類似度⾏列アイテム情報レコメンドサーバ (online) アイテム類似度計算ログ・売上集計ユーザ情報レコメンドサーバ (batch) バッチ処理でのレコメンド情報表出の流れ (メール配信など) ユーザベースでのレコメンド

90. takemikamiʼs note ‒ http://takemikami.com/ Apache Hadoopとは • 「データ保存のための分散ファイルシステム」「データ処理のための並列処理システム」によってビッグデータの分散処理を実現する • ４つのモジュールで構成される • 共通ユーティリティ (Hadoop Common) • 分散ファイルシステム (Hadoop HDFS) • クラスタリソース・ジョブ管理 (Hadoop YARN) • 並列データ処理システム (Hadoop MapReduce) Copyright (C) Takeshi Mikami. All rights reserved. 90 システム構成と周辺知識 Apache Hadoopの紹介をしますビッグデータ分散処理のフレームワークレコメンドでは、たくさんのデータ(ユーザ×アイテム)を扱うためビッグデータ処理を考える必要がある

91. takemikamiʼs note ‒ http://takemikami.com/ Hadoop Clusterの全体像 • Hadoop Clusterは『分散ファイルシステム』『並列処理システム』の組み合わせ構造になる Copyright (C) Takeshi Mikami. All rights reserved. 91 システム構成と周辺知識 Hadoop Clusterの全体像を⽰します Hadoop Cluster Client NameNode ResourceManager DataNode NodeManager DataNode NodeManager DataNode NodeManager Job Job Job Job Job Job Job Job Job Master node Slave node 各Nodeにあるデータを処理 Hadoop Clusterは、各Nodeに分散保存されているデータに対して、そのNode上で処理を実施できるので効率が良い。（処理対象データを取得するための通信が不要）

92. takemikamiʼs note ‒ http://takemikami.com/ Apache Sparkとは • ⾼速に動作する(Apache HadoopのMapreduceよりも) • メモリ上にデータを持つので反復処理に強い • SparkSQL, Streaming, MachineLearning(MLlib), Graph(GraphX) などの応⽤利⽤が出来る • Hadoop, Standalone, Mesosなどの様々な環境で動作する Copyright (C) Takeshi Mikami. All rights reserved. 92 システム構成と周辺知識 Apache Sparkの紹介をします⾼速な並列データ処理システム

93. takemikamiʼs note ‒ http://takemikami.com/ Apache Hadoop上でのSpark Copyright (C) Takeshi Mikami. All rights reserved. 93 システム構成と周辺知識 Apache Hadoop上でのSparkの利⽤イメージを⽰します Hadoop Cluster Client NameNode ResourceManager DataNode NodeManager DataNode NodeManager DataNode NodeManager Job Job Job Job Job Job Job Job Job Master node Slave node 各Nodeにあるデータを処理 Hadoop Clusterは、各Nodeに分散保存されているデータに対して、そのNode上で処理を実施できるので効率が良い。（処理対象データを取得するための通信が不要） • Hadoop Cluster上のJobをSparkによって実⾏することが出来る

94. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリング ALSの例 Copyright (C) Takeshi Mikami. All rights reserved. 94 ライブラリを⽤いた協調フィルタリングの実装使⽤するデータセット(MovieLens)の説明をします • 使⽤するMovieLensデータは、協調フィルタリングの例でよく使われるデータセット以下の対応が⼊っている・ユーザID (userId) ・映画ID (movieId) ・評価 (rating)

97. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリングの応⽤例アイテムベースの組み合わせ • 海外旅⾏航空券の推薦 • ⽬的地と出発空港を組み合わせたアイテムベースの協調フィルタリング • ⼿続き • 事前に、過去のユーザの渡航履歴から以下を算出 • 出発空港利⽤履歴の類似度⾏列 • ⽬的地利⽤履歴の類似度⾏列 • サイトに訪問したユーザの出発空港利⽤履歴と⽬的地利⽤履歴を取得 • 以下を計算 • 出発空港利⽤履歴と出発空港利⽤履歴の類似度⾏列の積 • ⽬的地利⽤履歴と⽬的地利⽤履歴の類似度⾏列の積 • スコアの⾼い⽬的地順に並べ、その⽬的地に対してスコアが最も⾼い出発空港を紐付け、さらに最も価格が安い航空券の情報を推薦 Copyright (C) Takeshi Mikami. All rights reserved. 97 協調フィルタリングの応⽤例協調フィルタリングの応⽤例を⽰します →アイテムではなく「属性」の類似度⾏列を作ることで、類似度⾏列をコンパクトにしてシステム負荷↓ アイテムのコールドスタート問題の回避

98. takemikamiʼs note ‒ http://takemikami.com/ 協調フィルタリングの応⽤例メルマガタイトルの最適化 • メルマガタイトルの最適化 • メルマガ内に掲載されているアイテムの中でもっともユーザにマッチするアイテム名称をメルマガタイトルに差し込む • ⼿続き • 商品担当者がおすすめ商品をピックアップ、ライターがメルマガを書く • 協調フィルタリングで、メルマガ配信先ユーザごとに、メルマガ内のおすすめ商品の推薦スコアを算出 • 推薦スコアがトップの商品名をメルマガタイトルに差し込む Copyright (C) Takeshi Mikami. All rights reserved. 98 協調フィルタリングの応⽤例協調フィルタリングの応⽤例を⽰します →ライターが作成したコンテンツの⾒やすさ・わかりやすさなどを⽣かしたまま、パーソナライズによって、よりユーザの関⼼を引く⽅法の例 ※メルマガは開いてもらうことが重要なので「件名」のパーソナライズは効果が⾒込める

99. takemikamiʼs note ‒ http://takemikami.com/ レコメンドの適⽤で気をつけたいこと • レコメンド導⼊の⽬的・評価指標を決めておく • 単純に売上増などを⽬的にすると、サイトの特性によっては成果が出にくいその場合、売れ筋商品のランキングに反応しなかったユーザが反応したか等を評価するようにする ※売れ筋に反応しないユーザに対する処置を⾏っていなかったサイトは、売れ筋に反応する顧客しか来なくなっている可能性が⾼いので、成果が出るまでに時間がかかる • モデルを破壊するユーザに気をつける • 社内でのテストバイ、業者の⼤量購⼊などに引きずられて相関が崩れることがあるので学習対象から除いておく • 他の⼿法も検討する • 顧客の分類(classification)によるパーソナライズで要件を満たせることも多い Copyright (C) Takeshi Mikami. All rights reserved. 99 協調フィルタリングの応⽤例レコメンドの適⽤で気をつけたいことを紹介します

101. takemikamiʼs note ‒ http://takemikami.com/ 環境構築の⽅法 • scikit-learn/tensorflowの環境構築 • Anacondaをインストールします (pyenvを利⽤している場合) • 決定⽊のサンプルを動かす場合はgraphviz, pydotplusをインストール (homebrewを利⽤している場合) • TensorFlowのサンプルを動かす場合はtensorflow, kerasをインストール Copyright (C) Takeshi Mikami. All rights reserved. 101 付録本資料の内容を実⾏するための環境構築について説明します $ pyenv install anaconda3-4.3.0 $ brew install graphviz $ conda install -c conda-forge pydotplus $ conda install -c conda-forge tensorflow $ conda install -c conda-forge keras

102. takemikamiʼs note ‒ http://takemikami.com/ 環境構築の⽅法 • ApacheSpark/MLlibの環境構築 ※python環境は前提です • ApacheSparkをインストールします (homebrewを利⽤している場合) Copyright (C) Takeshi Mikami. All rights reserved. 102 付録本資料の内容を実⾏するための環境構築について説明します $ brew install apache-spark

103. takemikamiʼs note ‒ http://takemikami.com/ 環境構築の⽅法 • jupyter notebookの起動 • tensorboardの起動 • pysparkの起動 Copyright (C) Takeshi Mikami. All rights reserved. 103 付録本資料の内容を実⾏するための環境構築について説明します $ jupyter notebook $ tensorboard $ pyspark →http://localhost:8888/ でアクセス →http://localhost:6006/ でアクセス

104. takemikamiʼs note ‒ http://takemikami.com/ 参考⽂献リスト • 斎藤康毅「ゼロから作るDeepLearning」オライリージャパン 2016 • 丸⼭宏、神⾕直樹、⼭⽥敦「データサイエンティスト・ハンドブック」近代科学社 2015 • Dietmar Jannach・Markus Zanker・Alexander Felfernig・Gerhard Friedrich・⽥中克⼰・⾓⾕和俊「情報推薦システム⼊⾨〜理論と実践」共⽴出版 2012 • 兼⼦毅「Rで学ぶ多変量解析」⽇科技連出版社 2011 • Sean Owen・Robin Anil・Ted Dunning・Ellen Friedman「Mahout in Action」Manning Pubns Co. 2011 • 宮本定明「クラスター分析⼊⾨ -ファジィクラスタリングの理論と応⽤」森北出版 2010 • ⾦明哲「Rによるデータサイエンスデータ解析の基礎から最新⼿法まで」森北出版 2007 • 朝野煕彦「⼊⾨多変量解析の実際」講談社 1996 • 稲垣宣⽣・⼭根芳知・吉⽥光雄「統計学⼊⾨」裳華房 1992 Copyright (C) Takeshi Mikami. All rights reserved. 104 付録本資料作成にあたって参考にした⽂献リストです

105. takemikamiʼs note ‒ http://takemikami.com/ 参考Webサイトリスト • 奥健太「情報推薦システム⼊⾨：講義スライド」 http://www.slideshare.net/KentaOku/ss-50762836 • @soonraah「Apache Spark による推薦システム案件例」 https://speakerdeck.com/soonraah/apache-spark-niyorutui-jian-sisutemuan-jian-li • Bugra Akyildiz「Alternating Least Squares Method for Collaborative Filtering」 http://bugra.github.io/work/notes/2014-04-19/alternating-least-squares-method-for- collaborative-filtering/ • Apache Mahout「Recommender Architecture」 https://mahout.apache.org/users/algorithms/recommender-overview.html Copyright (C) Takeshi Mikami. All rights reserved. 105 付録本資料作成にあたって参考にしたWebサイトリストです

レコメンドアルゴリズムの基本と周辺知識と実装方法

レコメンドアルゴリズムの基本と周辺知識と実装方法

Recommended

More Related Content

What's hot

What's hot(20)

Viewers also liked

Viewers also liked(8)

Similar to レコメンドアルゴリズムの基本と周辺知識と実装方法

Similar to レコメンドアルゴリズムの基本と周辺知識と実装方法(18)

More from Takeshi Mikami

More from Takeshi Mikami(20)

Recently uploaded

Recently uploaded(8)

レコメンドアルゴリズムの基本と周辺知識と実装方法