Koichi Hamada, profile picture
Uploaded byKoichi Hamada
23,758 views

ベイジアンネットとレコメンデーション －第５回データマイニング+WEB勉強会＠東京

「第５回 データマイニング+WEB 勉強会＠東京－WEB解析・最適化祭り－」の講師資料です(10/06/20) hamadakoichi 濱田晃一

Technology◦
Related topics:
Data Mining Insights•

Embed presentation

1 / 126
2 / 126
3 / 126
4 / 126
5 / 126
6 / 126
7 / 126
8 / 126
9 / 126
10 / 126
11 / 126
12 / 126
13 / 126
14 / 126
15 / 126
16 / 126
17 / 126
18 / 126
19 / 126
20 / 126
21 / 126
22 / 126
23 / 126
24 / 126
25 / 126
26 / 126
27 / 126
28 / 126
29 / 126
30 / 126
31 / 126
32 / 126
33 / 126
34 / 126
35 / 126
36 / 126
37 / 126
38 / 126
39 / 126
40 / 126
41 / 126
42 / 126
43 / 126
44 / 126
45 / 126
46 / 126
47 / 126
48 / 126
49 / 126
50 / 126
51 / 126
52 / 126
53 / 126
54 / 126
55 / 126
56 / 126
57 / 126
58 / 126
59 / 126
60 / 126
61 / 126
62 / 126
63 / 126
64 / 126
65 / 126
66 / 126
67 / 126
68 / 126
69 / 126
70 / 126
71 / 126
72 / 126
73 / 126
74 / 126
75 / 126
76 / 126
77 / 126
78 / 126
79 / 126
80 / 126
81 / 126
82 / 126
83 / 126
84 / 126
85 / 126
86 / 126
87 / 126
88 / 126
89 / 126
90 / 126
91 / 126
92 / 126
93 / 126
94 / 126
95 / 126
96 / 126
97 / 126
98 / 126
99 / 126
100 / 126
101 / 126
102 / 126
103 / 126
104 / 126
105 / 126
106 / 126
107 / 126
108 / 126
109 / 126
110 / 126
111 / 126
112 / 126
113 / 126
114 / 126
115 / 126
116 / 126
117 / 126
118 / 126
119 / 126
120 / 126
121 / 126
122 / 126
123 / 126
124 / 126
125 / 126
126 / 126
第５回データマイニング+WEB勉強会＠東京 2010/06/20 ベイジアンネット と レコメンデーション Bayesian network and Recommendation hamadakoichi 濱田 晃一
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
hamadakoichi 濱田晃一 http://iddy.jp/profile/hamadakoichi 4
自己紹介：hamadakoichi 濱田晃一 5
自己紹介：hamadakoichi 濱田晃一 データマイニング+WEB勉強会＠東京 主催者です 6
自己紹介：hamadakoichi 濱田晃一 理論物理 博士(2004.3取得) 量子統計場の理論 Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 7
自己紹介：hamadakoichi 濱田晃一 文部大臣に褒められた 元 文部大臣・法務大臣 六法全書著者・元法学政治学研究科長 森山眞弓さん 菅野和夫さん 8
自己紹介：hamadakoichi 濱田晃一 Los Angelesでプロダンサーに褒められた ・HIP HOP/House ダンス歴１３年 ・ダンス開始後 1年半でL.A.でプロダンサーに褒められる Youtube Channel： http://www.youtube.com/hamadakoichi 9
自己紹介：hamadakoichi 濱田晃一 毎週末３時間ダンスコーチをしています ■過去、東京と京都でも ダンス部を創設。 コーチをしていました 駒場物理ダンス部 京都大学基礎物理学研究所ダンス部 部長兼コーチ 部長兼コーチ 現在： 毎週末 ３時間ダンスコーチ Youtube Channel： http://www.youtube.com/hamadakoichi 10
数理解析手法の実ビジネスへの適用 2004年 博士号取得後 数理解析手法を実ビジネス適用の方法論構築 主な領域 ◆活動の数理モデル化・解析手法 ◆活動の分析手法・再構築手法 ◆活動の実行制御・実績解析システム … 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 11
数理解析手法の実ビジネスへの適用：活動例 活動例 活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字：割付モデル属性 [ ] : Optional Node ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process Edge Process [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスが プロセスを表す 開始できること表す ・attributes（属性） preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表す Assign Region Assigns from Edge 同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の 範囲を表す assigns assigns 中から割付けることを示す 企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間 Resource has Assign RegionにResourceを 割付対象要素を表す has has has has has has 割付けることを表す ・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん 田中さん 鈴木さん ・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 12
数理解析手法の実ビジネスへの適用：活動例 一品一様の業務プロセスの 動的なプロセス制御数理体系を構築 全体生産リードタイム中央値を 1/2.7に短縮 設計開始～頭だし出荷リードタイム 設 計 開 始 ～ 頭 だ し出 荷 CT対 週 集 計 開 始 日 時 の 箱 ひ げ 図 体系適用 500 適用後 設計開始～頭だし出荷CT 400 360.4h(15.0日) 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 00 00 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: / 20 / 27 / 04 / 11 / 18 / 25 / 01 / 08 / 15 / 22 / 29 / 06 / 13 / 20 / 09 / 09 / 10 / 10 / 10 / 10 / 11 / 11 / 11 / 11 / 11 / 12 / 12 / 12 04 04 04 04 04 04 04 04 04 04 04 04 04 04 20 20 20 20 20 20 20 20 20 20 20 20 20 20 週 集 計 開 始 日 時 13
数理解析手法の実ビジネスへの適用：活動例 ビジネスとともに 学術分野でも貢献 変動性から生じる動的な課題 ・リソースの競合 ・滞留 ・納期遅延 … 一品一様な業務プロセスを含む 統計解析・制御数理モデル ・統計的な有効変数算出 ・統計数理モデル化 －優先順位制御 －実行タイミング制御 －統計フィードバック －適正リソース量算出 ・予測数理体系 論文（体系の一部） M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, “Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation to an Unmanned Machine Shop”, CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 14
参加者 自己紹介Ｔｉｍｅ （1分以内ずつ：計３０分程度） 15
@karubi さん 「Mahoutの協調フィルタ」 @yanashiさん「グラフ理論とレコメンデーション」 の導入となる形で話します 16
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に 17
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
レコメンデーション 各人の活動や関心にもとづき 適した情報を提示・推薦する 例：Amazon.co.jp 検索・閲覧 20
レコメンデーション 各人の活動や関心にもとづき 適した情報を提示・推薦する 例：Amazon.co.jp 検索・閲覧 提示・推薦 21
レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 22
レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ ＝ ユーザーアクション 23
レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ ＝ ユーザーアクション 視聴 購入 閲覧 保存 メール送信 ブックマーク お気に入りへの追加 共有 作成 24
レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ ＝ ユーザーアクション 視聴 購入 閲覧 保存 メール送信 ブックマーク お気に入りへの追加 共有 作成 例 ◆この動画を「視聴」したユーザーはこちらの動画も「視聴」しています ◆この記事に関連した新しいアイテムはこちらです ◆あなたに似たユーザーはこちらです ◆こちらの商品にも関心がありませんか？ 25
レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 レコメンデーション レコメンドされた システム アイテム・ユーザー 26
レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテムの情報 アイテムのコンテンツ ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … 27
レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテムの情報 アイテムのコンテンツ ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 28
レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 29
レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 30
レコメンデーションの戦略 レコメンデーションを 売り込みと様子伺いの間で行う ◆売り込み ユーザーの趣向にぴったり合った アイテムを推薦 ◆様子伺い ユーザーの新たな趣向を見つけるため ユーザーの趣向に合わないアイテムを提示 →例：いくつかのアイテムをランダムに選ぶなど 31
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 アイテム アイテム アイテム アイテム A B C D ユーザー 1 33
アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 アイテム アイテム アイテム アイテム A B C D 好む ユーザー 1 34
アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 類似・高確率 アイテム アイテム アイテム アイテム A B C D 好む ユーザー 1 35
アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 類似・高確率 アイテム アイテム アイテム アイテム A B C D 好む レコメンド ユーザー 1 36
ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D ユーザー ユーザー ユーザー 1 2 3 37
ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D ユーザー ユーザー ユーザー 1 2 3 類似 38
ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D 好む ユーザー ユーザー ユーザー 1 2 3 類似 39
ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D レコメンド 好む ユーザー ユーザー ユーザー 1 2 3 類似 40
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
類似度算出法の種類 類似度算出法の種類 コンテンツベース と 協調フィルタリング 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース 協調フィルタリング アイテム アイテムの類似 アイテムの ユーザー行動 ベース アイテム タームベクトル （購入、閲覧、保存、評価、 ブックマークなど） ユーザー ユーザーの類似 ユーザープロファイルの ベース ユーザーが好む タームベクトル アイテム （年齢、ユーザー、居住地、 資産） 43
協調フィルタリング 協調フィルタリング ユーザー行動 （ユーザー・アイテム データ）を分析 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 44
協調フィルタリング： アルゴリズム アルゴリズム 1. 類似アイテム（またはユーザー）を見つける 2. 類似アイテム（またはユーザー）を利用し、予測する 45
協調フィルタリング： アルゴリズム アルゴリズム 1. 類似アイテム（またはユーザー）を見つける 2. 類似アイテム（またはユーザー）を利用し、予測する 46
協調フィルタリング： データ表現 ユーザー行動を アイテムとユーザーのN次元ベクトルで表現 アイテムの ユーザーの ユーザー評価ベクトル アイテム評価ベクトル User3 Item3 Item1 User1 User1 User2 Item1 Item2 47
協調フィルタリング： データ表現 ユーザー-アイテム行列を扱う 例：アイテムのユーザー評価 User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … 48
協調フィルタリング： データ表現 ユーザー-アイテム行列を扱う 例：アイテムのユーザー評価 アイテムのユーザー評価ベクトル User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … 49
協調フィルタリング： データ表現 ユーザー-アイテム行列を扱う 例：アイテムのユーザー評価 アイテムのユーザー評価ベクトル User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … ユーザーのアイテム評価ベクトル 50
協調フィルタリング：類似度 ベクトルの距離の近さから 類似アイテム・類似ユーザーを抽出する アイテム類似度 ユーザー類似度 User3 Item3 Item1 Item1とItem2の User1とUser2の 類似度（距離） 類似度（距離） Item2 User2 User1 User2 Item1 Item2 User1 51
協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 52
協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 53
類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 54
類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 Item間類似度 ②Item Vectorの内積 Item1 Item2 Item3 Item1 1 0.943 0.757 Item2 0.7428 1 0.858 Item3 0.2981 0.5963 1 55
類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) User間類似度 ①User Vectorの正規化 正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 56
類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) User間類似度 ①User Vectorの正規化 正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 User間類似度 ②User Vectorの内積 User1 User2 User3 User1 1 0.83 0.78 User2 0.83 1 0.97 User3 0.78 0.97 57
協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 58
類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) Itemの相関行列 Item間の相関を見る (分散共分散行列) R: ItemのUser評価行列 成分 : Item i に対する User uの評価 User1 User2 User3 … Item1 R11 R12 R13 … Item2 R21 R22 R23 … … … … … … : Item i のUser評価平均 : User数 59
類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 60
類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 Item間 相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.5 -0.982 Item2 0.5 1 -0.655 Item3 -0.982 -0.655 1 61
類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 62
類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 User間 相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 63
協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 64
類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) Userごとの評価の振れ幅の補正 （Item i のUser評価平均）ではなく : User uの評価平均 を使用 調整コサイン行列 R: ItemのUser評価行列 成分 : Item i に対する User uの評価 : User数 65
類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 66
類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 Item間 相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.1754 -0.891 Item2 0.1754 1 0.604 Item3 -0.981 0.604 1 67
類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 68
類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 User間 相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.675 -0.884 User2 -0.675 1 -0.253 User3 -0.884 -0.253 1 69
協調フィルタリング： アルゴリズム アルゴリズム 1. 類似アイテム（またはユーザー）を見つける 2. 類似アイテム（またはユーザー）を利用し、予測する 70
協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する 71
協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る 72
協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 73
協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 相関ベース類似度計算 User間 相関行列 Cuv User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 74
協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1のItem1への評価期待値 User1 User2 User3 平均 =User1の平均評価 Item1 3 2 1 2 Item2 4 2 3 3 +User2の重みづき偏差 Item3 2 4 5 11/3 +User3の重みづき偏差 平均 3 8/3 3 26/3 =R1 相関ベース類似度計算 +C12/(C12+C13)*(R12 –R2) User間 相関行列 Cuv +C13/(C12+C13)*(R13 –R3) User1 User2 User3 User1 1 -0.866 -0.5 =4.2 User2 -0.866 1 0.87 User3 -0.5 0.87 1 75
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
Amazon協調フィルタリング 世界で最も知られている協調フィルタリング Amazon.co.jp 検索・閲覧 レコメンデーション 77
Amazon協調フィルタリング 世界で最も知られている協調フィルタリング ◆アイテム-アイテム協調フィルタリング アイテムベース 同じアイテムを見たユーザーには、同じアイテムを推薦 ユーザー数に依存せずスケールする 処理 ①アイテム-推薦アイテムのテーブルをオフラインで作る ②ユーザーアクセス時にはテーブルを参照するだけ 78
Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム User1 User2 User3 User4 Item1 1 1 Item2 1 1 Item3 1 1 1 Item4 1 1 79
Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 80
Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム（親アイテム）を購入した顧客全てに対し 購入アイテム（子アイテム）をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 81
Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム（親アイテム）を購入した顧客全てに対し 購入アイテム（子アイテム）をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 1 1 1 Item3 1 1 1 Item3 2 1 1 Item4 1 1 Item4 1 82
レコメンデーションの手法 レコメンデーションの手法 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース コラボレーションベース （協調フィルタリング） アイテム アイテムの類似 アイテムの ユーザー行動 ベース アイテム タームベクトル （購入、閲覧、保存、評価、 ブックマークなど） ユーザー ユーザーの類似 ユーザープロファイルの ベース ユーザーが好む タームベクトル アイテム （年齢、ユーザー、居住地、 資産） 83
類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 84
類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 85
類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 86
類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 87
類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 88
類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 89
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
ベイジアンネットワークとは ベイジアンネットワーク 事象間の依存関係を表した確率グラフ 92
ベイジアンネットワークとは ベイジアンネットワーク 事象間の依存関係を表した確率グラフ ある事象の発生時の他事象の発生確率を計算できる 93
ベイジアンネットワークとは ベイジアンネットワーク 事象間の依存関係を表した確率グラフ ある事象の発生時の他事象の発生確率を計算できる X 事象X PYX 事象間の条件付確率 X Y Xの発生後にYが発生する確率 B PFB F PBA PEF A PFC E PCA PED C PDC D 有向非循環グラフ(DAG: Directed Acyclic Graph)を構築 94
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
ベイジアンネットワークによるレコメンデーション 実績 96
ベイジアンネットワークによるレコメンデーション 構造学習 実績 ベイジアンネットワーク 事象間の確率グラフ B F A C D 97
ベイジアンネットワークによるレコメンデーション 構造学習 実績 ベイジアンネットワーク 事象間の確率グラフ B F A E C D 事象発生 A D 98
ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 実績 ベイジアンネットワーク 発生確率 事象間の確率グラフ B F B F A E A E C D C D 事象発生 A D 99
ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 100
ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 101
ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 102
構造学習アルゴリズム例 103
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm 104
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm 大規模データにも適し予測効果がよいとされている 計算量がノード数に対し高々 O(N^2) 105
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm 大規模データにも適し予測効果がよいとされている 計算量がノード数に対し高々 O(N^2) 条件付確率が一番大きくなるSpanning Treeを構成する Spanning Tree グラフ全てのノードを含み構成される木 B A C E PAB PCB A C B D F PDA PEA PFC D E F 106
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … 107
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる 108
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる ③次に大きな相互情報量を持つ枝を木に加える もしループができる場合は、枝を捨てる N-1個の枝が木に加わるまで繰り返す 109
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる ③次に大きな相互情報量を持つ枝を木に加える もしループができる場合は、枝を捨てる N-1個の枝が木に加わるまで繰り返す ④最大の発生確率を持つ事象をルートノードとし 根から葉に枝へ向けるように、枝を方向付ける 110
構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる ③次に大きな相互情報量を持つ枝を木に加える もしループができる場合は、枝を捨てる N-1個の枝が木に加わるまで繰り返す ④最大の発生確率を持つ要素を根ノードとし 根から葉に枝へ向けるように、枝を方向付ける 111
ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 112
確率推論アルゴリズム例 Pearl's Passage Passing Algorithm 高速かつ厳密に全ノードの周辺事後確率を求めることができる ①証拠データを与えられたノードから 周辺ノードへ向けてのメッセージ送信を行う B F ②メッセージを受信したノードは A E 受信したメッセージを用いて、 自分の周辺事後確率を更新する C D ③周辺事後確率を更新したノードは、 メッセージの送信元以外の 自分の周辺ノードにメッセージ送信する 全てのノードの周辺事後確率を更新する 113
詳しくは3Talk目の @yanashiさん グラフ理論とレコメンデーションで 114
例：ページ推薦 閲覧確率の計算 閲覧したページを ベイジアンネットワークに与え推論、閲覧確率を算出 与えられた閲覧確率から閲覧回数の期待値を求める 期待値が大きいページからユーザーに推薦 115
ベイズ レコメンデーションの種類 ユーザー・アイテム・ベイジアン ・ユーザーが評価したアイテムの「メタデータ」と 他アイテムの「メタデータ」を比較する ・他アイテムを選ぶ確率を算出する ユーザー・ユーザー・ベイジアン ・ユーザーが好むアイテムどうしのメタデータを比較 ・ユーザーどうしの好みの近さを算出する アイテム・アイテム・ベイジアン ・アイテムメタデータを比較 ・商品ごとの近さを算出 116
AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
最後に 蓄積されたデータを有効活用してきたい 118
最後に 蓄積されたデータを有効活用してきたい Google Group： http://groups.google.com/group/webmining-tokyo 119
最後に データマイニング+WEB勉強会 発表者を募集しています 連絡 Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 120
ご清聴ありがとうございました 121
目的： データマイニング+WEB勉強会＠東京 データマイニングの方法論を用い 蓄積されたデータを有効活用していく方法を学ぶ 統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析 時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析 はてな Web Service 判別分析 主成分分析 因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワーク サポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的 熱力学的 シミュレーテドアニーリング 力学モデルによる最適化 タブーサーチ グラフ … 最適解探索 アルゴリズム 122
AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●２つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 123
推薦文献 124
推薦文献 確率モデルによるWebデータ解析法 - データマイニング技法からe-コマースまで パターン認識と機械学習 下 125
推薦文献 集合知イン・アクション 集合知プログラミング 126

More Related Content

PDF
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
byDeep Learning JP
 
PPTX
GEE(一般化推定方程式)の理論
byKoichiro Gibo
 
PPTX
物体検出の歴史（R-CNNからSSD・YOLOまで）
byHironoriKanazawa
 
PDF
時系列予測にTransformerを使うのは有効か？
byFumihiko Takahashi
 
PDF
2019年度チュートリアルBPE
by広樹 本間
 
PDF
相関と因果について考える：統計的因果推論、その(不)可能性の中心
bytakehikoihayashi
 
PDF
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
bytmtm otm
 
PDF
失敗から学ぶ機械学習応用
byHiroyuki Masuda
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
byDeep Learning JP
 
GEE(一般化推定方程式)の理論
byKoichiro Gibo
 
物体検出の歴史（R-CNNからSSD・YOLOまで）
byHironoriKanazawa
 
時系列予測にTransformerを使うのは有効か？
byFumihiko Takahashi
 
2019年度チュートリアルBPE
by広樹 本間
 
相関と因果について考える：統計的因果推論、その(不)可能性の中心
bytakehikoihayashi
 
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
bytmtm otm
 
失敗から学ぶ機械学習応用
byHiroyuki Masuda
 

What's hot

PPTX
ようやく分かった！最尤推定とベイズ推定
byAkira Masuda
 
PPTX
Counterfaual Machine Learning（CFML）のサーベイ
byARISE analytics
 
PPTX
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
PDF
グラフニューラルネットワーク入門
byryosuke-kojima
 
PPTX
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
PDF
GAN（と強化学習との関係）
byMasahiro Suzuki
 
PDF
HiPPO/S4解説
byMorpho, Inc.
 
PDF
論文紹介-Multi-Objective Deep Reinforcement Learning
byShunta Nomura
 
PDF
【メタサーベイ】Neural Fields
bycvpaper. challenge
 
PDF
グラフィカルモデル入門
byKawamoto_Kazuhiko
 
PPTX
ベイズ最適化によるハイパラーパラメータ探索
by西岡 賢一郎
 
PPTX
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
byHitomi Yanaka
 
PDF
『バックドア基準の入門』＠統数研研究集会
bytakehikoihayashi
 
PDF
【メタサーベイ】Video Transformer
bycvpaper. challenge
 
PDF
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください（回答の質の悪化・報酬額の相場の変化・仕様変更）
byAyako_Hasegawa
 
PDF
組合せ最適化入門：線形計画から整数計画まで
byShunji Umetani
 
PPTX
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
PDF
生存時間分析数理の基礎
byKoichiro Gibo
 
PDF
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
byKatsuya Ito
 
PDF
質的変数の相関・因子分析
byMitsuo Shimohata
 
ようやく分かった！最尤推定とベイズ推定
byAkira Masuda
 
Counterfaual Machine Learning（CFML）のサーベイ
byARISE analytics
 
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
グラフニューラルネットワーク入門
byryosuke-kojima
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
GAN（と強化学習との関係）
byMasahiro Suzuki
 
HiPPO/S4解説
byMorpho, Inc.
 
論文紹介-Multi-Objective Deep Reinforcement Learning
byShunta Nomura
 
【メタサーベイ】Neural Fields
bycvpaper. challenge
 
グラフィカルモデル入門
byKawamoto_Kazuhiko
 
ベイズ最適化によるハイパラーパラメータ探索
by西岡 賢一郎
 
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
byHitomi Yanaka
 
『バックドア基準の入門』＠統数研研究集会
bytakehikoihayashi
 
【メタサーベイ】Video Transformer
bycvpaper. challenge
 
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください（回答の質の悪化・報酬額の相場の変化・仕様変更）
byAyako_Hasegawa
 
組合せ最適化入門：線形計画から整数計画まで
byShunji Umetani
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
生存時間分析数理の基礎
byKoichiro Gibo
 
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
byKatsuya Ito
 
質的変数の相関・因子分析
byMitsuo Shimohata
 

Similar to ベイジアンネットとレコメンデーション －第５回データマイニング+WEB勉強会＠東京

PDF
「はじめてでもわかる RandomForest 入門－集団学習による分類・予測 －」 －第７回データマイニング+WEB勉強会＠東京
byKoichi Hamada
 
PDF
Introduction to Mahout Clustering - #TokyoWebmining #6
byKoichi Hamada
 
PDF
Mahout Canopy Clustering - #TokyoWebmining 9
byKoichi Hamada
 
PDF
「R言語による Random Forest 徹底入門 －集団学習による分類・予測－」 - #TokyoR #11
byKoichi Hamada
 
PDF
"Mahout Recommendation" - #TokyoWebmining 14th
byKoichi Hamada
 
PDF
Mahout JP - #TokyoWebmining 11th #MahoutJP
byKoichi Hamada
 
PDF
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
byKoichi Hamada
 
PDF
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
byKoichi Hamada
 
PDF
R言語による アソシエーション分析－組合せ・事象の規則を解明する－（第５回R勉強会＠東京）
byKoichi Hamada
 
PDF
ソーシャルウェブ と レコメンデーション －第４回データマイニング+WEB勉強会＠東京
byKoichi Hamada
 
PDF
ソーシャルデザインパターン －評判と情報収集－
byKoichi Hamada
 
PDF
コンチェルト CCPM工程表入門
byMotoi Tobita
 
PDF
Using Mind Maping And UML Effectively in Software Development
byKenji Hiranabe
 
PDF
【Agile Forum in Gifu】 Visual Studio 2010 でみる、アジャイル開発における開発支援ツールの活用
by智治 長沢
 
PDF
アジャイル開発の始め方
byESM SEC
 
PDF
Project Facilitation at Kanazawa.rb
byKenji Hiranabe
 
PDF
ソフトウェア開発の現場風景
byKoichi ITO
 
PDF
結果的に組織がAgileな状態であること #agile #scrum #leanstartup
byItsuki Kuroda
 
PPTX
Relationship betweenddd and mvc
byTakao Tetsuro
 
PDF
Agile 459 | 11/17 資料
by智治 長沢
 
「はじめてでもわかる RandomForest 入門－集団学習による分類・予測 －」 －第７回データマイニング+WEB勉強会＠東京
byKoichi Hamada
 
Introduction to Mahout Clustering - #TokyoWebmining #6
byKoichi Hamada
 
Mahout Canopy Clustering - #TokyoWebmining 9
byKoichi Hamada
 
「R言語による Random Forest 徹底入門 －集団学習による分類・予測－」 - #TokyoR #11
byKoichi Hamada
 
"Mahout Recommendation" - #TokyoWebmining 14th
byKoichi Hamada
 
Mahout JP - #TokyoWebmining 11th #MahoutJP
byKoichi Hamada
 
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
byKoichi Hamada
 
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
byKoichi Hamada
 
R言語による アソシエーション分析－組合せ・事象の規則を解明する－（第５回R勉強会＠東京）
byKoichi Hamada
 
ソーシャルウェブ と レコメンデーション －第４回データマイニング+WEB勉強会＠東京
byKoichi Hamada
 
ソーシャルデザインパターン －評判と情報収集－
byKoichi Hamada
 
コンチェルト CCPM工程表入門
byMotoi Tobita
 
Using Mind Maping And UML Effectively in Software Development
byKenji Hiranabe
 
【Agile Forum in Gifu】 Visual Studio 2010 でみる、アジャイル開発における開発支援ツールの活用
by智治 長沢
 
アジャイル開発の始め方
byESM SEC
 
Project Facilitation at Kanazawa.rb
byKenji Hiranabe
 
ソフトウェア開発の現場風景
byKoichi ITO
 
結果的に組織がAgileな状態であること #agile #scrum #leanstartup
byItsuki Kuroda
 
Relationship betweenddd and mvc
byTakao Tetsuro
 
Agile 459 | 11/17 資料
by智治 長沢
 

More from Koichi Hamada

PDF
Anime Generation with AI
byKoichi Hamada
 
PDF
Generative Adversarial Networks @ ICML 2019
byKoichi Hamada
 
PDF
AIによるアニメ生成の挑戦
byKoichi Hamada
 
PDF
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...
byKoichi Hamada
 
PDF
Generative Adversarial Networks (GAN) @ NIPS2017
byKoichi Hamada
 
PDF
DeNAのAI活用したサービス開発
byKoichi Hamada
 
PDF
対話返答生成における個性の追加反映
byKoichi Hamada
 
PDF
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
byKoichi Hamada
 
PDF
NIPS 2016 Overview and Deep Learning Topics
byKoichi Hamada
 
PDF
DeNAの機械学習・深層学習活用した 体験提供の挑戦
byKoichi Hamada
 
PDF
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
byKoichi Hamada
 
PDF
DeNAの大規模データマイニング活用したサービス開発
byKoichi Hamada
 
PDF
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014
byKoichi Hamada
 
PDF
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
byKoichi Hamada
 
PDF
複雑ネットワーク上の伝搬法則の数理
byKoichi Hamada
 
PDF
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望
byKoichi Hamada
 
PDF
データマイニングCROSS 第２部－機械学習・大規模分散処理
byKoichi Hamada
 
PDF
10回開催記念 「データマイニング＋WEB ～データマイニング・機械学習活用による継続進化～」ー第10回データマイニング+WEB勉強会＠東京ー #Toky...
byKoichi Hamada
 
PDF
Apache Mahout - Random Forests - #TokyoWebmining #8
byKoichi Hamada
 
PDF
「樹木モデルとランダムフォレスト－機械学習による分類・予測－」－データマイニングセミナー
byKoichi Hamada
 
Anime Generation with AI
byKoichi Hamada
 
Generative Adversarial Networks @ ICML 2019
byKoichi Hamada
 
AIによるアニメ生成の挑戦
byKoichi Hamada
 
Generative Adversarial Networks (GANs) and Disentangled Representations @ N...
byKoichi Hamada
 
Generative Adversarial Networks (GAN) @ NIPS2017
byKoichi Hamada
 
DeNAのAI活用したサービス開発
byKoichi Hamada
 
対話返答生成における個性の追加反映
byKoichi Hamada
 
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
byKoichi Hamada
 
NIPS 2016 Overview and Deep Learning Topics
byKoichi Hamada
 
DeNAの機械学習・深層学習活用した 体験提供の挑戦
byKoichi Hamada
 
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
byKoichi Hamada
 
DeNAの大規模データマイニング活用したサービス開発
byKoichi Hamada
 
『MobageのAnalytics活用したサービス開発』 - データマイニングCROSS2014 #CROSS2014
byKoichi Hamada
 
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
byKoichi Hamada
 
複雑ネットワーク上の伝搬法則の数理
byKoichi Hamada
 
データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望
byKoichi Hamada
 
データマイニングCROSS 第２部－機械学習・大規模分散処理
byKoichi Hamada
 
10回開催記念 「データマイニング＋WEB ～データマイニング・機械学習活用による継続進化～」ー第10回データマイニング+WEB勉強会＠東京ー #Toky...
byKoichi Hamada
 
Apache Mahout - Random Forests - #TokyoWebmining #8
byKoichi Hamada
 
「樹木モデルとランダムフォレスト－機械学習による分類・予測－」－データマイニングセミナー
byKoichi Hamada
 

ベイジアンネットとレコメンデーション －第５回データマイニング+WEB勉強会＠東京

  • 1.
    第５回データマイニング+WEB勉強会＠東京 2010/06/20 ベイジアンネット と レコメンデーション Bayesian network and Recommendation hamadakoichi 濱田 晃一
  • 2.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 3.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 4.
    hamadakoichi 濱田晃一 http://iddy.jp/profile/hamadakoichi 4
  • 5.
  • 6.
  • 7.
    自己紹介：hamadakoichi 濱田晃一 理論物理 博士(2004.3取得) 量子統計場の理論 Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 7
  • 8.
    自己紹介：hamadakoichi 濱田晃一 文部大臣に褒められた 元 文部大臣・法務大臣 六法全書著者・元法学政治学研究科長 森山眞弓さん 菅野和夫さん 8
  • 9.
    自己紹介：hamadakoichi 濱田晃一 Los Angelesでプロダンサーに褒められた ・HIP HOP/House ダンス歴１３年 ・ダンス開始後 1年半でL.A.でプロダンサーに褒められる Youtube Channel： http://www.youtube.com/hamadakoichi 9
  • 10.
    自己紹介：hamadakoichi 濱田晃一 毎週末３時間ダンスコーチをしています ■過去、東京と京都でも ダンス部を創設。 コーチをしていました 駒場物理ダンス部 京都大学基礎物理学研究所ダンス部 部長兼コーチ 部長兼コーチ 現在： 毎週末 ３時間ダンスコーチ Youtube Channel： http://www.youtube.com/hamadakoichi 10
  • 11.
    数理解析手法の実ビジネスへの適用 2004年 博士号取得後 数理解析手法を実ビジネス適用の方法論構築 主な領域 ◆活動の数理モデル化・解析手法 ◆活動の分析手法・再構築手法 ◆活動の実行制御・実績解析システム … 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 11
  • 12.
    数理解析手法の実ビジネスへの適用：活動例 活動例 活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字：割付モデル属性 [ ] : Optional Node ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process Edge Process [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスが プロセスを表す 開始できること表す ・attributes（属性） preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表す Assign Region Assigns from Edge 同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の 範囲を表す assigns assigns 中から割付けることを示す 企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間 Resource has Assign RegionにResourceを 割付対象要素を表す has has has has has has 割付けることを表す ・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん 田中さん 鈴木さん ・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 12
  • 13.
    数理解析手法の実ビジネスへの適用：活動例 一品一様の業務プロセスの 動的なプロセス制御数理体系を構築 全体生産リードタイム中央値を 1/2.7に短縮 設計開始～頭だし出荷リードタイム 設 計 開 始 ～ 頭 だ し出 荷 CT対 週 集 計 開 始 日 時 の 箱 ひ げ 図 体系適用 500 適用後 設計開始～頭だし出荷CT 400 360.4h(15.0日) 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 00 00 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: / 20 / 27 / 04 / 11 / 18 / 25 / 01 / 08 / 15 / 22 / 29 / 06 / 13 / 20 / 09 / 09 / 10 / 10 / 10 / 10 / 11 / 11 / 11 / 11 / 11 / 12 / 12 / 12 04 04 04 04 04 04 04 04 04 04 04 04 04 04 20 20 20 20 20 20 20 20 20 20 20 20 20 20 週 集 計 開 始 日 時 13
  • 14.
    数理解析手法の実ビジネスへの適用：活動例 ビジネスとともに 学術分野でも貢献 変動性から生じる動的な課題 ・リソースの競合 ・滞留 ・納期遅延 … 一品一様な業務プロセスを含む 統計解析・制御数理モデル ・統計的な有効変数算出 ・統計数理モデル化 －優先順位制御 －実行タイミング制御 －統計フィードバック －適正リソース量算出 ・予測数理体系 論文（体系の一部） M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, “Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation to an Unmanned Machine Shop”, CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 14
  • 15.
  • 16.
  • 17.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に 17
  • 18.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 19.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 20.
    レコメンデーション 各人の活動や関心にもとづき 適した情報を提示・推薦する 例：Amazon.co.jp 検索・閲覧 20
  • 21.
    レコメンデーション 各人の活動や関心にもとづき 適した情報を提示・推薦する 例：Amazon.co.jp 検索・閲覧 提示・推薦 21
  • 22.
    レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 22
  • 23.
    レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ ＝ ユーザーアクション 23
  • 24.
    レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ ＝ ユーザーアクション 視聴 購入 閲覧 保存 メール送信 ブックマーク お気に入りへの追加 共有 作成 24
  • 25.
    レコメンデーション例 「このアイテムを○○したユーザーは これらのアイテムについても○○しています」 ○○ ＝ ユーザーアクション 視聴 購入 閲覧 保存 メール送信 ブックマーク お気に入りへの追加 共有 作成 例 ◆この動画を「視聴」したユーザーはこちらの動画も「視聴」しています ◆この記事に関連した新しいアイテムはこちらです ◆あなたに似たユーザーはこちらです ◆こちらの商品にも関心がありませんか？ 25
  • 26.
    レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 レコメンデーション レコメンドされた システム アイテム・ユーザー 26
  • 27.
    レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテムの情報 アイテムのコンテンツ ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … 27
  • 28.
    レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテムの情報 アイテムのコンテンツ ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 28
  • 29.
    レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 29
  • 30.
    レコメンデーションエンジンの入出力 レコメンデーションエンジンの 入出力 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 30
  • 31.
    レコメンデーションの戦略 レコメンデーションを 売り込みと様子伺いの間で行う ◆売り込み ユーザーの趣向にぴったり合った アイテムを推薦 ◆様子伺い ユーザーの新たな趣向を見つけるため ユーザーの趣向に合わないアイテムを提示 →例：いくつかのアイテムをランダムに選ぶなど 31
  • 32.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 33.
    アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 アイテム アイテム アイテム アイテム A B C D ユーザー 1 33
  • 34.
    アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 アイテム アイテム アイテム アイテム A B C D 好む ユーザー 1 34
  • 35.
    アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 類似・高確率 アイテム アイテム アイテム アイテム A B C D 好む ユーザー 1 35
  • 36.
    アイテムベース分析 アイテムベース アイテムの類似アイテムを分析・推薦 類似・高確率 アイテム アイテム アイテム アイテム A B C D 好む レコメンド ユーザー 1 36
  • 37.
    ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D ユーザー ユーザー ユーザー 1 2 3 37
  • 38.
    ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D ユーザー ユーザー ユーザー 1 2 3 類似 38
  • 39.
    ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D 好む ユーザー ユーザー ユーザー 1 2 3 類似 39
  • 40.
    ユーザーベース分析 ユーザーベース 類似ユーザーを分析、好むアイテムを推薦 アイテム アイテム アイテム アイテム A B C D レコメンド 好む ユーザー ユーザー ユーザー 1 2 3 類似 40
  • 41.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 42.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 43.
    類似度算出法の種類 類似度算出法の種類 コンテンツベース と 協調フィルタリング 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース 協調フィルタリング アイテム アイテムの類似 アイテムの ユーザー行動 ベース アイテム タームベクトル （購入、閲覧、保存、評価、 ブックマークなど） ユーザー ユーザーの類似 ユーザープロファイルの ベース ユーザーが好む タームベクトル アイテム （年齢、ユーザー、居住地、 資産） 43
  • 44.
    協調フィルタリング 協調フィルタリング ユーザー行動 （ユーザー・アイテム データ）を分析 アイテム提示の アイテムの情報 コンテキスト アイテムのコンテンツ 検討中アイテムの カテゴリ … ユーザー レコメンデーション レコメンドされた プロファイル システム アイテム・ユーザー 年齢 性別 居住地 資産 … ユーザー インタラクション 閲覧履歴 タグ付け 購入 保存 評価 メール送信履歴 … 44
  • 45.
    協調フィルタリング： アルゴリズム アルゴリズム 1. 類似アイテム（またはユーザー）を見つける 2. 類似アイテム（またはユーザー）を利用し、予測する 45
  • 46.
    協調フィルタリング： アルゴリズム アルゴリズム 1. 類似アイテム（またはユーザー）を見つける 2. 類似アイテム（またはユーザー）を利用し、予測する 46
  • 47.
    協調フィルタリング： データ表現 ユーザー行動を アイテムとユーザーのN次元ベクトルで表現 アイテムの ユーザーの ユーザー評価ベクトル アイテム評価ベクトル User3 Item3 Item1 User1 User1 User2 Item1 Item2 47
  • 48.
    協調フィルタリング： データ表現 ユーザー-アイテム行列を扱う 例：アイテムのユーザー評価 User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … 48
  • 49.
    協調フィルタリング： データ表現 ユーザー-アイテム行列を扱う 例：アイテムのユーザー評価 アイテムのユーザー評価ベクトル User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … 49
  • 50.
    協調フィルタリング： データ表現 ユーザー-アイテム行列を扱う 例：アイテムのユーザー評価 アイテムのユーザー評価ベクトル User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … ユーザーのアイテム評価ベクトル 50
  • 51.
    協調フィルタリング：類似度 ベクトルの距離の近さから 類似アイテム・類似ユーザーを抽出する アイテム類似度 ユーザー類似度 User3 Item3 Item1 Item1とItem2の User1とUser2の 類似度（距離） 類似度（距離） Item2 User2 User1 User2 Item1 Item2 User1 51
  • 52.
    協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 52
  • 53.
    協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 53
  • 54.
    類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 54
  • 55.
    類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 Item間類似度 ②Item Vectorの内積 Item1 Item2 Item3 Item1 1 0.943 0.757 Item2 0.7428 1 0.858 Item3 0.2981 0.5963 1 55
  • 56.
    類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) User間類似度 ①User Vectorの正規化 正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 56
  • 57.
    類似度の算出：コサインベース コサインベースの類似度計算 (Cosine-based similarity computation) User間類似度 ①User Vectorの正規化 正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 User間類似度 ②User Vectorの内積 User1 User2 User3 User1 1 0.83 0.78 User2 0.83 1 0.97 User3 0.78 0.97 57
  • 58.
    協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 58
  • 59.
    類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) Itemの相関行列 Item間の相関を見る (分散共分散行列) R: ItemのUser評価行列 成分 : Item i に対する User uの評価 User1 User2 User3 … Item1 R11 R12 R13 … Item2 R21 R22 R23 … … … … … … : Item i のUser評価平均 : User数 59
  • 60.
    類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 60
  • 61.
    類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 Item間 相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.5 -0.982 Item2 0.5 1 -0.655 Item3 -0.982 -0.655 1 61
  • 62.
    類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 62
  • 63.
    類似度の算出：相関ベース 相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 User間 相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 63
  • 64.
    協調フィルタリング： 類似度計算 ユーザー-アイテム行列から ３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 64
  • 65.
    類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) Userごとの評価の振れ幅の補正 （Item i のUser評価平均）ではなく : User uの評価平均 を使用 調整コサイン行列 R: ItemのUser評価行列 成分 : Item i に対する User uの評価 : User数 65
  • 66.
    類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 66
  • 67.
    類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分 行列 からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 Item間 相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.1754 -0.891 Item2 0.1754 1 0.604 Item3 -0.981 0.604 1 67
  • 68.
    類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 68
  • 69.
    類似度の算出：調整コサインベース 調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分 行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 User間 相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.675 -0.884 User2 -0.675 1 -0.253 User3 -0.884 -0.253 1 69
  • 70.
    協調フィルタリング： アルゴリズム アルゴリズム 1. 類似アイテム（またはユーザー）を見つける 2. 類似アイテム（またはユーザー）を利用し、予測する 70
  • 71.
    協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する 71
  • 72.
    協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る 72
  • 73.
    協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 73
  • 74.
    協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 相関ベース類似度計算 User間 相関行列 Cuv User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 74
  • 75.
    協調フィルタリング： 評価予測 類似アイテム・ユーザーを利用し予測する K近傍法 K個の近いアイテム・ユーザーの評価を 偏差を重み付けして和を取る ItemのUser評価行列 Riu User1のItem1への評価期待値 User1 User2 User3 平均 =User1の平均評価 Item1 3 2 1 2 Item2 4 2 3 3 +User2の重みづき偏差 Item3 2 4 5 11/3 +User3の重みづき偏差 平均 3 8/3 3 26/3 =R1 相関ベース類似度計算 +C12/(C12+C13)*(R12 –R2) User間 相関行列 Cuv +C13/(C12+C13)*(R13 –R3) User1 User2 User3 User1 1 -0.866 -0.5 =4.2 User2 -0.866 1 0.87 User3 -0.5 0.87 1 75
  • 76.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 77.
    Amazon協調フィルタリング 世界で最も知られている協調フィルタリング Amazon.co.jp 検索・閲覧 レコメンデーション 77
  • 78.
    Amazon協調フィルタリング 世界で最も知られている協調フィルタリング ◆アイテム-アイテム協調フィルタリング アイテムベース 同じアイテムを見たユーザーには、同じアイテムを推薦 ユーザー数に依存せずスケールする 処理 ①アイテム-推薦アイテムのテーブルをオフラインで作る ②ユーザーアクセス時にはテーブルを参照するだけ 78
  • 79.
    Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム User1 User2 User3 User4 Item1 1 1 Item2 1 1 Item3 1 1 1 Item4 1 1 79
  • 80.
    Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 80
  • 81.
    Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム（親アイテム）を購入した顧客全てに対し 購入アイテム（子アイテム）をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 81
  • 82.
    Amazon-アイテム-アイテム協調フィルタリング アイテム-アイテム協調フィルタリング アルゴリズム 1. 空のアイテム-アイテム の行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム（親アイテム）を購入した顧客全てに対し 購入アイテム（子アイテム）をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 1 1 1 Item3 1 1 1 Item3 2 1 1 Item4 1 1 Item4 1 82
  • 83.
    レコメンデーションの手法 レコメンデーションの手法 分析手法 分析・推薦対象 類似度算出の対象 コンテンツベース コラボレーションベース （協調フィルタリング） アイテム アイテムの類似 アイテムの ユーザー行動 ベース アイテム タームベクトル （購入、閲覧、保存、評価、 ブックマークなど） ユーザー ユーザーの類似 ユーザープロファイルの ベース ユーザーが好む タームベクトル アイテム （年齢、ユーザー、居住地、 資産） 83
  • 84.
    類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 84
  • 85.
    類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 85
  • 86.
    類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 86
  • 87.
    類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 87
  • 88.
    類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 88
  • 89.
    類似度の計算手法 利点と難点 類似度算出法 利点 難点 コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可： ベース 行動履歴が少ない新規ユーザー・ タームベクトルのみ用いる。記事が アイテムに対しても適用できる。 良し悪しはアルゴリズムには分から ない。 協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力が グ 例：PageRank(Google)：リンク構造 低い： ◆展開が容易： 行動履歴が少ない新規ユーザー・ アイテムに対し精度が低い。 ・言語に依存しない （※通常、十分な数の評価がある ・画像、音楽、動画へも同様に適用 まで、新規ユーザー・アイテムを推 アイテムをブラックボックスとして扱 薦しない） えるため。 （コンテンツ情報を必要としない） 89
  • 90.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 91.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 92.
    ベイジアンネットワークとは ベイジアンネットワーク 事象間の依存関係を表した確率グラフ 92
  • 93.
    ベイジアンネットワークとは ベイジアンネットワーク 事象間の依存関係を表した確率グラフ ある事象の発生時の他事象の発生確率を計算できる 93
  • 94.
    ベイジアンネットワークとは ベイジアンネットワーク 事象間の依存関係を表した確率グラフ ある事象の発生時の他事象の発生確率を計算できる X 事象X PYX 事象間の条件付確率 X Y Xの発生後にYが発生する確率 B PFB F PBA PEF A PFC E PCA PED C PDC D 有向非循環グラフ(DAG: Directed Acyclic Graph)を構築 94
  • 95.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 96.
  • 97.
    ベイジアンネットワークによるレコメンデーション 構造学習 実績 ベイジアンネットワーク 事象間の確率グラフ B F A C D 97
  • 98.
    ベイジアンネットワークによるレコメンデーション 構造学習 実績 ベイジアンネットワーク 事象間の確率グラフ B F A E C D 事象発生 A D 98
  • 99.
    ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 実績 ベイジアンネットワーク 発生確率 事象間の確率グラフ B F B F A E A E C D C D 事象発生 A D 99
  • 100.
    ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 100
  • 101.
    ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 101
  • 102.
    ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 102
  • 103.
  • 104.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm 104
  • 105.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm 大規模データにも適し予測効果がよいとされている 計算量がノード数に対し高々 O(N^2) 105
  • 106.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm 大規模データにも適し予測効果がよいとされている 計算量がノード数に対し高々 O(N^2) 条件付確率が一番大きくなるSpanning Treeを構成する Spanning Tree グラフ全てのノードを含み構成される木 B A C E PAB PCB A C B D F PDA PEA PFC D E F 106
  • 107.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … 107
  • 108.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる 108
  • 109.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる ③次に大きな相互情報量を持つ枝を木に加える もしループができる場合は、枝を捨てる N-1個の枝が木に加わるまで繰り返す 109
  • 110.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる ③次に大きな相互情報量を持つ枝を木に加える もしループができる場合は、枝を捨てる N-1個の枝が木に加わるまで繰り返す ④最大の発生確率を持つ事象をルートノードとし 根から葉に枝へ向けるように、枝を方向付ける 110
  • 111.
    構造学習アルゴリズム例 MWSTアルゴリズム Maximum Weighted Spanning Tree (MWST) Algorithm A B … ①データから全事象組合せ N(N-1)/2 の A 相互情報量を算出する （N:事象数） B … ②最も大きな相互情報量を持つ枝を 木に入れる ③次に大きな相互情報量を持つ枝を木に加える もしループができる場合は、枝を捨てる N-1個の枝が木に加わるまで繰り返す ④最大の発生確率を持つ要素を根ノードとし 根から葉に枝へ向けるように、枝を方向付ける 111
  • 112.
    ベイジアンネットワークによるレコメンデーション 構造学習 確率推論 推薦 実績 ベイジアンネットワーク 発生確率 推薦対象 事象間の確率グラフ 高確率 B F B F F B A E A E E C D C D C 事象発生 A D 112
  • 113.
    確率推論アルゴリズム例 Pearl's Passage Passing Algorithm 高速かつ厳密に全ノードの周辺事後確率を求めることができる ①証拠データを与えられたノードから 周辺ノードへ向けてのメッセージ送信を行う B F ②メッセージを受信したノードは A E 受信したメッセージを用いて、 自分の周辺事後確率を更新する C D ③周辺事後確率を更新したノードは、 メッセージの送信元以外の 自分の周辺ノードにメッセージ送信する 全てのノードの周辺事後確率を更新する 113
  • 114.
    詳しくは3Talk目の @yanashiさん グラフ理論とレコメンデーションで 114
  • 115.
    例：ページ推薦 閲覧確率の計算 閲覧したページを ベイジアンネットワークに与え推論、閲覧確率を算出 与えられた閲覧確率から閲覧回数の期待値を求める 期待値が大きいページからユーザーに推薦 115
  • 116.
    ベイズ レコメンデーションの種類 ユーザー・アイテム・ベイジアン ・ユーザーが評価したアイテムの「メタデータ」と 他アイテムの「メタデータ」を比較する ・他アイテムを選ぶ確率を算出する ユーザー・ユーザー・ベイジアン ・ユーザーが好むアイテムどうしのメタデータを比較 ・ユーザーどうしの好みの近さを算出する アイテム・アイテム・ベイジアン ・アイテムメタデータを比較 ・商品ごとの近さを算出 116
  • 117.
    AGENDA ◆自己紹介 ◆レコメンデーションとは ●レコメンデーションとは ●２つのレコメンド経路 ◆協調フィルタリング ●協調フィルタリングの体系 ●Amazon協調フィルタリング ◆ベイジアンネットワークによるレコメンデーション ●ベイジアンネットワーク ●ベイジアンネットワークによるレコメンデーション ◆最後に
  • 118.
    最後に 蓄積されたデータを有効活用してきたい 118
  • 119.
    最後に 蓄積されたデータを有効活用してきたい Google Group： http://groups.google.com/group/webmining-tokyo 119
  • 120.
    最後に データマイニング+WEB勉強会 発表者を募集しています 連絡 Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 120
  • 121.
  • 122.
    目的： データマイニング+WEB勉強会＠東京 データマイニングの方法論を用い 蓄積されたデータを有効活用していく方法を学ぶ 統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析 時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析 はてな Web Service 判別分析 主成分分析 因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワーク サポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的 熱力学的 シミュレーテドアニーリング 力学モデルによる最適化 タブーサーチ グラフ … 最適解探索 アルゴリズム 122
  • 123.
    AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●２つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 123
  • 124.
  • 125.
    推薦文献 確率モデルによるWebデータ解析法 - データマイニング技法からe-コマースまで パターン認識と機械学習 下 125
  • 126.
    推薦文献 集合知イン・アクション 集合知プログラミング 126