ソーシャルウェブとレコメンデーション－第４回データマイニング+WEB勉強会＠東京

第４回データマイニング+WEB勉強会＠東京 2010/05/16ソーシャルウェブとレコメンデーション Social Web and Recommendation hamadakoichi 濱田晃一

AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●２つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ (Java) ◆最後に 2

hamadakoichi 濱田晃一http://iddy.jp/profile/hamadakoichi 4

自己紹介：hamadakoichi 濱田晃一 5

自己紹介：hamadakoichi 濱田晃一データマイニング+WEB勉強会＠東京主催者です 6

自己紹介：hamadakoichi 濱田晃一理論物理博士(2004.3取得) 量子統計場の理論Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 7

自己紹介：hamadakoichi 濱田晃一文部大臣に褒められた元文部大臣・法務大臣六法全書著者・元法学政治学研究科長森山眞弓さん菅野和夫さん 8

自己紹介：hamadakoichi 濱田晃一 Los Angelesでプロダンサーに褒められた・HIP HOP/House ダンス歴１３年・ダンス開始後 1年半でL.A.でプロダンサーに褒められる Youtube Channel： http://www.youtube.com/hamadakoichi 9

自己紹介：hamadakoichi 濱田晃一毎週末３時間ダンスコーチをしています ■過去、東京と京都でもダンス部を創設。コーチをしていました駒場物理ダンス部京都大学基礎物理学研究所ダンス部部長兼コーチ部長兼コーチ現在：毎週末３時間ダンスコーチ Youtube Channel： http://www.youtube.com/hamadakoichi 10

数理解析手法の実ビジネスへの適用 2004年博士号取得後数理解析手法を実ビジネス適用の方法論構築主な領域◆活動の数理モデル化・解析手法◆活動の分析手法・再構築手法◆活動の実行制御・実績解析システム… 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 11

数理解析手法の実ビジネスへの適用：活動例活動例活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字：割付モデル属性 [ ] : OptionalNode ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process EdgeProcess [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスがプロセスを表す開始できること表す・attributes（属性） preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表すAssign Region Assigns from Edge同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の範囲を表す assigns assigns 中から割付けることを示す企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間Resource has Assign RegionにResourceを割付対象要素を表す has has has has has has 割付けることを表す・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん田中さん鈴木さん・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 12

参加者自己紹介Ｔｉｍｅ（1分以内ずつ：計３０分程度） 13

ソーシャルウェブとレコメンデーションソーシャルウェブサービスソーシャルネット Facebook MySpace Mixi GREE DeNA … 15

ソーシャルウェブとレコメンデーションソーシャルウェブサービスブックマーク共有 Del.icio.us はてな … ソーシャルネット写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有はてな Newsing Digg … 16

ソーシャルウェブとレコメンデーションソーシャルウェブサービスブックマーク共有 Del.icio.us はてな … ソーシャルネット写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有はてな Newsing Digg …ユーザー発信型情報提供Wikipedia はてな goo … 17

ソーシャルウェブとレコメンデーションソーシャルウェブサービスツイート Twitter GoogleBuzz … ブックマーク共有 Del.icio.us はてな … ソーシャルネット写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有はてな Newsing Digg …ユーザー発信型情報提供Wikipedia はてな goo … 18

ソーシャルウェブとレコメンデーションソーシャルウェブサービスブログホスティングツイート Blogger はてな Livedoor Twitter GoogleBuzz Ameba … … ブックマーク共有 Del.icio.us はてな … ソーシャルネット写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有はてな Newsing Digg …ユーザー発信型情報提供Wikipedia はてな goo … 19

ソーシャルウェブとレコメンデーションソーシャルウェブサービスブログホスティングツイート Blogger はてな Livedoor Twitter GoogleBuzz Ameba … … ブックマーク共有 Del.icio.us はてな … ソーシャルネット写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有はてな Newsing Digg …ユーザー発信型情報提供情報検索 Google Yahoo BingWikipedia はてな goo … Baidu Naver … 20

ソーシャルウェブとレコメンデーションソーシャルウェブサービスブログホスティングツイート電話 Blogger はてな Livedoor Twitter GoogleBuzz Skype GoogleTalk … Ameba … … メール Gmail Yahoo!Mail … ブックマーク共有 Del.icio.us はてな … ソーシャルネット写真・動画共有 Facebook MySpace Youtube Flickr … Mixi GREE DeNA … ニュース共有はてな Newsing Digg …ユーザー発信型情報提供情報検索 Google Yahoo BingWikipedia はてな goo … Baidu Naver … 21

ソーシャルウェブとレコメンデーションソーシャルウェブサービスブログホスティングツイート電話 Blogger はてな Livedoor Twitter GoogleBuzz Skype GoogleTalk … Ameba … … メール Gmail Yahoo!Mail … ブックマーク共有 Del.icio.us はてな … ソーシャルネットビジネスアプリケーション写真・動画共有 Google Calendar Facebook MySpace Youtube Flickr … Google SpreadSheet Mixi GREE DeNA … ニュース共有 Google Docs Zoho … はてな Newsing Digg … プロジェクト管理 Basecamp Jotspot …ユーザー発信型情報提供情報検索 Google Yahoo Bing Wiki作成Wikipedia はてな goo … Mediawiki Pukiwiki … Baidu Naver … 22

ソーシャルウェブとレコメンデーションソーシャルウェブサービスブログホスティングツイート電話 Blogger はてな Livedoor Twitter GoogleBuzz Skype GoogleTalk … Ameba … … メール Gmail Yahoo!Mail … ブックマーク共有 Del.icio.us はてな … ソーシャルネットビジネスアプリケーション写真・動画共有 Google Calendar Facebook MySpace Youtube Flickr … Google SpreadSheet Mixi GREE DeNA … ニュース共有 Google Docs Zoho … はてな Newsing Digg … プロジェクト管理 Basecamp Jotspot …ユーザー発信型情報提供情報検索 Google Yahoo Bing Wiki作成Wikipedia はてな goo … Mediawiki Pukiwiki … Baidu Naver … 23

ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている 24

ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている・世界人口の50%以上が20代。彼らの96%がソーシャルネットワークに加入している 25※引用元： Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng

ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている・世界人口の50%以上が20代。彼らの96%がソーシャルネットワークに加入している・Facebookへのアクセス数がGoogleへのアクセス数を超えた 26※引用元： Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng

ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている・世界人口の50%以上が20代。彼らの96%がソーシャルネットワークに加入している・Facebookへのアクセス数がGoogleへのアクセス数を超えた・もしFacebookが国ならば世界３位の大国になっている 27※引用元： Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng

ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている・世界人口の50%以上が20代。彼らの96%がソーシャルネットワークに加入している・Facebookへのアクセス数がGoogleへのアクセス数を超えた・もしFacebookが国ならば世界３位の大国になっている・78%の消費者は知人からの推薦を信頼している 14%の消費者しか広告を信用していない 28※引用元： Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng

ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている・世界人口の50%以上が20代。彼らの96%がソーシャルネットワークに加入している・Facebookへのアクセス数がGoogleへのアクセス数を超えた・もしFacebookが国ならば世界３位の大国になっている・78%の消費者は知人からの推薦を信頼している 14%の消費者しか広告を信用していない・我々は商品やサービスを探すことなく彼らがソーシャルメディアにより我々を見つけるようになるだろう 29※引用元： Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng

ソーシャルウェブとレコメンデーション Webと人の関わりが重要になってきている・世界人口の50%以上が20代。彼らの96%がソーシャルネットワークに加入している・Facebookへのアクセス数がGoogleへのアクセス数を超えた・もしFacebookが国ならば世界３位の大国になっている・78%の消費者は知人からの推薦を信頼している 14%の消費者しか広告を信用していない・我々は商品やサービスを探すことなく彼らがソーシャルメディアにより我々を見つけるようになるだろう 30※引用元： Social Media Revolution 2 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng

ソーシャルウェブとレコメンデーション各人の活動や興味にあった適切な情報提示が重要活動興味 31

ソーシャルウェブとレコメンデーション各人の活動や興味にあった適切な情報提示が重要活動興味各人の活動や興味に合った適切な情報提示 Recommendation （レコメンデーション） 32

レコメンデーション各人の活動や関心にもとづき適した情報を提示・推薦する例：Amazon.co.jp 検索・閲覧 35

レコメンデーション各人の活動や関心にもとづき適した情報を提示・推薦する例：Amazon.co.jp 検索・閲覧提示・推薦 36

レコメンデーション例「このアイテムを○○したユーザーはこれらのアイテムについても○○しています」 37

レコメンデーション例「このアイテムを○○したユーザーはこれらのアイテムについても○○しています」 ○○ ＝ユーザーアクション 38

レコメンデーション例「このアイテムを○○したユーザーはこれらのアイテムについても○○しています」 ○○ ＝ユーザーアクション視聴購入閲覧保存メール送信ブックマークお気に入りへの追加共有作成 39

レコメンデーション例「このアイテムを○○したユーザーはこれらのアイテムについても○○しています」 ○○ ＝ユーザーアクション視聴購入閲覧保存メール送信ブックマークお気に入りへの追加共有作成例◆この動画を「視聴」したユーザーはこちらの動画も「視聴」しています◆この記事に関連した新しいアイテムはこちらです◆あなたに似たユーザーはこちらです◆こちらの商品にも関心がありませんか？ 40

レコメンデーションエンジンの入出力レコメンデーションエンジンの入出力レコメンデーションレコメンドされたシステムアイテム・ユーザー 41

レコメンデーションエンジンの入出力レコメンデーションエンジンの入出力アイテムの情報アイテムのコンテンツユーザーレコメンデーションレコメンドされたプロファイルシステムアイテム・ユーザー年齢性別居住地資産 … 42

レコメンデーションエンジンの入出力レコメンデーションエンジンの入出力アイテムの情報アイテムのコンテンツユーザーレコメンデーションレコメンドされたプロファイルシステムアイテム・ユーザー年齢性別居住地資産 … ユーザーインタラクション閲覧履歴タグ付け購入保存評価メール送信履歴 … 43

レコメンデーションエンジンの入出力レコメンデーションエンジンの入出力アイテム提示のアイテムの情報コンテキストアイテムのコンテンツ検討中アイテムのカテゴリ … ユーザーレコメンデーションレコメンドされたプロファイルシステムアイテム・ユーザー年齢性別居住地資産 … ユーザーインタラクション閲覧履歴タグ付け購入保存評価メール送信履歴 … 44

レコメンデーションの戦略レコメンデーションを売り込みと様子伺いの間で行う◆売り込みユーザーの趣向にぴったり合ったアイテムを推薦◆様子伺いユーザーの新たな趣向を見つけるためユーザーの趣向に合わないアイテムを提示 →例：いくつかのアイテムをランダムに選ぶなど 46

レコメンデーションの手法アイテムベースアイテムの類似アイテムを分析・推薦分析手法分析・推薦対象類似度算出の対象コンテンツベースコラボレーションベース（協調フィルタリング）アイテムアイテムの類似ベースアイテム 48

アイテムベース分析アイテムベースアイテムの類似アイテムを分析・推薦アイテムアイテムアイテムアイテム A B C D ユーザー 1 49

アイテムベース分析アイテムベースアイテムの類似アイテムを分析・推薦アイテムアイテムアイテムアイテム A B C D 好むユーザー 1 50

アイテムベース分析アイテムベースアイテムの類似アイテムを分析・推薦類似アイテムアイテムアイテムアイテム A B C D 好むユーザー 1 51

アイテムベース分析アイテムベースアイテムの類似アイテムを分析・推薦類似アイテムアイテムアイテムアイテム A B C D 好むレコメンドユーザー 1 52

レコメンデーションの手法ユーザーベース類似ユーザーを分析、好むアイテムを推薦分析手法分析・推薦対象類似度算出の対象コンテンツベースコラボレーションベース（協調フィルタリング）アイテムアイテムの類似ベースアイテムユーザーユーザーの類似ベースユーザーが好むアイテム 53

ユーザーベース分析ユーザーベース類似ユーザーを分析、好むアイテムを推薦アイテムアイテムアイテムアイテム A B C D ユーザーユーザーユーザー 1 2 3 54

ユーザーベース分析ユーザーベース類似ユーザーを分析、好むアイテムを推薦アイテムアイテムアイテムアイテム A B C D ユーザーユーザーユーザー 1 2 3 類似 55

ユーザーベース分析ユーザーベース類似ユーザーを分析、好むアイテムを推薦アイテムアイテムアイテムアイテム A B C D 好むユーザーユーザーユーザー 1 2 3 類似 56

ユーザーベース分析ユーザーベース類似ユーザーを分析、好むアイテムを推薦アイテムアイテムアイテムアイテム A B C D レコメンド好むユーザーユーザーユーザー 1 2 3 類似 57

AGENDA ◆自己紹介 ◆ソーシャルウェブとレコメンデーション ◆レコメンデーション ●レコメンデーションとは ●２つのレコメンド経路 ●類似度によるレコメンド手法 ○コンテンツベースフィルタリング ○協調フィルタリング ●その他のレコメンド手法 ●開発用ライブラリ ◆最後に 58

類似度算出法の種類類似度算出法の種類コンテンツベースと協調フィルタリング分析手法分析・推薦対象類似度算出の対象コンテンツベース協調フィルタリングアイテムアイテムの類似アイテムのユーザー行動ベースアイテムタームベクトル（購入、閲覧、保存、評価、ブックマークなど）ユーザーユーザーの類似ユーザープロファイルのベースユーザーが好むタームベクトルアイテム（年齢、ユーザー、居住地、資産） 59

類似度算出法の種類類似度算出法の種類コンテンツベースとコラボレーションベース類似度算出法分析対象算出概要コンテンツコンテンツ内容ベクトル空間モデルベースアイテムコンテンツを「ターム(用語)ベクトル」で表ユーザープロファイル現。タームベクトル距離を算出・レコメンド協調フィルタリングユーザー行動メモリベース購入、閲覧、保存、評価、類似ユーザー群を見つけ好みを合成し、ブックマークなどアイテムの予測評価を算出・レコメンド。（ユーザー・アイテムデータセット）モデルベース過去の行動からユーザーモデル化し、アイテムの予測評価を算出・レコメンド。 60

類似度算出法の種類コンテンツベースコンテンツのターム(用語)ベクトルの類似度を算出する類似度算出法分析対象算出概要コンテンツコンテンツ内容ベクトル空間モデルベースアイテムコンテンツを「ターム(用語)ベクトル」で表ユーザープロファイル現。タームベクトル距離を算出・レコメンド協調フィルタリングユーザー行動メモリベース購入、閲覧、保存、評価、類似ユーザー群を見つけ好みを合成し、ブックマークなどアイテムの予測評価を算出・レコメンド。（ユーザー・アイテムデータセット）モデルベース過去の行動からユーザーモデル化し、アイテムの予測評価を算出・レコメンド。 61

類似度算出法の種類コンテンツベースアイテムの情報やユーザープロファイルのコンテンツを分析アイテム提示のアイテムの情報コンテキストアイテムのコンテンツ検討中アイテムのカテゴリ … ユーザーレコメンデーションレコメンドされたプロファイルシステムアイテム・ユーザー年齢性別居住地資産 … ユーザーインタラクション閲覧履歴タグ付け購入保存評価メール送信履歴 … 63

ベクトル空間モデルコンテンツをTerm(用語)の N次元のベクトルで表現 Term3 Term1 Term2 64

ベクトル空間モデル文書集合中に現れる用語 wi を第 i 次元に設定第 i 次元の値は、文書中に用語 wi が現れた頻度文書例 [文書1] 私/は/茨城/県/に/ある/茨城/大学/の/学生/です/。 [文書2] 私/は/茨城/県/の/日立/市/に/住ん/で/い/ます/。 [文書3] 日立/市/には/日立/の/工場/が/たくさん/あり/ます/。単語 (1) 私, (2)茨城, (3)県, (4)大学, (5)学生, (6)日立, (7)市, (8)工場ベクトル表現 [文書1] (1,2,1,1,1,0,0,0) [文書2] (1,1,1,0,0,1,1,0) [文書3] (0,0,0,0,0,2,1,1) 65

ベクトル空間モデル単語の重みを考慮してベクトルを作成する重み一般的な用語文書の分野を推定できる単語 ⇒ 軽くする ⇒重くする TF*IDF法 66

重み付け：TF*IDF法文章中の特徴的な単語を抽出するためのアルゴリズムＴFとIDFの２つの指標で計算 TFIDF =TF＊IDF ◆TF (Term Frequency) 単語の出現頻度 ◆IDF (Inverse Document Frequency) 文書の逆出現頻度一般語フィルタとして働く。多くの文書に出現する語は重要度が下がる文書総数単語 iを含む文書数 67

コンテンツの類似度：タームベクトル距離近さ距離の近さから類似コンテンツを抽出する ■単純な計算ユークリッド距離から求める ■ 類似度を測る手法・余弦尺度(cos) ベクトル空間での方向の類似度を表す長さが１に正規化されている場合、ユークリッド距離と等価 θ ・Jaccard係数カテゴリカルなデータに対しても適用できる 68

類似度算出法の種類類似度算出法の種類コンテンツベースとコラボレーションベース類似度算出法分析対象算出概要コンテンツコンテンツ内容ベクトル空間モデルベースアイテムコンテンツを「ターム(用語)ベクトル」で表ユーザープロファイル現。タームベクトル距離を算出・レコメンド協調フィルタリングユーザー行動メモリベース購入、閲覧、保存、評価、類似ユーザー群を見つけ好みを合成し、ブックマークなどアイテムの予測評価を算出・レコメンド。（ユーザー・アイテムデータセット）モデルベース過去の行動からユーザーモデル化し、アイテムの予測評価を算出・レコメンド。 70

協調フィルタリング協調フィルタリングユーザー行動（ユーザー・アイテムデータ）を分析類似度算出法分析対象算出概要コンテンツコンテンツ内容ベクトル空間モデルベースアイテムコンテンツを「ターム(用語)ベクトル」で表ユーザープロファイル現。タームベクトル距離を算出・レコメンド協調フィルタリングユーザー行動メモリベース購入、閲覧、保存、評価、類似ユーザー群を見つけ好みを合成し、ブックマークなどアイテムの予測評価を算出・レコメンド。（ユーザー・アイテムデータセット）モデルベース過去の行動からユーザーモデル化し、アイテムの予測評価を算出・レコメンド。 71

協調フィルタリング協調フィルタリングユーザー行動（ユーザー・アイテムデータ）を分析アイテム提示のアイテムの情報コンテキストアイテムのコンテンツ検討中アイテムのカテゴリ … ユーザーレコメンデーションレコメンドされたプロファイルシステムアイテム・ユーザー年齢性別居住地資産 … ユーザーインタラクション閲覧履歴タグ付け購入保存評価メール送信履歴 … 72

協調フィルタリング：アルゴリズムアルゴリズム 1. 類似アイテム（またはユーザー）を見つける 2. 類似アイテム（またはユーザー）を利用し、予測する 73

協調フィルタリング：データ表現アイテムを N次元のユーザー行動ベクトルで表現 User3 User1 User2 75

協調フィルタリング：データ表現ユーザー-アイテム行列を扱う例：アイテムのユーザー評価 User1 User2 User3 … Item1 3 2 1 … Item2 4 2 3 … Item3 2 4 5 … …. … … … … 76

協調フィルタリング：類似度計算ユーザー-アイテム行列から３つの類似度計算の手法 ◆コサインベース (Cosine-based similarity computation) ◆相関ベース (Correlation-based similarity computation) ◆調整コサインベース (Adjusted cosine-based similarity computation) 77

類似度の算出：コサインベースコサインベースの類似度計算 (Cosine-based similarity computation)Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 79

類似度の算出：コサインベースコサインベースの類似度計算 (Cosine-based similarity computation)Item間類似度 ①Item Vectorの正規化 User1 User2 User3 Item1 0.818 0.5345 0.2673 正規化 Item2 0.7428 0.3714 0.557 Item3 0.2981 0.5963 0.7454 Item間類似度 ②Item Vectorの内積 Item1 Item2 Item3 Item1 1 0.943 0.757 Item2 0.7428 1 0.858 Item3 0.2981 0.5963 1 80

類似度の算出：コサインベースコサインベースの類似度計算 (Cosine-based similarity computation)User間類似度 ①User Vectorの正規化正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 81

類似度の算出：コサインベースコサインベースの類似度計算 (Cosine-based similarity computation)User間類似度 ①User Vectorの正規化正規化 User1 User2 User3 Item1 0.5571 0.4082 0.1690 Item2 0.7428 0.4082 0.5071 Item3 0.3714 0.5071 0.8452 User間類似度 ②User Vectorの内積 User1 User2 User3 User1 1 0.83 0.78 User2 0.83 1 0.97 User3 0.78 0.97 82

類似度の算出：相関ベース相関ベースの類似度計算 (Correlation-based similarity computation)Itemの相関行列 Item間の相関を見る (分散共分散行列) R: ItemのUser評価行列成分 : Item i に対する User uの評価 User1 User2 User3 … Item1 R11 R12 R13 … Item2 R21 R22 R23 … … … … … … : Item i のUser評価平均 : User数 84

類似度の算出：相関ベース相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 85

類似度の算出：相関ベース相関ベースの類似度計算 (Correlation-based similarity computation) ①Itemの評価平均からの差分行列 User1 User2 User3 評価平均 Item1 1 0 -1 からのずれ値 Item2 1 -1 0 Item3 -5/3 1/3 4/3 Item間相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.5 -0.982 Item2 0.5 1 -0.655 Item3 -0.982 -0.655 1 86

類似度の算出：相関ベース相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分行列からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 87

類似度の算出：相関ベース相関ベースの類似度計算 (Correlation-based similarity computation) 評価平均 ①Userの評価平均からの差分行列からのずれ値 User1 User2 User3 Item1 0 -0.4083 -0.7071 Item2 0.7071 -0.4083 0 Item3 -0.7071 0.8166 0.7071 User間相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 88

類似度の算出：調整コサインベース調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) Userごとの評価の振れ幅の補正（Item i のUser評価平均）ではなく : User uの評価平均を使用調整コサイン行列 R: ItemのUser評価行列成分 : Item i に対する User uの評価 : User数 90

類似度の算出：調整コサインベース調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分行列からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 91

類似度の算出：調整コサインベース調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) User評価平均 ①Userの評価平均からの差分行列からのずれ値 User1 User2 User3 Item1 0 -2/3 -2 Item2 1 -2/3 0 Item3 -1 4/3 2 Item間相関行列 ②Item Vectorの規格化・内積 Item1 Item2 Item3 Item1 1 0.1754 -0.891 Item2 0.1754 1 0.604 Item3 -0.981 0.604 1 92

類似度の算出：調整コサインベース調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 93

類似度の算出：調整コサインベース調整コサインベースの類似度計算 (Adjusted cosine-based similarity computation) ①Itemの評価平均からの差分行列 User1 User2 User3 Item評価平均 Item1 1 1 -1 からのずれ値 Item2 1 -1 0 Item3 -5/2 0 4/3 User間相関行列 ②User Vectorの規格化・内積 User1 User2 User3 User1 1 -0.675 -0.884 User2 -0.675 1 -0.253 User3 -0.884 -0.253 1 94

協調フィルタリング：評価予測類似アイテム・ユーザーを利用し予測する 96

協調フィルタリング：評価予測類似アイテム・ユーザーを利用し予測するK近傍法 K個の近いアイテム・ユーザーの評価を偏差を重み付けして和を取る 97

協調フィルタリング：評価予測類似アイテム・ユーザーを利用し予測するK近傍法 K個の近いアイテム・ユーザーの評価を偏差を重み付けして和を取るItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 98

協調フィルタリング：評価予測類似アイテム・ユーザーを利用し予測するK近傍法 K個の近いアイテム・ユーザーの評価を偏差を重み付けして和を取るItemのUser評価行列 Riu User1 User2 User3 平均 Item1 3 2 1 2 Item2 4 2 3 3 Item3 2 4 5 11/3 平均 3 8/3 3 26/3 相関ベース類似度計算User間相関行列 Cuv User1 User2 User3 User1 1 -0.866 -0.5 User2 -0.866 1 0.87 User3 -0.5 0.87 1 99

協調フィルタリング：評価予測類似アイテム・ユーザーを利用し予測するK近傍法 K個の近いアイテム・ユーザーの評価を偏差を重み付けして和を取るItemのUser評価行列 Riu User1のItem1への評価期待値 User1 User2 User3 平均 =User1の平均評価 Item1 3 2 1 2 Item2 4 2 3 3 +User2の重みづき偏差 Item3 2 4 5 11/3 +User3の重みづき偏差平均 3 8/3 3 26/3 =R1 相関ベース類似度計算 +C12/(C12+C13)*(R12 –R2)User間相関行列 Cuv +C13/(C12+C13)*(R13 –R3) User1 User2 User3 User1 1 -0.866 -0.5 =4.2 User2 -0.866 1 0.87 User3 -0.5 0.87 1 100

Amazon協調フィルタリング 101

Amazon協調フィルタリング世界で最も知られている協調フィルタリング Amazon.co.jp 検索・閲覧レコメンデーション 102

Amazon協調フィルタリング世界で最も知られている協調フィルタリング ◆アイテム-アイテム協調フィルタリングアイテムベース同じアイテムを見たユーザーには、同じアイテムを推薦ユーザー数に依存せずスケールする処理 ①アイテム-推薦アイテムのテーブルをオフラインで作る ②ユーザーアクセス時にはテーブルを参照するだけ 103

Amazon-アイテム-アイテム協調フィルタリングアイテム-アイテム協調フィルタリングアルゴリズム User1 User2 User3 User4 Item1 1 1 Item2 1 1 Item3 1 1 1 Item4 1 1 104

Amazon-アイテム-アイテム協調フィルタリングアイテム-アイテム協調フィルタリングアルゴリズム 1. 空のアイテム-アイテムの行列を作る User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 105

Amazon-アイテム-アイテム協調フィルタリングアイテム-アイテム協調フィルタリングアルゴリズム 1. 空のアイテム-アイテムの行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム（親アイテム）を購入した顧客全てに対し購入アイテム（子アイテム）をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 Item3 1 1 1 Item3 Item4 1 1 Item4 106

Amazon-アイテム-アイテム協調フィルタリングアイテム-アイテム協調フィルタリングアルゴリズム 1. 空のアイテム-アイテムの行列を作る 2. 全アイテムに関し次の処理を行う 2-1. あるアイテム（親アイテム）を購入した顧客全てに対し購入アイテム（子アイテム）をカウントする。 2-2. 親アイテム列・子アイテム行にカウント数を入れる 2-3. 親アイテム列のカウント数上位を推薦アイテムとする User1 User2 User3 User4 Item1 Item2 Item3 Item4 Item1 1 1 Item1 1 2 Item2 1 1 Item2 1 1 1 Item3 1 1 1 Item3 2 1 1 Item4 1 1 Item4 1 107

レコメンデーションの手法レコメンデーションの手法分析手法分析・推薦対象類似度算出の対象コンテンツベースコラボレーションベース（協調フィルタリング）アイテムアイテムの類似アイテムのユーザー行動ベースアイテムタームベクトル（購入、閲覧、保存、評価、ブックマークなど）ユーザーユーザーの類似ユーザープロファイルのベースユーザーが好むタームベクトルアイテム（年齢、ユーザー、居住地、資産） 108

類似度の計算手法利点と難点類似度算出法利点難点コンテンツ ◆少ないデータでも動作： ◆コンテンツの質が評価不可：ベース行動履歴が少ない新規ユーザー・タームベクトルのみ用いる。記事がアイテムに対しても適用できる。良し悪しはアルゴリズムには分からない。協調フィルタリン ◆コンテンツの質が評価可能： ◆少ないデータの予測能力がグ例：PageRank(Google)：リンク構造低い： ◆展開が容易：行動履歴が少ない新規ユーザー・アイテムに対し精度が低い。・言語に依存しない（※通常、十分な数の評価がある・画像、音楽、動画へも同様に適用まで、新規ユーザー・アイテムを推アイテムをブラックボックスとして扱薦しない）えるため。（コンテンツ情報を必要としない） 109

類似度の計算手法２手法を合成しての適用◆コンテンツベースとコラボレーションベースの結果を合成◆十分な数の評価が行われるまでは、コンテンツベース◆時期、月、週などの情報をレコメンデーションに反映… 116

分析手法の特性分析手法の特性アイテムリストの変化推薦対象低頻度高頻度アイテムアイテムベース分析ユーザーベース分析（例：ニュースサイト。ニュース記事が頻繁に更新）ユーザーユーザーベース分析空間次元数（アイテム・ユーザー）小さい次元数の対象の方法を扱うほうが容易計算速度アイテムベースのアルゴリズムのほうが速い（経験則） 117

類似度以外からのレコメンデーション類似度算出以外のレコメンデーションルールベースレコメンドのルールを決め、ルールに従いレコメンド。例：紙おむつ買う → ビールを勧める ※ルール作成にアソシエーション分析も用いられる。 ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」 119

類似度以外からのレコメンデーション類似度算出以外のレコメンデーションルールベースレコメンドのルールを決め、ルールに従いレコメンド。例：紙おむつ買う → ビールを勧める ※ルール作成にアソシエーション分析も用いられる。 ⇒5/22のTokyo.Rで話します。「R言語によるアソシエーション分析」ベイジアンネットワーク過去事象から、事象発生の確率ネットワークを作成。各事象に対し、遷移確率が高い先をレコメンド。 120

開発用ライブラリ（Java） Java データマイニングライブラリ Lucene Apache Lucene。オープンソースの全文検索エンジン。サブプロジェクトに分散検索の「Hadoop」、 Hadoop上で動く機械学習の「Mahout」がある。ＷEKA オープンソースのデータマイニングフレームワーク。前処理、分類、回帰、クラスタリング、相関ルール、可視化 JDM（Java Data Mining）データマイニングの標準API構築を目指されている。分類、回帰、クラスタリング、属性重要度、相関ルール、多変量解析、時系列分析、異常検出、変換、テキストマイニング多目標モデル。 124

最後に蓄積されたデータを有効活用してきたい 126

最後に蓄積されたデータを有効活用してきたい Google Group： http://groups.google.com/group/webmining-tokyo 127

最後にデータマイニング+WEB勉強会発表者を募集しています連絡 Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 128

ご清聴ありがとうございました 129

目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析はてな Web Service 判別分析主成分分析因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワークサポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的熱力学的シミュレーテドアニーリング力学モデルによる最適化タブーサーチグラフ … 最適解探索アルゴリズム 131

推薦文献・動画 132

推薦文献集合知イン・アクション集合知プログラミング 133

推薦文献確率モデルによるWebデータ解析法 - データマイニング技法からe-コマースまでソーシャル・ウェブ入門 Google, mixi, ブログ・・・新しいWeb世界の歩き方 134

推薦動画 Social Media Revolution 2 2010/05/05 http://www.youtube.com/watch?v=lFZ0z5Fm-Ng Social Media Revolution 2009/07/30 http://www.youtube.com/watch?v=sIFYPQjYhv8 135

http://d.hatena.ne.jp	462
http://www.slideshare.net	85
http://a0.twimg.com	4
https://twitter.com	3
https://si0.twimg.com	2
http://favtile.com	2
http://paper.li	1
http://www.health.medicbd.com	1
https://twimg0-a.akamaihd.net	1
http://twib.jp	1

ソーシャルウェブとレコメンデーション－第４回データマイニング+WEB勉強会＠東京

by Koichi Hamada on May 15, 2010

Accessibility

Categories

Upload Details

Usage Rights

10 Embeds 562

Statistics