Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DPIを使ったリコメンド

27 views

Published on

DPIを使ったリコメンド手法について

Published in: Technology
  • Be the first to comment

  • Be the first to like this

DPIを使ったリコメンド

  1. 1. DPI情報を利用した滞在時間と基いた   Webページリコメンデーション   Ken  Takagiwa  
  2. 2. Who  am  I?   たかぎわ けんいち   諭吉大学修士2年   Web  Designer(というか雑用)  @  Burning  Galaxy   Marke?ng  Assistant  @SunBridge  in  SV   Co-­‐Funder  @  Codeal.inc   SoJware  Engineer  Intern  @  Cisco  systems  in  SV   趣味:  サッカー,  模写,  料理  
  3. 3. Who  am  I?   たかぎわ けんいち   諭吉大学修士2年   Web  Designer(というか雑用)  @  Burning  Galaxy   Marke?ng  Assistant  @SunBridge  in  SV   Co-­‐Funder  @  Codeal.inc   SoJware  Engineer  Intern  @  Cisco  systems  in  SV   趣味:  サッカー,  模写,  料理  
  4. 4. ネットワーク系の人が     トラフィックからL7の情報使ってリコメンデーションやってみた。  
  5. 5. 背景   ネットワークに流れる情報の増大    正しい情報の判断が難しい    無駄な時間を消費   キュレーションサービスの需要が高まる  
  6. 6. 情報収集手法   ユーザの興味を測る情報   Webページの情報   サーバのアクセスログ   クローリング   情報   収集   方法   問題点   情報が限定的   ネットワークの負荷の増大   解決   すべてのサーバ-­‐クライアントの 通信を取得   受動的な情報取得による   ネットワークの負荷の軽減     サービス指向ルータ(SoR)  :    DPIによりペイロードが解析可能なルータ    
  7. 7. 提案手法   滞在時間を考慮したWebページリコメンデーションサービス サービス指向ルータにて取得した情報を利用 ・サイト横断的なWebページの推薦が可能 ・情報収集のためのネットワーク負荷を軽減 評価指標として滞在時間を導入 ・滞在時間が長いWebページほどユーザが高い興味を所有 ・時間に応じて評価値を振り分けることにより,個人の特徴付けが可能
  8. 8. インターネットトラフィック情報取得   NEGI:  SoR  Simulator  (C++)  
  9. 9. コンテキストスイッチを応用した   TCP  Reconstruc?on  
  10. 10. 閲覧履歴・滞在時間とは   閲覧履歴   •  Webページを表示する際の最初のHVp  GET  requestの集合   •  HVp  Request  HeaderのRefererでつながった連続を一つのグループとして考える     滞在時間   •  一つ前のHVp  Get  Requestとの差分   GET  /in-­‐japanese/projects-­‐j/  HTTP/1.1   Host:  www.west.sd.keio.ac.jp   Connec?on:  keep-­‐alive   …中略…   Referer:  hVp://www.west.sd.keio.ac.jp/in-­‐japanese   HVp  Request  Headerの例  
  11. 11. 閲覧履歴・滞在時間とは   閲覧履歴   •  Webページを表示する際の最初のHVp  GET  requestの集合   •  HVp  Request  HeaderのRefererでつながった連続を一つのグループとして考える     滞在時間   •  一つ前のHVp  Get  Requestとの差分   foo.com   GET  /in-­‐japanese/projects-­‐j/  HTTP/1.1   Host:  www.west.sd.keio.ac.jp   Connec?on:  keep-­‐alive   …中略…   Referer:  hVp://www.west.sd.keio.ac.jp/in-­‐japanese   HVp  Request  Headerの例  
  12. 12. 閲覧履歴・滞在時間とは   閲覧履歴   •  Webページを表示する際の最初のHVp  GET  requestの集合   •  HVp  Request  HeaderのRefererでつながった連続を一つのグループとして考える     滞在時間   •  一つ前のHVp  Get  Requestとの差分   foo.com   foo.com/bar   GET  /in-­‐japanese/projects-­‐j/  HTTP/1.1   Host:  www.west.sd.keio.ac.jp   Connec?on:  keep-­‐alive   …中略…   Referer:  hVp://www.west.sd.keio.ac.jp/in-­‐japanese   HVp  Request  Headerの例  
  13. 13. 閲覧履歴・滞在時間とは   閲覧履歴   •  Webページを表示する際の最初のHVp  GET  requestの集合   •  HVp  Request  HeaderのRefererでつながった連続を一つのグループとして考える     滞在時間   •  一つ前のHVp  Get  Requestとの差分   foo.com   foo.com/bar   Referer:  foo.com   GET  /in-­‐japanese/projects-­‐j/  HTTP/1.1   Host:  www.west.sd.keio.ac.jp   Connec?on:  keep-­‐alive   …中略…   Referer:  hVp://www.west.sd.keio.ac.jp/in-­‐japanese   HVp  Request  Headerの例  
  14. 14. 閲覧履歴・滞在時間とは   閲覧履歴   •  Webページを表示する際の最初のHVp  GET  requestの集合   •  HVp  Request  HeaderのRefererでつながった連続を一つのグループとして考える     滞在時間   •  一つ前のHVp  Get  Requestとの差分   foo.com   foo.com/bar   baz.com   GET  /in-­‐japanese/projects-­‐j/  HTTP/1.1   Host:  www.west.sd.keio.ac.jp   Connec?on:  keep-­‐alive   …中略…   Referer:  hVp://www.west.sd.keio.ac.jp/in-­‐japanese   HVp  Request  Headerの例  
  15. 15. 閲覧履歴・滞在時間とは   閲覧履歴   •  Webページを表示する際の最初のHVp  GET  requestの集合   •  HVp  Request  HeaderのRefererでつながった連続を一つのグループとして考える     滞在時間   •  一つ前のHVp  Get  Requestとの差分   foo.com   foo.com/bar   Referer:  foo.com/bar   baz.com   GET  /in-­‐japanese/projects-­‐j/  HTTP/1.1   Host:  www.west.sd.keio.ac.jp   Connec?on:  keep-­‐alive   …中略…   Referer:  hVp://www.west.sd.keio.ac.jp/in-­‐japanese   HVp  Request  Headerの例  
  16. 16. 閲覧履歴・滞在時間とは   閲覧履歴   •  Webページを表示する際の最初のHVp  GET  requestの集合   •  HVp  Request  HeaderのRefererでつながった連続を一つのグループとして考える     滞在時間   •  一つ前のHVp  Get  Requestとの差分   foo.com   foo.com/bar   Referer:  foo.com/bar   baz.com   GET  /in-­‐japanese/projects-­‐j/  HTTP/1.1   Host:  www.west.sd.keio.ac.jp   Connec?on:  keep-­‐alive   …中略…   Referer:  hVp://www.west.sd.keio.ac.jp/in-­‐japanese   HVp  Request  Headerの例  
  17. 17. 閲覧履歴のClean  up   Base  URL   Subordina?on  URL  
  18. 18. 閲覧履歴のClean  up   Subordina?on  URLを削除するフィルタが必要     1.  Refererフィルタ   2.  Content-­‐Typeフィルタ   3.  Timestampフィルタ   4.  Responseフィルタ   5.  URLフィルタ   6.  Titleフィルタ  
  19. 19. フィルタ   1.  Refererフィルタ   Subordina?on  URLのRefererはBase  URLと異なる   Refererが変化した直前のURL以外を削除     2.  Content-­‐Typeフィルタ   Base  URLのContent-­‐Typeは”text/html”であるため,それ以外のContent-­‐ Typeを持つURLを削除     3.  Timestampフィルタ   Subordina?on  URLはBase  URLに対するレスポンスを取得後,自動的におこ なわれる   リクエストタイムスタンプ差が閾値より短ければ削除      
  20. 20. フィルタ   4.  Responseフィルタ   リクエストURLに対するレスポンスの中にHTMLタグ(<?tle>)が存在しないリクエストを 削除     5.  URLフィルタ   URLに指定文字列が含まれている場合に削除   Ex:  拡張子(“.css”,  “.png”),静的ディレクトリ(/assets/),ホスト(”ad.”,  “api.”)     6.  Titleフィルタ   タイトルに指定文字列が含まれている場合に削除   Ex:  “403  Forbidden”,  “404  Not  Found”    
  21. 21. 滞在時間を利用した予測評価値の算出 •  Webページ滞在時間はワイブル分布に従う*   –  ワイブル分布:時間経過に伴う故障発生確率を示すモデル   •  故障発生をWebページからの離脱と考える   •  パラメータはユーザごとのサンプルを使用し,最尤法により決定   •  ワイブル分布における確率分布関数を値に応じて3等分し,   それぞれエリアにおいて1から3の評価値をつける   •  複数回の閲覧には,滞在時間の平均値を使用   0   0.1   0.2   0.3   0.4   0.5   0.6   0.7   0.8   0.9   0   50   100   150   200   250   300   P(t) Browsing  Time[s] 1 2 3 Time  out  is  over  1800  seconds   *Chao  Liu  and  Ryen  W.  White  and  Susan  Dumais.  Understanding  Web  Browsing  Behaviors  through  Weibull  Analysis  of  Dwell  Time.  SIGIR2010  
  22. 22. Webページ推薦方法   1.  対象となるユーザと,他ユーザとのピアソン相関を算出   2.  対象となるユーザの未評価Webページに対する予測値を          他ユーザの評価値の加重平均によって算出   3.  予測評価値の高いWebページを推薦  
  23. 23. 推薦システムの評価   22人のユーザに対し,A/Bテストを実施した     A(B):提案手法     B(A):頻度を予測評価値の算出に利用した手法     手法 票数 提案手法 15 頻度に基づく手法 7 データ   2013年10月22日〜2014年1月22日(93日)の期間に当研究室から取得したもの   32,362件 のWebページ  
  24. 24. まとめ   ルータにて取得した情報に基づくWebページリコメンデーションサービスを提案した 滞在時間からユーザのWebページに対する評価値を予測し, 協調フィルタリングを適用した 頻度に基づく場合に比べ,約70%のユーザに支持されるシステムを実現した
  25. 25. ワイブル分布   物体の強度を統計的に記述するためにW.ワイブル(Waloddi  Weibull)に よって提案された確率分布   確立密度関数   k  形状パラメータ   λ  尺度パラメータ  

×