More Related Content
Recently uploaded
Recently uploaded (14)
Featured
Featured (20)
MMDs Chapter 5.1 PageRank
- 1. MMDs Chapter 5 Link Analysis 5.1 PageRank
- 2. 5.1 PageRank • 2000年代、googleのような検索エンジンで我々の 生活は大きく変化した • googleは最も早い検索エンジンではなかったが最 初にスパマーに打ち勝った検索エンジン • googleのイノベーションは PageRank によっても たらされた
- 3. 5.1.1 Early Search Engines and Term Spam • google以前の検索エンジンの多くは、webをク ローリングしてページごとに単語の転置インデック スを作成 • クエリ検索はこの転置インデックスから求める • スパマーはページに単語をたくさん書けば良かった
- 4. スパムに打ち勝つために googleが導入した方法 1. PageRankの考案 (詳細は次スライド)。PageRankはラン ダムサーファーをシミュレートすることで計算する 2. ページの内容はそのページに出現する単語だけでなく、そ のページへのリンクに使われた語からも判断 スパマーは評価を上げたいサイトへリンクをある偽サイト を作ることは可能だが、結局それらのページには外部から リンクが張られないため、ランダムサーファーをシミュレー トすることで計算するPageRankは偽サイトに対しては低 くなる
- 5. なぜランダムサー ファーのシミュレー トがページ評価につながるか? • ユーザは基本的に良いページにリンクを張る • ランダムサーファーの挙動はどのページにユーザが 訪れやすいかを示すものになる。
- 6. 5.1.2 Definition of PageRank • PageRank は ランダムサーファーが最終的にどの ページにたどり着くかの確率分布 • 例, webは有向グラフで表す Mは推移行列, Mij は j から i へ移動する確率、各 列の総和は1
- 7. PageRankの計算 • ランダムサーファーの初期位置は全てのページに等しい確率で分 布するとする。ベクトルで表現すると v_0 = ^t(1/n,1/n,…,1/n) • (^tはtranspose) 1回移動したあとの確率分布v_1は定義より Mv_0, 2回移動した 後は Mv_1 = M^2 v_0, n 回なら M^n v_0 • 以下の2つの条件が成り立つとき、 v = Mv となるようなvが存 在することが知られている 1. グラフは強連結、つまり任意の2点に有向路が存在 2. 外へのリンクが一つもないノード(dead end)が存在しない
- 8. PageRankの計算(cond) • 定義より、 v_n = M v_n-1 = M^2 v_n-2 = … = M^n v_0 • つまり、 v = Mv となるようなベクトルは M^n のn無限大の極限 を計算すれば良い • 別の見方をするとvはMの固有値1に対する固有ベクトルで、その要 素の総和が1のもの • 実は推移行列Mの最大固有値は1 • 一般に行列の最大固有値とその固有ベクトルはベキ乗法で求められ る
- 10. 5.1.3 Structure of the Web • Webが強連結であれば先ほどの定義で良いが、実 際は違う
- 11. PageRank計算のために考え なけらばならないこと • Pagerank計算のためには以下の二つに対処しなけ ればならない 1. dead end, 頂点は外へのリンクを持たない 2. spider trap, 頂点は外へのリンクを持つものの、 あるグループより外へのリンクがない • 2つとも taxation で解決できる
- 12. 5.1.4 Avoiding Dead Ends • dead end があるとPageRankは0になってしまう
- 13. dead endの対応方法 1. dead endなノードを取り除く。そうすると別の dead end が生じることがあるので再帰的に処理 する。グラフは最終的には強連結になる。 2. taxation メソッドを使う(後のスライド)
- 14. dead endを取り除いて PageRankを計算する • 以下のようにすればdead endなので取り除いたノードに大しても PageRankを計算することができる • dead endなノードを除いたグラフでPageRankを計算 • グラフにdead end なノードvを追加する。このときvのページランク は、 Σ(PR(u)/L(u)) で定義する。ここでuはvへのリンクを持つノード、PR(u)がuのページ ランク、L(u)がuの総リンク数 • こうして計算したPageRankは総和が1を超えるので確率分布ではなく なるが、ページの重要度を計るのに十分有用な判断基準になる。
- 15. dead endを取り除いて PageRankを計算する: 例 • ノードCのPageRankを考える CはAとDからリンクされている AのPageRankは2/9で、Aの総リンク数は3 DのPageRankは3/9で、Dの総リンク数は2, よって CのPageRank = 2/9 * 1/3 + 3/9 * 1/2 = 13/54 • EのPageRankはCからしかリンクが張られていないのでCと同じ13/54
- 16. 5.1.4 Spider Traps and Taxation • Spider Trapとは? CがSpider TrapなのでそのPageRankは1
- 17. dead endやspider trapに対 抗するためのPageRankの修正 以下のようにPageRankを修正する • ここで βは ある定数(実際は0.8 0.9) eは全ての要素が1のベクトル • この式は(1-β)の確率でランダムサーファーは任意のwebページにジャ ンプすることを示している • このように式を変形してもベクトルの要素の総和が1であるという条件 に変化はないことに注意 • ノードがdead endのときは そのノードに対応する列の推移確率を全 て1/N とする (常にジャンプすることを意味する)
- 19. 5.1.6 Using PageRank in a Search Engine • 実際の検索エンジンでPageRankはどう使われるか？ • googleは250を超える要素でランク付けをおこなっ ている。PageRankはそのうちの一つ • 一般に、まず検索エンジンはクエリの単語を含むペー ジをとってくる • そうしてとってきた候補ページの順序を決定するため の重要な判断基準の一つがPageRank
- 20. 補足: PageRankの定義 • このスライドでは、PageRankは推移行列をある初期 ベクトル(総和1)に無限回かけた物として定義した • dead end なノードを取り除いてPageRankを計算す る方法で使用した定義でもPageRankを定義できる(オ リジナルはこれで定義されている)。つまり、あるノー ドAのPageRank PR(A)は PR(A) = (1-β)/N + βΣ(PR(u)/L(u)) ここでuはAへリンクを持つノード、L(u)はuの総リン ク数。またPRの総和は1という条件がある。
- 22. 補足2:RによるPageRankの実装 #反復法 # 固有ベクトルからPageRankを計算 #M : 推移確率行列 pageRank2 <- function(M,d){ #d: damping factor N <- nrow(M) #eps epsilon M2 = d * M + (1-d)/N * matrix(1,N,N) pageRank <- function(M,d,eps){ eig <- eigen(M2) N <- nrow(M) v <- eig$vectors[,1] v <- (numeric(N) + 1) / N # 初期分布 if(v[1] < 0){ v2 <- (numeric(N)+10000) v <- v * (-1) M2 = d * M + (1-d)/N * matrix(1,N,N) } cnt <- 1 v <- v / sum(v) ! v while(norm(as.matrix(v-v2,"F")) > eps){ } v2 <- v v <- M2 %*% v # 逆行列による計算 cnt <- cnt + 1 # v = dMv + (1-d)/N1 より v = (I-dM)^-1((1-d)/N1)) } pageRank3 <- function(M,d){ ! N <- nrow(M) cat("iteration count: ",cnt,"n"); M2 = diag(N) - d*M v inv_M2 = solve(M2) } v <- inv_M2%*%((1-d)/N*matrix(1,N,1)) ! v }
- 23. 補足2:RによるPageRankの実装 (cond) # テストコード (1000x1000 の適当な確率推移行列のPageRankを計算) N <- 1000 M <- matrix(0,N,N); # 結果 for(i in 1:N){ #[1] "Iteration Method" x <- as.integer(runif(1)*(N/10)) #iteration count: 10 if(x != 0){ # ユーザ システム 経過 # 0.161 for(j in 1:x){ 0.147 0.010 k <- as.integer(runif(1)*(N-1))+1 #[1] "EigenVector" while(M[k,i] != 0){ # ユーザ システム 経過 # 34.255 k <- as.integer(runif(1)*(N-1))+1 33.059 0.111 } #[1] "Inverse Matrix" M[k,i] = 1/x # ユーザ システム 経過 # 6.084 } }else{ for(j in 1:N){ M[j,i] = 1/N } } } print("Iteration Method") system.time(pageRank(M,0.8,1e-7)) print("EigenVector") system.time(pageRank2(M,0.8)) print("Inverse Matrix") system.time(pageRank3(M,0.8)) 5.905 0.019