Downloaded 41 times
![固有値・固有ベクトル
• 𝓛G の第一固有ベクトルv1は自明
• v2の計算は(恐らく)NP困難
解決策
拡散方程式 𝑑𝒙 = −ℒ 𝐺 𝒙 𝑑𝑡 をシミュレートする
⇒ 小さい固有値の固有ベクトルが得られる
[定理]
v1に直交するxから拡散を始めると、
• xはv1に直交する固有ベクトルに収束
• レイリー商は単調減少](https://image.slidesharecdn.com/yyoshida-20151217-public-151217132504/85/slide-25-320.jpg)
Uploaded byYuichi Yoshida
有向グラフに対する 非線形ラプラシアンと ネットワーク解析
In this work, we introduce a new Markov operator associated with a digraph, which we refer to as a nonlinear Laplacian. Unlike previous Laplacians for digraphs, the nonlinear Laplacian does not rely on the stationary distribution of the random walk process and is well defined on digraphs that are not strongly connected. We show that the nonlinear Laplacian has nontrivial eigenvalues and give a Cheeger-like inequality, which relates the conductance of a digraph and the smallest non-zero eigenvalue of its nonlinear Laplacian. Finally, we apply the nonlinear Laplacian to the analysis of real-world networks and obtain encouraging results.
![[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...](https://cdn.slidesharecdn.com/ss_thumbnails/wgan-1-170224021826-thumbnail.jpg?width=640&height=640&fit=bounds)
有向グラフに対する 非線形ラプラシアンと ネットワーク解析
- 1.
- 2. 自己紹介 𠮷田 悠一 国立情報学研究所 情報学プリンシプル研究系准教授 専門 高速アルゴリズムの開発＆アルゴリズムの理論解析 （理論の道具を使って実用分野を荒らす）
- 3. 今日の話題 Y. Yoshida. NonlinearLaplacian for Digraphs and its Applications to Network Analysis. WSDM’16, to appear. • 有向グラフに対するスペクトルグラフ理論 • WSDM = International Conference on Web Search and Data Mining – 巨大化しすぎたWWWからスピンオフ – 採択率18.2%
- 4. 目次 • スペクトルグラフ理論 • 有向グラフでの課題 •解決策：非線形ラプラシアン
- 5.
- 6. スペクトルグラフ理論 グラフGの性質を、Gから作られる行列の固有値や固有ベク トルを通して解析する • 連結成分数 • 彩色数 •最大カット • クラスタリング • Etc. 1 2 43 G 0 1 1 0 1 1 0 1 1 0 1 1 0 1 1 0 AG λ1 = 2.56155 λ2 = 0 λ3 = -1 λ4 = -1.56155 AGの固有値
- 7. ラプラシアン • グラフＧ =(V, E) • 隣接行列AG • 次数行列DG • ラプラシアンLG = DG - AG 1 2 43 G 0 1 1 0 1 1 0 1 1 0 1 1 0 1 1 0 AG 3 0 0 2 0 0 0 0 0 0 0 0 2 0 0 3 DG 3 −1 −1 2 −1 −1 0 −1 −1 0 −1 −1 2 −1 −1 3 LG - =
- 8. ラプラシアンの解釈 • 電気回路G =(V, E) • 各枝を1オームの抵抗とみなす • 各頂点u ∈ Vに電流をb(u)アンペア流す 各頂点の電圧は LGx = bを解くことで得られる 例：(x(1) – x(2)) + (x(1) – x(3)) + (x(1) – x(4)) = 1 1 2 43 1A 1A 0.00.25 0.250.5
- 9. 正規化ラプラシアン • 正規化ラプラシアン𝓛G =DG -1/2 LG DG -1/2 = I - DG -1/2 AG DG -1/2 • 正規化ラプラシアンの固有値：0 = λ1 ≤ λ2 ≤ … ≤ λn ≤ 2 • 対応する固有ベクトル：v1 = 0, v2, …, vn 1 2 43 G 3 −1 −1 2 −1 −1 0 −1 −1 0 −1 −1 2 −1 −1 3 LG 1 − 1 3 2 − 1 2 3 1 − 1 3 2 − 1 3 3 0 − 1 2 3 − 1 2 3 0 − 1 3 3 − 1 3 2 1 − 1 2 3 − 1 3 2 1 𝓛G
- 10. 応用その１：可視化 頂点uを座標(v2(u), v3(u))に配置 直感的な理解： v2 =argminx Σ{u,v}∈E (x(u)-x(v))2 // 隣接頂点は近くに配置 s.t. Σu x(u)2du = 1, // 自明な解(0,0,…,0)を防ぐ Σu x(u) = 0 // 自明な解(1/√d1,…,1/√dn)を防ぐ See D. Spielman’s lecture note v2 v3
- 11. 応用その２：コミュニティ検出 S: 頂点集合 vol(S): S中の頂点の次数の総和 cut(S):SとV-S間の枝の本数 Sのコンダクタンス 𝜙 𝑆 : = cut(𝑆) min(vol 𝑆 ,vol 𝑉−𝑆 ) S φ(S) = 4/12 = 1/3 コンダクタンス小 → 良いコミュニティ
- 12. 応用その２：コミュニティ検出 Gのコンダクタンスφ(G) = minSφ(S) •v2からφ(S) ≤ √(2λ2)なる集合Sを計算可能 • 未だによく使われている Cheeger不等式 (‘70) λ2/2 ≤ φ(G) ≤ √(2λ2)
- 13. 有向グラフへの拡張 • 世の中の多くの関係には向きがある – Twitterのフォロー –電話の送受信 – 論文の引用 – 動物の支配行動 • スペクトルグラフ理論を有向グラフに適用したい。 • （正規化）ラプラシアンはどの様に定義する？
- 14. 有向グラフに対する正規化ラプラシアン 二つのラプラシアンが提案されている • 𝓛G =I – (DG +)-1/2 AG (DG +)-1/2 – 非対称なので、固有値・ベクトルが複素数になる – 対応するCheeger不等式が無い • Chungの正規化ラプラシアン𝓛G – 強連結でないと定義できない – 解釈にランダムウォークが必要 • v2は滞在確率が高い隣接頂点を近づける埋め込み • Cheeger不等式を得るには、滞在確率が高い頂点を 重視するようにφの定義を変える必要がある
- 15. 本研究の貢献 以下を満たすラプラシアンは無いか？ • 強連結性を必要としない • v2やCheeger不等式の解釈にRWが必要ない 考察 無向グラフのラプラシアンはx⟼ LGxという線形写像LG : ℝn→ℝnとみなせる 本研究の貢献 有向グラフ対するラプラシアンLG: ℝn→ℝnを新しく定義 • 上記の問題を解決 • 非線形写像
- 16. 非線形ラプラシアン 有向グラフGの非線形ラプラシアンLG: ℝn→ℝn ベクトルx∈ℝnからLG(x)を次の様に計算。 1. (無向)グラフHを以下の様に定義：各枝u→vに対して、 •x(u) ≥ x(v)ならば(無向)枝(u, v)を追加。 • そうでなければ自己ループをuとvに足す。 2. LHをHのラプラシアンとする 3. LG(x) = LHxとして出力 0.6 0.4 0.2 -0.2 0.6 0.4 0 0
- 17. 非線形ラプラシアンの解釈 • 電気回路G =(V, E) • 各有向枝を1オームのダイオード（＝一方向にしか電流 が流れない）とみなす • 各頂点u ∈ Vに電流をb(u)アンペア流す 各頂点の電圧は LG(x) = bを解くことで得られる 例：(x(1) – x(2)) + (x(1) – x(3)) = 1 1 2 43 1A 1A 0.00.5 0.51
- 18. 正規化非線形ラプラシアン • 正規化された非線形ラプラシアン 𝓛G(x) =DG -1/2 LG (DG -1/2(x)) • 最小固有値・ベクトル：λ1 = 0, v1 = 0 • それ以外の固有値・固有ベクトルも存在する（非自明） • v1に直交する最小の固有値・ベクトルを(λ2, v2)とする
- 19.
- 20. 可視化 v2 = argminxΣu→v (max(x(u)-x(v), 0))2 s.t. 自明な解を防ぐ 枝の向きを重視 • 枝u→vに対してx(u) ≤ x(v)となるように配置すればコスト は発生しない • 特にDAGならばλ2 = 0 参考：Chungのラプラシアン v2 = argminx Σu→v (x(u)-x(v))2 πu/du + (πu: uの滞在確率)
- 21.
- 22. コミュニティ検出 S: 頂点集合 vol(S): S中の頂点の入次数の総和＋出次数の総和 cut+(S):SからV-Sへ延びる枝の本数 Sのコンダクタンス 𝜙+ 𝑆 : = cut+(𝑆) min(vol 𝑆 ,vol 𝑉−𝑆 ) S φ(S) = 2/12 = 1/6
- 23. コミュニティ検出 Gのコンダクタンスφ+(G) = minSφ+(S) •v2からφ(S) ≤ 2√λ2なる集合Sを計算可能 参考：Chungのラプラシアン φ(S) = (定常状態にある)RWが次のステップでSから出る確率÷ (定常状態にある)RWがSに居る確率 非線形ラプラシアンのCheeger不等式 λ2/2 ≤ φ(G) ≤ 2√λ2
- 24.
- 25. 固有値・固有ベクトル • 𝓛G の第一固有ベクトルv1は自明 •v2の計算は(恐らく)NP困難 解決策 拡散方程式 𝑑𝒙 = −ℒ 𝐺 𝒙 𝑑𝑡 をシミュレートする ⇒ 小さい固有値の固有ベクトルが得られる [定理] v1に直交するxから拡散を始めると、 • xはv1に直交する固有ベクトルに収束 • レイリー商は単調減少
- 26. まとめ 有向グラフに対する非線形正規化ラプラシアンを定義 • 強連結でなくても定義可能 • v2やCheeger不等式をRWなしに解釈可能 •有向グラフの構造をよりよく解析できるようになった 今後の課題 • λ2に対する近似アルゴリズム • Sparsifierや線形連立方程式の解の高速計算を有向グラフ に拡張できるか？ • 局所的なコミュニティの検出（コミュニティサイズのみ に依存する時間で）