Downloaded 20 times
Uploaded byXiangze
Stable multi scale kernel for topological machine learning
An introduction of CVPR2015 paper
Stable multi scale kernel for topological machine learning
- 1. 1 A Stable Multi-ScaleKernel for Topological Machine Learning Jan Reininghaus, Stefan Huber, Ulrich Bauer, Roland Kwitt CVPR2015 第 30 回コンピュータビジョン勉強会＠関東 CVPR2015 読み会 2015/7/20 @xiangze750
- 2. 2 自己紹介 ● ブログ – CVPR論文の topic model による分類 ● http://xiangze.hatenablog.com/entry/2015/07/08/232921 – Persistent Homology と R の phom package, その 他 library の紹介 ● http://xiangze.hatenablog.com/entry/2014/03/29/042627 https://dl.dropboxusercontent.com/u/27452774/CVPRpapers2015_10.html
- 3. 3 目次 ● Contribution ofthis paper ● 位相的データ解析とは – 関連研究 ● Persistence Homology – Persistence diagarm ● 距離と安定性 ● Kernel – persistence scale-space kernel ● 関連研究比較 Persistent landscape – 距離の比較
- 4. 4 Contribution of thispaper ● Persistence diagram 間に kernel を定義し、そ の安定性を示した。 ● 既存の Persistence diagram 間に比べて SVM で の識別性能が向上したことを 2 種類の dataset に対して示した。 ● ● ●
- 5. 5 位相的データ解析とは ● Dataset の持つ位相的性質を分類や識別に利用 する研究 ●位相的性質 – 回転、平行移動などの全体的な動き、ノイズなどの 微小な変化では変わらない量
- 6.
- 7. 7 位相的データ解析とは ● 形式的な定義 (1) –図形の骨組み ( 単体的複体 ) – グラフとしての性質 ● betti 数 ( 位相不変量 ) – 面の数 - 辺の数 - 頂点の数 – 多次元の場合は交代和 同じ 違う
- 8. 8 位相的データ解析とは ● 形式的な定義 (2) –関数の等高線を考える – 水位をあげていったときに島と島がくっついたり離 れたりする点を結ぶ – Morse 理論
- 9. 9 関連研究 ● 免疫細胞の分類 (SPADE) –http://www.ncbi.nlm.nih.gov/pubmed/21551058 – http://www.c2b2.columbia.edu/danapeerlab/html/pub/sciencemay11.pdf ● 乳がん細胞の分類 ● http://www.pnas.org/content/108/17/7265.long ● アルツハイマー病の診断 – http://www.stat.wisc.edu/~mchung/papers/pachauri.2011.TMI.pdf – http://www.ncbi.nlm.nih.gov/pubmed/19694279 ● 自然言語処理 – http://pages.cs.wisc.edu/~jerryzhu/pub/homology.pdf 分類の指針とされることが多かった。
- 10. 10 関連研究 ● SPADE(spanning-tree progressionanalysis of density-normalized events)
- 11. 11 Persistence Homology ● データ点間の距離が一定値以下の場合には線で 結ぶ ●距離 ( 解像度 ) を変えていく (Filtration) Barcodes: The Persistent Topology of Data https://dreamtolearn.com/ryan/data_analytics_viz/46
- 12. 12 Persistence Homology ● Barcode –穴が出来る (birth) 、消える (death) 解像度の箇所を 結んだもの ● Persistance pers(x)=death(x)-birth(x) pers(x) x
- 13. 13 Persistence Diagram ● 解像度、等高線を変えていったときに位相的変 化が始まった点(birth) 、消えた点 (death) を x,y 座標にプロットしたもの Stability of Persistence Diagrams ftp://ftp- sop.inria.fr/prisme/dcohen/Papers/Stability.pdf 2 つの関数と Persistence Diagram実 1 次元関数の Persistence Diagram
- 14. 14 関数間の距離と安定性 ● SVM などで使えるkernel であるには安定であ る必要がある。 ● 安定性 ( 関数の Lipschitz 連続性 ) – 距離 dX,dY に対してある K>=0 があって – 本論文では対象 ( ここでは diagram) 間の距離が別 の距離より小さいという性質を使っている。
- 15. 15 関数間の距離と安定性 ● 安定性 – 距離の安定性はbottleneck distance に大きく依存す る。 – (diagram F,G 間の )bottleneck distance – Wasserstein distances (Earth mover's distance) ● ヒストグラム間の距離として用いられることがある。 μ は F->G の写像
- 16. 16 距離の安定性 ● 定理 1 –2 つの区分線形な関数 f,g の persistent diagram 間の 距離は p-Wasserstein distance で抑えられる。 証明は ftp://ftp-sop.inria.fr/prisme/dcohen/Papers/lpstab.pdf γ は Df->Dg の写像
- 17. 17 Kernel の導入 ● 距離とkernel の関係 – kernel に対応する距離の安定性を示す。
- 18. 18 persistence scale-space kernel ●初期値を δ 関数とした Diagram 上の熱拡散方程 式の解 ● 時刻 σ ごとに kernel が定義可能 ● 高速ガウシアン変換 ( 周波数空間でかける ) で 高速に計算可能 山 ( 谷 ) が y に相当
- 19. 19 persistence scale-space kernel ●定理 2 – Kernel kσ は 1-Wasserstein stable
- 20. 20 persistence scale-space kernel ●証明 として Minkovsky 不等式 Φ の定義 e^-x>=1-x N の定義
- 21. 21 persistence scale-space kernel ●定理 3 – 任意の可算的な persistent diagram の kernel は 1 以 上の Wesserstein 距離に対して安定でない。 ● 証明 – Diagram F の集合和 U_i^n F に対して – 一方
- 22. 22 既存研究 : persistencelandscape ● Persistent diagram を複数の関数に変換する ● (birth-death) を頂点とする直角三角形の集合に 順序を定義する。 ● 関数の空間内で距離を定義可能 Statistical topological data analysis using persistence landscapes
- 23. 23 既存研究 : persistencelandscape ● Persistence( 高さ ) の少ない点は landscape の 面積も少ない→距離への寄与が小さい。
- 24. 24 persistence landscape における距離 ●定理 4 – persistence landscape の kernel L の特性写像 ΦL に 対して STATISTICAL TOPOLOGICAL DATA ANALYSIS USING PERSISTENCE LANDSCAPES の Corollary A.4. (page 23) persistence が大きい点ほど距離への寄与が大きくなる。
- 25. 25 2 つの距離の比較 ● F,F'は同じクラスであるべき ● 対角線に近いところ (low persistance) のみ異な る。 ● Persistance landscape だとここの部分の寄与 が小さく識別性能が低い。
- 26. 26 実験 2 つのデータセット ● SHREC2014 –色々な人のポーズのデータセット – 40 human, 10 different poses() – 姿勢にかかわらず人物を推定できるか ● Outex TC 00000 texture のデータセット – 32x32 pixels
- 27. 27 特徴量 ( ポーズ) ● heat kernel signature (HKS) 曲がった空間 ( 物体 ) 上での熱拡散方程式 の解となるような φ を特性関数とする kernel を使って A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusion http://www.lix.polytechnique.fr/~maks/papers/hks.pdf
- 28. 28 特徴量 (texture) ● CLBP(CompletedModeling of Local Binary Pattern Operator) – CLBP_S – CLBP_M – CLBP_C http://www.slideshare.net/kylinfish/a-completed-modeling-of-local-binary-pattern-operator-27858585
- 29.
- 30.
- 31. 31 類似研究 ● Persistence-based Structural Recognition(CVPR2014) –3D shape retrieval, hand gesture recognition, texture classification に適用 – Persistence landscape, Wasserstein distance を組 み合わせたものを距離として最近傍探索で検索、識 別
- 32. 32 類似研究 ● Persistence-based StructuralRecognition PD(persistence diagram) 単体では性能が低い descriptor の種類
- 33. 33 Persistence Homology の実装 ● javaplexJave, Matlab ● phom R ● Dionysus c++,Python バインディング ● PLEX Matlab ● PHAT c++ ● Perseus c++, discrete Morse theory に基づ く ● Chom c++ http://xiangze.hatenablog.com/entry/2014/03/29/042627
- 34. 34 Persistence Homology の実装 ●計算量が課題 – 単体的複体 n に対して O(n^3) ● 高速化の例 – Clear and Compress: Computing Persistent Homology in Chunks http://arxiv.org/pdf/1303.0477v1.pdf
- 35. 35 References ● 元論文 – http://www.cv-foundation.org/openaccess/content_cvpr_2015/pap –http://arxiv.org/pdf/1412.6821.pdf ● STATISTICAL TOPOLOGICAL DATA ANALYSIS USING PERSISTENCE LANDSCAPES – http://arxiv.org/pdf/1207.6437v4.pdf ● Stability of Persistence Diagrams – ftp://ftp-sop.inria.fr/prisme/dcohen/Papers/Stability.pdf ● Persistence-based Structural Recognition – http://www.lix.polytechnique.fr/~maks/papers/li-CVPR-14
- 36. 36 References ● Topological DataAnalysis and Machine Learning Theory – https://www.birs.ca/workshops/2012/12w5081/report12w ● 代数幾何の立場から – http://pantodon.shinshu-u.ac.jp/topology/literature/persis ● Persistent Homology と R の phom package, その他 library の紹介 – http://xiangze.hatenablog.com/entry/2014/03/29/042627 ● Non-Euclidean Manifold 上での近似最近傍探索 ( 論文紹介 ) –