Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
1
A Stable Multi-Scale Kernel for
Topological Machine Learning
Jan Reininghaus, Stefan Huber,
Ulrich Bauer, Roland Kwitt
C...
2
自己紹介
● ブログ
– CVPR 論文の topic model による分類
● http://xiangze.hatenablog.com/entry/2015/07/08/232921
– Persistent Homology と ...
3
目次
● Contribution of this paper
● 位相的データ解析とは
– 関連研究
● Persistence Homology
– Persistence diagarm
● 距離と安定性
● Kernel
– per...
4
Contribution of this paper
● Persistence diagram 間に kernel を定義し、そ
の安定性を示した。
● 既存の Persistence diagram 間に比べて SVM で
の識別性能が...
5
位相的データ解析とは
● Dataset の持つ位相的性質を分類や識別に利用
する研究
● 位相的性質
– 回転、平行移動などの全体的な動き、ノイズなどの
微小な変化では変わらない量
6
位相的データ解析とは
● 多次元のデータの場合はどのようにして”同
じ”を定義するのか。
同じ
同じ
違う
同
じ
同
じ
同じ
7
位相的データ解析とは
● 形式的な定義 (1)
– 図形の骨組み ( 単体的複体 )
– グラフとしての性質
● betti 数 ( 位相不変量 )
– 面の数 - 辺の数 - 頂点の数
– 多次元の場合は交代和
同じ
違う
8
位相的データ解析とは
● 形式的な定義 (2)
– 関数の等高線を考える
– 水位をあげていったときに島と島がくっついたり離
れたりする点を結ぶ
– Morse 理論
9
関連研究
● 免疫細胞の分類 (SPADE)
– http://www.ncbi.nlm.nih.gov/pubmed/21551058
– http://www.c2b2.columbia.edu/danapeerlab/html/pub...
10
関連研究
● SPADE(spanning-tree progression analysis of
density-normalized events)
11
Persistence Homology
● データ点間の距離が一定値以下の場合には線で
結ぶ
● 距離 ( 解像度 ) を変えていく (Filtration)
Barcodes: The Persistent Topology of D...
12
Persistence Homology
● Barcode
– 穴が出来る (birth) 、消える (death) 解像度の箇所を
結んだもの
● Persistance pers(x)=death(x)-birth(x)
pers(...
13
Persistence Diagram
● 解像度、等高線を変えていったときに位相的変
化が始まった点 (birth) 、消えた点 (death) を x,y
座標にプロットしたもの
Stability of Persistence Di...
14
関数間の距離と安定性
● SVM などで使える kernel であるには安定であ
る必要がある。
● 安定性 ( 関数の Lipschitz 連続性 )
– 距離 dX,dY に対してある K>=0 があって
– 本論文では対象 ( ここ...
15
関数間の距離と安定性
● 安定性
– 距離の安定性は bottleneck distance に大きく依存す
る。
– (diagram F,G 間の )bottleneck distance
– Wasserstein distance...
16
距離の安定性
● 定理 1
– 2 つの区分線形な関数 f,g の persistent diagram 間の
距離は p-Wasserstein distance で抑えられる。
証明は
ftp://ftp-sop.inria.fr/p...
17
Kernel の導入
● 距離と kernel の関係
– kernel に対応する距離の安定性を示す。
18
persistence scale-space kernel
● 初期値を δ 関数とした Diagram 上の熱拡散方程
式の解
● 時刻 σ ごとに kernel が定義可能
● 高速ガウシアン変換 ( 周波数空間でかける ) で
高...
19
persistence scale-space kernel
● 定理 2
– Kernel kσ は 1-Wasserstein stable
20
persistence scale-space kernel
● 証明
として
Minkovsky 不等式
Φ の定義
e^-x>=1-x
N の定義
21
persistence scale-space kernel
● 定理 3
– 任意の可算的な persistent diagram の kernel は 1 以
上の Wesserstein 距離に対して安定でない。
● 証明
– Di...
22
既存研究 : persistence landscape  
● Persistent diagram を複数の関数に変換する
● (birth-death) を頂点とする直角三角形の集合に
順序を定義する。
● 関数の空間内で距離を定義...
23
既存研究 : persistence landscape
● Persistence( 高さ ) の少ない点は landscape の
面積も少ない→距離への寄与が小さい。
24
persistence landscape における距離
● 定理 4
– persistence landscape の kernel L の特性写像 ΦL に
対して
STATISTICAL TOPOLOGICAL DATA ANAL...
25
2 つの距離の比較
● F,F' は同じクラスであるべき
● 対角線に近いところ (low persistance) のみ異な
る。
● Persistance landscape だとここの部分の寄与
が小さく識別性能が低い。
26
実験
2 つのデータセット
● SHREC2014
– 色々な人のポーズのデータセット
– 40 human, 10 different poses()
– 姿勢にかかわらず人物を推定できるか
● Outex TC 00000 textu...
27
特徴量 ( ポーズ )
● heat kernel signature (HKS)
曲がった空間 ( 物体 ) 上での熱拡散方程式
の解となるような φ を特性関数とする kernel
を使って
A Concise and Provabl...
28
特徴量 (texture)
● CLBP(Completed Modeling of Local Binary
Pattern Operator)
– CLBP_S
– CLBP_M
– CLBP_C
http://www.slidesh...
29
結果
● SHREC2014
– 合成データと実際のデータ
30
結果
● Texture(Outex_TC_00000)
他の研究は?
31
類似研究
● Persistence-based Structural
Recognition(CVPR2014)
– 3D shape retrieval, hand gesture recognition,
texture class...
32
類似研究
● Persistence-based Structural Recognition
PD(persistence diagram) 単体では性能が低い
descriptor
の種類
33
Persistence Homology の実装
●
javaplex Jave, Matlab
● phom R
● Dionysus c++,Python バインディング
● PLEX Matlab
● PHAT c++
● Pers...
34
Persistence Homology の実装
● 計算量が課題
– 単体的複体 n に対して O(n^3)
● 高速化の例
– Clear and Compress: Computing Persistent
Homology in ...
35
References
● 元論文
– http://www.cv-foundation.org/openaccess/content_cvpr_2015/pap
– http://arxiv.org/pdf/1412.6821.pdf
●...
36
References
● Topological Data Analysis and Machine
Learning Theory
– https://www.birs.ca/workshops/2012/12w5081/report1...
Upcoming SlideShare
Loading in …5
×

Stable multi scale kernel for topological machine learning

2,018 views

Published on

An introduction of CVPR2015 paper

Published in: Technology
  • Be the first to comment

Stable multi scale kernel for topological machine learning

  1. 1. 1 A Stable Multi-Scale Kernel for Topological Machine Learning Jan Reininghaus, Stefan Huber, Ulrich Bauer, Roland Kwitt CVPR2015 第 30 回コンピュータビジョン勉強会@関東 CVPR2015 読み会 2015/7/20 @xiangze750
  2. 2. 2 自己紹介 ● ブログ – CVPR 論文の topic model による分類 ● http://xiangze.hatenablog.com/entry/2015/07/08/232921 – Persistent Homology と R の phom package, その 他 library の紹介 ● http://xiangze.hatenablog.com/entry/2014/03/29/042627 https://dl.dropboxusercontent.com/u/27452774/CVPRpapers2015_10.html
  3. 3. 3 目次 ● Contribution of this paper ● 位相的データ解析とは – 関連研究 ● Persistence Homology – Persistence diagarm ● 距離と安定性 ● Kernel – persistence scale-space kernel ● 関連研究比較 Persistent landscape – 距離の比較
  4. 4. 4 Contribution of this paper ● Persistence diagram 間に kernel を定義し、そ の安定性を示した。 ● 既存の Persistence diagram 間に比べて SVM で の識別性能が向上したことを 2 種類の dataset に対して示した。 ● ● ●
  5. 5. 5 位相的データ解析とは ● Dataset の持つ位相的性質を分類や識別に利用 する研究 ● 位相的性質 – 回転、平行移動などの全体的な動き、ノイズなどの 微小な変化では変わらない量
  6. 6. 6 位相的データ解析とは ● 多次元のデータの場合はどのようにして”同 じ”を定義するのか。 同じ 同じ 違う 同 じ 同 じ 同じ
  7. 7. 7 位相的データ解析とは ● 形式的な定義 (1) – 図形の骨組み ( 単体的複体 ) – グラフとしての性質 ● betti 数 ( 位相不変量 ) – 面の数 - 辺の数 - 頂点の数 – 多次元の場合は交代和 同じ 違う
  8. 8. 8 位相的データ解析とは ● 形式的な定義 (2) – 関数の等高線を考える – 水位をあげていったときに島と島がくっついたり離 れたりする点を結ぶ – Morse 理論
  9. 9. 9 関連研究 ● 免疫細胞の分類 (SPADE) – http://www.ncbi.nlm.nih.gov/pubmed/21551058 – http://www.c2b2.columbia.edu/danapeerlab/html/pub/sciencemay11.pdf ● 乳がん細胞の分類 ● http://www.pnas.org/content/108/17/7265.long ● アルツハイマー病の診断 – http://www.stat.wisc.edu/~mchung/papers/pachauri.2011.TMI.pdf – http://www.ncbi.nlm.nih.gov/pubmed/19694279 ● 自然言語処理 – http://pages.cs.wisc.edu/~jerryzhu/pub/homology.pdf 分類の指針とされることが多かった。
  10. 10. 10 関連研究 ● SPADE(spanning-tree progression analysis of density-normalized events)
  11. 11. 11 Persistence Homology ● データ点間の距離が一定値以下の場合には線で 結ぶ ● 距離 ( 解像度 ) を変えていく (Filtration) Barcodes: The Persistent Topology of Data https://dreamtolearn.com/ryan/data_analytics_viz/46
  12. 12. 12 Persistence Homology ● Barcode – 穴が出来る (birth) 、消える (death) 解像度の箇所を 結んだもの ● Persistance pers(x)=death(x)-birth(x) pers(x) x
  13. 13. 13 Persistence Diagram ● 解像度、等高線を変えていったときに位相的変 化が始まった点 (birth) 、消えた点 (death) を x,y 座標にプロットしたもの Stability of Persistence Diagrams ftp://ftp- sop.inria.fr/prisme/dcohen/Papers/Stability.pdf 2 つの関数と Persistence Diagram実 1 次元関数の Persistence Diagram
  14. 14. 14 関数間の距離と安定性 ● SVM などで使える kernel であるには安定であ る必要がある。 ● 安定性 ( 関数の Lipschitz 連続性 ) – 距離 dX,dY に対してある K>=0 があって – 本論文では対象 ( ここでは diagram) 間の距離が別 の距離より小さいという性質を使っている。
  15. 15. 15 関数間の距離と安定性 ● 安定性 – 距離の安定性は bottleneck distance に大きく依存す る。 – (diagram F,G 間の )bottleneck distance – Wasserstein distances (Earth mover's distance) ● ヒストグラム間の距離として用いられることがある。 μ は F->G の写像
  16. 16. 16 距離の安定性 ● 定理 1 – 2 つの区分線形な関数 f,g の persistent diagram 間の 距離は p-Wasserstein distance で抑えられる。 証明は ftp://ftp-sop.inria.fr/prisme/dcohen/Papers/lpstab.pdf γ は Df->Dg の写像
  17. 17. 17 Kernel の導入 ● 距離と kernel の関係 – kernel に対応する距離の安定性を示す。
  18. 18. 18 persistence scale-space kernel ● 初期値を δ 関数とした Diagram 上の熱拡散方程 式の解 ● 時刻 σ ごとに kernel が定義可能 ● 高速ガウシアン変換 ( 周波数空間でかける ) で 高速に計算可能 山 ( 谷 ) が y に相当
  19. 19. 19 persistence scale-space kernel ● 定理 2 – Kernel kσ は 1-Wasserstein stable
  20. 20. 20 persistence scale-space kernel ● 証明 として Minkovsky 不等式 Φ の定義 e^-x>=1-x N の定義
  21. 21. 21 persistence scale-space kernel ● 定理 3 – 任意の可算的な persistent diagram の kernel は 1 以 上の Wesserstein 距離に対して安定でない。 ● 証明 – Diagram F の集合和 U_i^n F に対して – 一方
  22. 22. 22 既存研究 : persistence landscape   ● Persistent diagram を複数の関数に変換する ● (birth-death) を頂点とする直角三角形の集合に 順序を定義する。 ● 関数の空間内で距離を定義可能 Statistical topological data analysis using persistence landscapes
  23. 23. 23 既存研究 : persistence landscape ● Persistence( 高さ ) の少ない点は landscape の 面積も少ない→距離への寄与が小さい。
  24. 24. 24 persistence landscape における距離 ● 定理 4 – persistence landscape の kernel L の特性写像 ΦL に 対して STATISTICAL TOPOLOGICAL DATA ANALYSIS USING PERSISTENCE LANDSCAPES の Corollary A.4. (page 23) persistence が大きい点ほど距離への寄与が大きくなる。
  25. 25. 25 2 つの距離の比較 ● F,F' は同じクラスであるべき ● 対角線に近いところ (low persistance) のみ異な る。 ● Persistance landscape だとここの部分の寄与 が小さく識別性能が低い。
  26. 26. 26 実験 2 つのデータセット ● SHREC2014 – 色々な人のポーズのデータセット – 40 human, 10 different poses() – 姿勢にかかわらず人物を推定できるか ● Outex TC 00000 texture のデータセット – 32x32 pixels
  27. 27. 27 特徴量 ( ポーズ ) ● heat kernel signature (HKS) 曲がった空間 ( 物体 ) 上での熱拡散方程式 の解となるような φ を特性関数とする kernel を使って A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusion http://www.lix.polytechnique.fr/~maks/papers/hks.pdf
  28. 28. 28 特徴量 (texture) ● CLBP(Completed Modeling of Local Binary Pattern Operator) – CLBP_S – CLBP_M – CLBP_C http://www.slideshare.net/kylinfish/a-completed-modeling-of-local-binary-pattern-operator-27858585
  29. 29. 29 結果 ● SHREC2014 – 合成データと実際のデータ
  30. 30. 30 結果 ● Texture(Outex_TC_00000) 他の研究は?
  31. 31. 31 類似研究 ● Persistence-based Structural Recognition(CVPR2014) – 3D shape retrieval, hand gesture recognition, texture classification に適用 – Persistence landscape, Wasserstein distance を組 み合わせたものを距離として最近傍探索で検索、識 別
  32. 32. 32 類似研究 ● Persistence-based Structural Recognition PD(persistence diagram) 単体では性能が低い descriptor の種類
  33. 33. 33 Persistence Homology の実装 ● javaplex Jave, Matlab ● phom R ● Dionysus c++,Python バインディング ● PLEX Matlab ● PHAT c++ ● Perseus c++, discrete Morse theory に基づ く ● Chom c++ http://xiangze.hatenablog.com/entry/2014/03/29/042627
  34. 34. 34 Persistence Homology の実装 ● 計算量が課題 – 単体的複体 n に対して O(n^3) ● 高速化の例 – Clear and Compress: Computing Persistent Homology in Chunks http://arxiv.org/pdf/1303.0477v1.pdf
  35. 35. 35 References ● 元論文 – http://www.cv-foundation.org/openaccess/content_cvpr_2015/pap – http://arxiv.org/pdf/1412.6821.pdf ● STATISTICAL TOPOLOGICAL DATA ANALYSIS USING PERSISTENCE LANDSCAPES – http://arxiv.org/pdf/1207.6437v4.pdf ● Stability of Persistence Diagrams – ftp://ftp-sop.inria.fr/prisme/dcohen/Papers/Stability.pdf ● Persistence-based Structural Recognition – http://www.lix.polytechnique.fr/~maks/papers/li-CVPR-14
  36. 36. 36 References ● Topological Data Analysis and Machine Learning Theory – https://www.birs.ca/workshops/2012/12w5081/report12w ● 代数幾何の立場から – http://pantodon.shinshu-u.ac.jp/topology/literature/persis ● Persistent Homology と R の phom package, その他 library の紹介 – http://xiangze.hatenablog.com/entry/2014/03/29/042627 ● Non-Euclidean Manifold 上での近似最近傍探索 ( 論文紹介 ) –

×