An introduction of CVPR2015 paper

1. 1
A Stable Multi-Scale Kernel for
Topological Machine Learning
Jan Reininghaus, Stefan Huber,
Ulrich Bauer, Roland Kwitt
CVPR2015
第 30 回コンピュータビジョン勉強会＠関東
CVPR2015 読み会
2015/7/20
@xiangze750

2. 2
自己紹介
● ブログ
– CVPR 論文の topic model による分類
● http://xiangze.hatenablog.com/entry/2015/07/08/232921
– Persistent Homology と R の phom package, その
他 library の紹介
● http://xiangze.hatenablog.com/entry/2014/03/29/042627
https://dl.dropboxusercontent.com/u/27452774/CVPRpapers2015_10.html

3. 3
目次
● Contribution of this paper
● 位相的データ解析とは
– 関連研究
● Persistence Homology
– Persistence diagarm
● 距離と安定性
● Kernel
– persistence scale-space kernel
● 関連研究比較 Persistent landscape
– 距離の比較

4. 4
Contribution of this paper
● Persistence diagram 間に kernel を定義し、そ
の安定性を示した。
● 既存の Persistence diagram 間に比べて SVM で
の識別性能が向上したことを 2 種類の dataset
に対して示した。
●
●
●

5. 5
位相的データ解析とは
● Dataset の持つ位相的性質を分類や識別に利用
する研究
● 位相的性質
– 回転、平行移動などの全体的な動き、ノイズなどの
微小な変化では変わらない量

6. 6
位相的データ解析とは
● 多次元のデータの場合はどのようにして”同
じ”を定義するのか。
同じ
同じ
違う
同
じ
同
じ
同じ

7. 7
位相的データ解析とは
● 形式的な定義 (1)
– 図形の骨組み ( 単体的複体 )
– グラフとしての性質
● betti 数 ( 位相不変量 )
– 面の数 - 辺の数 - 頂点の数
– 多次元の場合は交代和
同じ
違う

8. 8
位相的データ解析とは
● 形式的な定義 (2)
– 関数の等高線を考える
– 水位をあげていったときに島と島がくっついたり離
れたりする点を結ぶ
– Morse 理論

9. 9
関連研究
● 免疫細胞の分類 (SPADE)
– http://www.ncbi.nlm.nih.gov/pubmed/21551058
– http://www.c2b2.columbia.edu/danapeerlab/html/pub/sciencemay11.pdf
●
乳がん細胞の分類
● http://www.pnas.org/content/108/17/7265.long
● アルツハイマー病の診断
– http://www.stat.wisc.edu/~mchung/papers/pachauri.2011.TMI.pdf
– http://www.ncbi.nlm.nih.gov/pubmed/19694279
●
自然言語処理
– http://pages.cs.wisc.edu/~jerryzhu/pub/homology.pdf
分類の指針とされることが多かった。

10. 10
関連研究
● SPADE(spanning-tree progression analysis of
density-normalized events)

11. 11
Persistence Homology
● データ点間の距離が一定値以下の場合には線で
結ぶ
● 距離 ( 解像度 ) を変えていく (Filtration)
Barcodes: The Persistent Topology of Data
https://dreamtolearn.com/ryan/data_analytics_viz/46

12. 12
Persistence Homology
● Barcode
– 穴が出来る (birth) 、消える (death) 解像度の箇所を
結んだもの
● Persistance pers(x)=death(x)-birth(x)
pers(x)
x

13. 13
Persistence Diagram
● 解像度、等高線を変えていったときに位相的変
化が始まった点 (birth) 、消えた点 (death) を x,y
座標にプロットしたもの
Stability of Persistence Diagrams
ftp://ftp-
sop.inria.fr/prisme/dcohen/Papers/Stability.pdf
2 つの関数と Persistence Diagram実 1 次元関数の Persistence Diagram

14. 14
関数間の距離と安定性
● SVM などで使える kernel であるには安定であ
る必要がある。
● 安定性 ( 関数の Lipschitz 連続性 )
– 距離 dX,dY に対してある K>=0 があって
– 本論文では対象 ( ここでは diagram) 間の距離が別
の距離より小さいという性質を使っている。

15. 15
関数間の距離と安定性
● 安定性
– 距離の安定性は bottleneck distance に大きく依存す
る。
– (diagram F,G 間の )bottleneck distance
– Wasserstein distances (Earth mover's distance)
● ヒストグラム間の距離として用いられることがある。
μ は F->G の写像

16. 16
距離の安定性
● 定理 1
– 2 つの区分線形な関数 f,g の persistent diagram 間の
距離は p-Wasserstein distance で抑えられる。
証明は
ftp://ftp-sop.inria.fr/prisme/dcohen/Papers/lpstab.pdf
γ は Df->Dg の写像

17. 17
Kernel の導入
● 距離と kernel の関係
– kernel に対応する距離の安定性を示す。

18. 18
persistence scale-space kernel
● 初期値を δ 関数とした Diagram 上の熱拡散方程
式の解
● 時刻 σ ごとに kernel が定義可能
● 高速ガウシアン変換 ( 周波数空間でかける ) で
高速に計算可能
山 ( 谷 ) が y に相当

19. 19
persistence scale-space kernel
● 定理 2
– Kernel kσ は 1-Wasserstein stable

20. 20
persistence scale-space kernel
● 証明
として
Minkovsky 不等式
Φ の定義
e^-x>=1-x
N の定義

21. 21
persistence scale-space kernel
● 定理 3
– 任意の可算的な persistent diagram の kernel は 1 以
上の Wesserstein 距離に対して安定でない。
● 証明
– Diagram F の集合和 U_i^n F に対して
– 一方

22. 22
既存研究 : persistence landscape
● Persistent diagram を複数の関数に変換する
● (birth-death) を頂点とする直角三角形の集合に
順序を定義する。
● 関数の空間内で距離を定義可能
Statistical topological data analysis using
persistence landscapes

23. 23
既存研究 : persistence landscape
● Persistence( 高さ ) の少ない点は landscape の
面積も少ない→距離への寄与が小さい。

24. 24
persistence landscape における距離
● 定理 4
– persistence landscape の kernel L の特性写像 ΦL に
対して
STATISTICAL TOPOLOGICAL DATA ANALYSIS USING PERSISTENCE
LANDSCAPES の Corollary A.4. (page 23)
persistence が大きい点ほど距離への寄与が大きくなる。

25. 25
2 つの距離の比較
● F,F' は同じクラスであるべき
● 対角線に近いところ (low persistance) のみ異な
る。
● Persistance landscape だとここの部分の寄与
が小さく識別性能が低い。

26. 26
実験
2 つのデータセット
● SHREC2014
– 色々な人のポーズのデータセット
– 40 human, 10 different poses()
– 姿勢にかかわらず人物を推定できるか
● Outex TC 00000 texture のデータセット
– 32x32 pixels

27. 27
特徴量 ( ポーズ )
● heat kernel signature (HKS)
曲がった空間 ( 物体 ) 上での熱拡散方程式
の解となるような φ を特性関数とする kernel
を使って
A Concise and Provably Informative Multi-Scale Signature Based on Heat
Diffusion
http://www.lix.polytechnique.fr/~maks/papers/hks.pdf

28. 28
特徴量 (texture)
● CLBP(Completed Modeling of Local Binary
Pattern Operator)
– CLBP_S
– CLBP_M
– CLBP_C
http://www.slideshare.net/kylinfish/a-completed-modeling-of-local-binary-pattern-operator-27858585

29. 29
結果
● SHREC2014
– 合成データと実際のデータ

30. 30
結果
● Texture(Outex_TC_00000)
他の研究は？

31. 31
類似研究
● Persistence-based Structural
Recognition(CVPR2014)
– 3D shape retrieval, hand gesture recognition,
texture classification に適用
– Persistence landscape, Wasserstein distance を組
み合わせたものを距離として最近傍探索で検索、識
別

32. 32
類似研究
● Persistence-based Structural Recognition
PD(persistence diagram) 単体では性能が低い
descriptor
の種類

33. 33
Persistence Homology の実装
●
javaplex Jave, Matlab
● phom R
● Dionysus c++,Python バインディング
● PLEX Matlab
● PHAT c++
● Perseus c++, discrete Morse theory に基づ
く
● Chom c++
http://xiangze.hatenablog.com/entry/2014/03/29/042627

34. 34
Persistence Homology の実装
● 計算量が課題
– 単体的複体 n に対して O(n^3)
● 高速化の例
– Clear and Compress: Computing Persistent
Homology in Chunks
http://arxiv.org/pdf/1303.0477v1.pdf

35. 35
References
● 元論文
– http://www.cv-foundation.org/openaccess/content_cvpr_2015/pap
– http://arxiv.org/pdf/1412.6821.pdf
● STATISTICAL TOPOLOGICAL DATA
ANALYSIS USING PERSISTENCE
LANDSCAPES
– http://arxiv.org/pdf/1207.6437v4.pdf
● Stability of Persistence Diagrams
– ftp://ftp-sop.inria.fr/prisme/dcohen/Papers/Stability.pdf
● Persistence-based Structural Recognition
– http://www.lix.polytechnique.fr/~maks/papers/li-CVPR-14

36. 36
References
● Topological Data Analysis and Machine
Learning Theory
– https://www.birs.ca/workshops/2012/12w5081/report12w
● 代数幾何の立場から
– http://pantodon.shinshu-u.ac.jp/topology/literature/persis
● Persistent Homology と R の phom package,
その他 library の紹介
– http://xiangze.hatenablog.com/entry/2014/03/29/042627
● Non-Euclidean Manifold 上での近似最近傍探索
( 論文紹介 )
–