Introduction to
Deep Learning
@simizut22
注意:タイトルには誤りがあります
登場人物
: 単体法おじさん
: 僕(画像は llvm)
F
F 講義やらない??
お題とかあるんでしょうか??
はあ…
一応タイトルは,Deep Learning
の紹介ということにしてあるけど
F
F でも,好きなこと話していいよ.
Topological Data Analysis でも
A∞ とか離散 morse 理論の話になっ
てもいいですか?? (; ・`д・´)
F えっ,そういう話なの??
まぁ,いいんじゃない
Introduction to
Deep Learning
Topological Data Analysis
@simizut22
I’m not Data Scientist,
but C++er…
最近の興味
• Homotopy Type Theory
• Directed Algebraic Topology
• Computational Topology
つまり…
最近の興味
• 型はいいぞぉ!!
• 並列化はいいぞぉ!!
• 代トポはいいぞぉ!!
最近の興味
• 型はいいぞぉ!!
• 並列化はいいぞぉ!!
• 代トポはいいぞぉ!!
ついでに…
• constexpr はいいぞぉ!!
※ constexpr の読み方は YOMIKATA.org 参照
本日の内容
• TDA #とは
• Persistent Homology
• 計算法(+離散 Morse 理論)
• 社会での利用例
Topological data analysis #とは
• もともとは Edelsbrunner/Letscher/Zomordian が
画像認識を行うために Persistent Homology を考
えた(*)
• 与えられたデータの位相(幾何)的な不変量を用
いることで,データの次元削減/noise の除去など
を行う→例えば機械学習の前処理として使える
* Edelsbrunner, Herbert, David Letscher, and Afra Zomorodian. "Topological
persistence and simplification." Discrete and Computational Geometry 28.4
(2002): 511-533.
Topological data analysis #とは
• スペクトル系列と関連
スペクトル系列はいいぞぉ!! (*´д`*)ハァハァ
Basu, Saugata, and Laxmi Parida. “Spectral Sequences, Exact Couples and Persistent Homology
of filtrations.” arXiv preprint arXiv:1308.0801 (2013). より
Topological data analysis #とは
• 主な応用分野は以下
1. 画像認識
2. Manifold learning
3. 遺伝子情報解析
4. 高分子構造の解析
5. 音楽データの解析
6. Network(social/脳のneuron) の解析
7. Sensor network 問題
etcetc…
Persistent Homology
定義(point cloud)
𝑋 ⊂ 𝑅 𝑛
:有限集合を point cloud という
定義(Vietoris Rips)
𝑟 > 0, 𝑋 = 𝑥 𝜆 𝜆∈Λ: 𝑝𝑜𝑖𝑛𝑡 𝑐𝑙𝑜𝑢𝑑 に対し,
𝐶 𝑛
𝑟
𝑋 = 𝜆0
⋯ 𝜆 𝑛
𝑥 𝜆 𝑖 − 𝑥 𝜆 𝑗 ≤ 2𝑟
𝑉 𝑟
𝑋 : 𝐶 𝑛
𝑟
(𝑛 = 0, … ) で生成される自由加群
Persistent Homology
Point cloud 𝑋 : given
半径の列 0 = 𝑟0 < ⋯ < 𝑟𝑛をとると、次の
Vietoris Rips 複体の列
𝑉 𝑟0 ⊂ 𝑉 𝑟1 ⊂ ⋯ ⊂ 𝑉 𝑟 𝑛
が得られる → homology の列が誘導される
𝐻 𝑝 𝑉 𝑟0 → 𝐻 𝑝 𝑉 𝑟1 → ⋯ → 𝐻 𝑝 𝑉 𝑟 𝑛
Persistent Homology
定義(Persistent Homology)
𝑓 𝑖,𝑗
: 𝐻 𝑝 𝑉 𝑟 𝑖 → 𝐻 𝑝 𝑉 𝑟 𝑗 (𝑖 < 𝑗):包含写像の誘
導する準同型とする。
p-th Persistent Homology is defined as below:
𝐻 𝑝
𝑖,𝑗
𝑋 = 𝐼𝑚 𝑓𝑝
𝑖,𝑗
Persistent Homology の表示
Persistent Homology は homology class の生成
と消滅を表すと言われている。
主に使用される図示方法は 以下の 2 つ
1. Persistence diagram
2. Barcode
Persistence Diagram
𝑏 𝑝
𝑖,𝑗
= 𝑟𝑎𝑛𝑘 𝐻 𝑝
𝑖,𝑗
: betti number
𝜇 𝑝
𝑖,𝑗
:𝑉 𝑟 𝑖 で現れて,𝑉 𝑟 𝑗 で消えるホモロジークラス
全体の rank とする i.e.
𝜇 𝑝
𝑖,𝑗
= 𝑏 𝑝
𝑖,𝑗−1
− 𝑏 𝑝
𝑖,𝑗
− 𝑏 𝑝
𝑖−1,𝑗−1
− 𝑏 𝑝
𝑖−1,𝑗
Persistence Diagram:
𝑟 𝑖
, 𝑟 𝑗
∈ ℝ2
に重複度 𝜇 𝑝
𝑖,𝑗
を持たせて書いた
もの
Persistence Diagram
計算方法(体係数の時)
次の operator 𝑥: ⨁𝑖 𝑉𝑟 𝑖
∗
→ ⨁𝑖 𝑉𝑟 𝑖
∗
を
𝑉𝑟 𝑖
∗
→ 𝑉𝑟 𝑖+1
∗
: inclusion の拡張で与える
考える係数体を 𝐾 としたとき、
Boundary 𝜕: ⨁𝑖 𝑉𝑟 𝑖
𝑛
→ ⨁𝑖 𝑉𝑟 𝑖
𝑛
を多項式環 𝐾 𝑥
module の準同型として考える。
この(多項式環係数)行列の smith-normal form
を用いる
補足: smith normal form
PID 𝑅 係数の 𝑛 × 𝑚 行列 𝑋 ∈ 𝑀 𝑛, 𝑚, 𝑅 の
smith-normal form とは
正則行列 𝑆 ∈ 𝐺𝐿 𝑛, 𝑅 , 𝑇 ∈ 𝐺𝐿 𝑚, 𝑅 を用いて
𝑆𝑋𝑇 =
𝐴 0
0 0
𝑤/ 𝐴 =
𝑎1 ⋯ 0
⋮ ⋱ ⋮
0 ⋯ 𝑎 𝑟
, 𝑎𝑖|𝑎𝑖+1
計算方法
上の algorithm + 行列の reduction を用いることで、
計算量を抑えている。
一般の環係数に対して、最悪計算量はΟ 𝑛3
Milosavljevic 等は体係数の Persistent Homology
を行列積 order Ο 𝑛 𝜔
で計算をしている(*)
現状 𝜔 ≈ 2.3727 が知られている
* Milosavljević, Nikola, Dmitriy Morozov, and Primoz Skraba. "Zigzag
persistent homology in matrix multiplication time." Proceedings of the
twenty-seventh Annual Symposium on Computational Geometry. ACM, 2011.
離散 Morse 理論
• 離散 morse 理論を用いて、単体複体を小さく
することで計算量を抑えることを考える
• 離散モース理論:
単体複体 𝐾 上の関数 𝑓 が morse
⇔ 任意の単体 𝛼 𝑝
に対し
⋕ 𝛼 < 𝛽 𝑝+1
𝑓 𝛽 ≤ 𝑓 𝛼 ≤ 1
⋕ 𝛾 𝑝−1
< 𝛼 𝑓 𝛼 ≤ 𝑓 𝛾 ≤ 1
離散 Morse 理論
単体複体 𝐾 の単体 𝜎 がmorse 関数 𝑓 の臨界
点(critical point)
⇔
⋕ 𝛼 < 𝛽 𝑝+1
𝑓 𝛽 ≤ 𝑓 𝛼 = 0
⋕ 𝛾 𝑝−1
< 𝛼 𝑓 𝛼 ≤ 𝑓 𝛾 = 0
類似:
多様体に対する morse 理論では morse 関数の
臨界点に応じて、多様体の cell 分解を行った…
離散 Morse 理論
定理(基本定理)
単体複体 𝐾 上にモース関数 𝑓 が存在
⇒ 𝑓 の p-次の臨界点に対応した p-次のセルを持つ CW
複体と homotopy 同値になる ∎
𝑀𝑓: 𝑓 の臨界点から生成される自由加群
以下が分かる
∃ 𝜕: 𝑀𝑓 → 𝑀𝑓
で 𝑀𝑓 はchain 複体。これを morse 複体という
これは homology を保っている。
離散 Morse 理論
• 𝑅𝑃2
の homology の計算例
𝑅𝑃2
上の morse 関数を以下の図で与える。
2
3
1
1 23
t
e
e
離散 Morse 理論(例)
• これの morse complex は次で与えられる
ℤ
×2
ℤ →
0
ℤ → 0
これより、
𝐻0 𝑅𝑃2
, ℤ = ℤ
𝐻1 𝑅𝑃2
, ℤ = ℤ 2ℤ
𝐻2 𝑅𝑃2
, ℤ = 0
離散 Morse 理論(Filtered ver.)
• Mischaikow, Konstantin, Nanda は離散モース
理論(Morse complex) の理論を filtered
complex に拡張し,Persistent Homology の計
算の効率化を行った(*)
• filtration に適合した morse complex は元の
複体と同じ Persistence Diagram を与える
(*) Mischaikow, Konstantin, and Vidit Nanda. "Morse theory for filtrations and
efficient computation of persistent homology." Discrete & Computational
Geometry 50.2 (2013): 330-353.
離散 Morse 理論(Filtered ver.)
以上の方法計算量に使う値を定義する
𝑛: cell の個数(input size)
𝑝 = max
𝛼∈𝐾
# 𝛽 ∈ 𝐾 𝛼 < 𝛽
𝑚𝑖: i-次元のセルの個数
𝑚: morse complex のセルの個数(output)
i.e. 𝑚 = 𝑚𝑖
𝑚 = 𝑚𝑖
2
離散 Morse 理論(Filtered ver.)
一般の体係数に対しては、filtered morse 理論
を用いた際の計算量は
Ο 𝑛 ∙ 𝑝 ∙ 𝑚 + 𝑚3
また、体係数では
Ο 𝑛 ∙ 𝑝 ∙ 𝑚 + 𝑚 𝜔
に削減できる。
詳細:略(´;ω;`)
社会での実用例
• Fujitsu が TDA を利用したサービスをリリース
時系列データを高精度に分析する新たなDeep Learning技術を開発
• Carlsson 先生が co-founder を務める Ayasdi
社
ZHIEND

Introduction to Topological Data Analysis

  • 1.
  • 2.
  • 3.
    登場人物 : 単体法おじさん : 僕(画像はllvm) F F 講義やらない?? お題とかあるんでしょうか?? はあ… 一応タイトルは,Deep Learning の紹介ということにしてあるけど F F でも,好きなこと話していいよ. Topological Data Analysis でも A∞ とか離散 morse 理論の話になっ てもいいですか?? (; ・`д・´) F えっ,そういう話なの?? まぁ,いいんじゃない
  • 4.
  • 5.
    I’m not DataScientist, but C++er…
  • 6.
    最近の興味 • Homotopy TypeTheory • Directed Algebraic Topology • Computational Topology つまり…
  • 7.
  • 8.
    最近の興味 • 型はいいぞぉ!! • 並列化はいいぞぉ!! •代トポはいいぞぉ!! ついでに… • constexpr はいいぞぉ!! ※ constexpr の読み方は YOMIKATA.org 参照
  • 9.
    本日の内容 • TDA #とは •Persistent Homology • 計算法(+離散 Morse 理論) • 社会での利用例
  • 10.
    Topological data analysis#とは • もともとは Edelsbrunner/Letscher/Zomordian が 画像認識を行うために Persistent Homology を考 えた(*) • 与えられたデータの位相(幾何)的な不変量を用 いることで,データの次元削減/noise の除去など を行う→例えば機械学習の前処理として使える * Edelsbrunner, Herbert, David Letscher, and Afra Zomorodian. "Topological persistence and simplification." Discrete and Computational Geometry 28.4 (2002): 511-533.
  • 11.
    Topological data analysis#とは • スペクトル系列と関連 スペクトル系列はいいぞぉ!! (*´д`*)ハァハァ Basu, Saugata, and Laxmi Parida. “Spectral Sequences, Exact Couples and Persistent Homology of filtrations.” arXiv preprint arXiv:1308.0801 (2013). より
  • 12.
    Topological data analysis#とは • 主な応用分野は以下 1. 画像認識 2. Manifold learning 3. 遺伝子情報解析 4. 高分子構造の解析 5. 音楽データの解析 6. Network(social/脳のneuron) の解析 7. Sensor network 問題 etcetc…
  • 13.
    Persistent Homology 定義(point cloud) 𝑋⊂ 𝑅 𝑛 :有限集合を point cloud という 定義(Vietoris Rips) 𝑟 > 0, 𝑋 = 𝑥 𝜆 𝜆∈Λ: 𝑝𝑜𝑖𝑛𝑡 𝑐𝑙𝑜𝑢𝑑 に対し, 𝐶 𝑛 𝑟 𝑋 = 𝜆0 ⋯ 𝜆 𝑛 𝑥 𝜆 𝑖 − 𝑥 𝜆 𝑗 ≤ 2𝑟 𝑉 𝑟 𝑋 : 𝐶 𝑛 𝑟 (𝑛 = 0, … ) で生成される自由加群
  • 14.
    Persistent Homology Point cloud𝑋 : given 半径の列 0 = 𝑟0 < ⋯ < 𝑟𝑛をとると、次の Vietoris Rips 複体の列 𝑉 𝑟0 ⊂ 𝑉 𝑟1 ⊂ ⋯ ⊂ 𝑉 𝑟 𝑛 が得られる → homology の列が誘導される 𝐻 𝑝 𝑉 𝑟0 → 𝐻 𝑝 𝑉 𝑟1 → ⋯ → 𝐻 𝑝 𝑉 𝑟 𝑛
  • 15.
    Persistent Homology 定義(Persistent Homology) 𝑓𝑖,𝑗 : 𝐻 𝑝 𝑉 𝑟 𝑖 → 𝐻 𝑝 𝑉 𝑟 𝑗 (𝑖 < 𝑗):包含写像の誘 導する準同型とする。 p-th Persistent Homology is defined as below: 𝐻 𝑝 𝑖,𝑗 𝑋 = 𝐼𝑚 𝑓𝑝 𝑖,𝑗
  • 16.
    Persistent Homology の表示 PersistentHomology は homology class の生成 と消滅を表すと言われている。 主に使用される図示方法は 以下の 2 つ 1. Persistence diagram 2. Barcode
  • 17.
    Persistence Diagram 𝑏 𝑝 𝑖,𝑗 =𝑟𝑎𝑛𝑘 𝐻 𝑝 𝑖,𝑗 : betti number 𝜇 𝑝 𝑖,𝑗 :𝑉 𝑟 𝑖 で現れて,𝑉 𝑟 𝑗 で消えるホモロジークラス 全体の rank とする i.e. 𝜇 𝑝 𝑖,𝑗 = 𝑏 𝑝 𝑖,𝑗−1 − 𝑏 𝑝 𝑖,𝑗 − 𝑏 𝑝 𝑖−1,𝑗−1 − 𝑏 𝑝 𝑖−1,𝑗 Persistence Diagram: 𝑟 𝑖 , 𝑟 𝑗 ∈ ℝ2 に重複度 𝜇 𝑝 𝑖,𝑗 を持たせて書いた もの
  • 18.
  • 19.
    計算方法(体係数の時) 次の operator 𝑥:⨁𝑖 𝑉𝑟 𝑖 ∗ → ⨁𝑖 𝑉𝑟 𝑖 ∗ を 𝑉𝑟 𝑖 ∗ → 𝑉𝑟 𝑖+1 ∗ : inclusion の拡張で与える 考える係数体を 𝐾 としたとき、 Boundary 𝜕: ⨁𝑖 𝑉𝑟 𝑖 𝑛 → ⨁𝑖 𝑉𝑟 𝑖 𝑛 を多項式環 𝐾 𝑥 module の準同型として考える。 この(多項式環係数)行列の smith-normal form を用いる
  • 20.
    補足: smith normalform PID 𝑅 係数の 𝑛 × 𝑚 行列 𝑋 ∈ 𝑀 𝑛, 𝑚, 𝑅 の smith-normal form とは 正則行列 𝑆 ∈ 𝐺𝐿 𝑛, 𝑅 , 𝑇 ∈ 𝐺𝐿 𝑚, 𝑅 を用いて 𝑆𝑋𝑇 = 𝐴 0 0 0 𝑤/ 𝐴 = 𝑎1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ 𝑎 𝑟 , 𝑎𝑖|𝑎𝑖+1
  • 21.
    計算方法 上の algorithm +行列の reduction を用いることで、 計算量を抑えている。 一般の環係数に対して、最悪計算量はΟ 𝑛3 Milosavljevic 等は体係数の Persistent Homology を行列積 order Ο 𝑛 𝜔 で計算をしている(*) 現状 𝜔 ≈ 2.3727 が知られている * Milosavljević, Nikola, Dmitriy Morozov, and Primoz Skraba. "Zigzag persistent homology in matrix multiplication time." Proceedings of the twenty-seventh Annual Symposium on Computational Geometry. ACM, 2011.
  • 22.
    離散 Morse 理論 •離散 morse 理論を用いて、単体複体を小さく することで計算量を抑えることを考える • 離散モース理論: 単体複体 𝐾 上の関数 𝑓 が morse ⇔ 任意の単体 𝛼 𝑝 に対し ⋕ 𝛼 < 𝛽 𝑝+1 𝑓 𝛽 ≤ 𝑓 𝛼 ≤ 1 ⋕ 𝛾 𝑝−1 < 𝛼 𝑓 𝛼 ≤ 𝑓 𝛾 ≤ 1
  • 23.
    離散 Morse 理論 単体複体𝐾 の単体 𝜎 がmorse 関数 𝑓 の臨界 点(critical point) ⇔ ⋕ 𝛼 < 𝛽 𝑝+1 𝑓 𝛽 ≤ 𝑓 𝛼 = 0 ⋕ 𝛾 𝑝−1 < 𝛼 𝑓 𝛼 ≤ 𝑓 𝛾 = 0 類似: 多様体に対する morse 理論では morse 関数の 臨界点に応じて、多様体の cell 分解を行った…
  • 24.
    離散 Morse 理論 定理(基本定理) 単体複体𝐾 上にモース関数 𝑓 が存在 ⇒ 𝑓 の p-次の臨界点に対応した p-次のセルを持つ CW 複体と homotopy 同値になる ∎ 𝑀𝑓: 𝑓 の臨界点から生成される自由加群 以下が分かる ∃ 𝜕: 𝑀𝑓 → 𝑀𝑓 で 𝑀𝑓 はchain 複体。これを morse 複体という これは homology を保っている。
  • 25.
    離散 Morse 理論 •𝑅𝑃2 の homology の計算例 𝑅𝑃2 上の morse 関数を以下の図で与える。 2 3 1 1 23 t e e
  • 26.
    離散 Morse 理論(例) •これの morse complex は次で与えられる ℤ ×2 ℤ → 0 ℤ → 0 これより、 𝐻0 𝑅𝑃2 , ℤ = ℤ 𝐻1 𝑅𝑃2 , ℤ = ℤ 2ℤ 𝐻2 𝑅𝑃2 , ℤ = 0
  • 27.
    離散 Morse 理論(Filteredver.) • Mischaikow, Konstantin, Nanda は離散モース 理論(Morse complex) の理論を filtered complex に拡張し,Persistent Homology の計 算の効率化を行った(*) • filtration に適合した morse complex は元の 複体と同じ Persistence Diagram を与える (*) Mischaikow, Konstantin, and Vidit Nanda. "Morse theory for filtrations and efficient computation of persistent homology." Discrete & Computational Geometry 50.2 (2013): 330-353.
  • 28.
    離散 Morse 理論(Filteredver.) 以上の方法計算量に使う値を定義する 𝑛: cell の個数(input size) 𝑝 = max 𝛼∈𝐾 # 𝛽 ∈ 𝐾 𝛼 < 𝛽 𝑚𝑖: i-次元のセルの個数 𝑚: morse complex のセルの個数(output) i.e. 𝑚 = 𝑚𝑖 𝑚 = 𝑚𝑖 2
  • 29.
    離散 Morse 理論(Filteredver.) 一般の体係数に対しては、filtered morse 理論 を用いた際の計算量は Ο 𝑛 ∙ 𝑝 ∙ 𝑚 + 𝑚3 また、体係数では Ο 𝑛 ∙ 𝑝 ∙ 𝑚 + 𝑚 𝜔 に削減できる。 詳細:略(´;ω;`)
  • 30.
    社会での実用例 • Fujitsu がTDA を利用したサービスをリリース 時系列データを高精度に分析する新たなDeep Learning技術を開発 • Carlsson 先生が co-founder を務める Ayasdi 社
  • 31.