20170422 数学カフェ Part2

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

数学カフェ
「確率・統計・機械学習」
（Part2）
2017年4⽉22⽇数学カフェ
Yahoo! Japan コワーキングスペース LODGE
株式会社Preferred Networks ⼤野健太
oono@preferred.jp

アジェンダ
• 汎化誤差と訓練誤差
• 汎化誤差の分解
• 近似誤差
• 最適化誤差
• 推定誤差
2

問題設定とアプローチ
問題
• 訓練データ：D = {(x1, y1), …, (xN, yN)}が与えられている
• 未知データ x からラベル y を予測する予測モデルを作りたい
アプローチ
• 真のデータ分布 q が存在し、Dの各サンプル...

汎化誤差と訓練誤差
汎化誤差： E (θ) = E(x, y)~q [L(x, y; θ)]
• 本当に最⼩化したいもの
• 真のデータ分布 q がわからないので計算出来ない
訓練誤差： E^ (θ) = 1 / N Σi L(xi , yi ...

KLダイバージェンス
⼀般に距離の公理は満たさない
• ⼀般に KL (q || p) ≠ KL (p || q)
• 適当な条件で KL(q || p) = 0 ⇔ q = p は⾔える
5
KL(qkp) := E(x,y)⇠q

log...

KLダイバージェンス
このスライドだけ以下の状況を考える
• 損失関数は L(x, y; θ) = - log p(y | x; θ) （負の対数尤度）
• p (x; θ) は θ によらず⼀定
6
KL(qkp✓) = E(x,y)⇠q
...

argminは存在して⼀意ですか？
→ ⼀般的には存在性も⼀意性もNo
7
汎化誤差最⼩解 θ* = argminθ E (θ)
訓練誤差最⼩解 θ^ = argminθ E^(θ)

⼀意性がない（かもしれない）問題設定
8
x1
x2
x3
x4
y
0
出⼒の重みが0のユニットへの⼊⼒の重みはNNの出⼒値に影響しない

⼀意性がない（かもしれない）問題設定
9
x1
x2
x3
x4
y
特定の2つのユニットを結合を含めて交換しても、出⼒の値は変化しない

機械学習界隈は存在性・⼀意性にあまり
興味がない？
• 存在性
• ⽬的関数が連続である場合が多く、パラメータ空間をコンパクトにす
れば、⾃動的に存在が⾔えてしまう
• アルゴリズムが有限回のステップで⽌まるなどの理由で、そもそも最
⼩解がアル...

アジェンダ
• 汎化誤差と訓練誤差
• 汎化誤差の分解
• 近似誤差
• 最適化誤差
• 推定誤差
11

汎化誤差の分解 [Bottou+11][得居15]
12
近似誤差推定誤差最適化誤差
θ* : 汎化誤差最⼩解 argminθ E (θ)
θ^ : 訓練誤差最⼩解 argminθ E^(θ)
θ0 : アルゴリズムで実際に得られたパラメー...

Tomaso Poggioの問題提起
[Poggio+16]
14
Poggio, T., Mhaskar, H., Rosasco, L., Miranda, B., & Liao, Q. (2016). Why and When Can
D...

近似誤差推定誤差最適化誤差
E(✓0) = E(✓⇤
) +
h
E(ˆ✓) E(✓⇤
)
i
+
h
E(✓0) E(ˆ✓)
i
仮説集合は本物の分布をどのくらい
近似する能⼒があるか？

Tomaso Poggioの問題提起
[Poggio+16]
16
Poggio, T., Mhaskar, H., Rosasco, L., Miranda, B., & Liao, Q. (2016). Why and When Can
D...

普遍性定理 ([Cybenko+89] etc..)
Note
• 定義域の[-1, 1]dはコンパクト空間に拡張できる
• [Cybenko+89]以降⾊々なバリエーションで証明されている
• [Cybenko+89]ではHahn-Banac...

深層モデルのExpressibility
18
↓COLT（機械学習・学習理論に関する国際会議）2016年の1セッション

Sum-Product Network [Domingos+11]
• 2種類のノードを交互に積み上げたネットワーク
• ⼊⼒の重み付き和を出⼒するノード
• ⼊⼒の積を取るノード
• 歴史的には分配関数を効率よく計算できるグラフィカルモデル
...

層を深くするメリット[Delalleau+11]
• ⾼さ2n段、各ノードが2⼊⼒のSum-product network （=⼊⼒
数4n）を2段のSum-product Networkで実現するには、1段⽬の
掛け算ノードが少なくとも22^...

普遍性定理の問題点
• あくまで存在定理、NNの構成⽅法は⽰していない
• Nielsenの証明は構成的だが、NNのパラメータを極端な値に
振って構成するので、現実的なNNとは程遠い
• そもそも最⼩化対象の汎化誤差は訓練データだけからは計算で...

近似誤差推定誤差最適化誤差
E(✓0) = E(✓⇤
) +
h
E(ˆ✓) E(✓⇤
)
i
+
h
E(✓0) E(ˆ✓)
i
訓練誤差を最⼩にする理想の解と実
際のアルゴリズムで得られる現実の
解はどのくらい違うか？

Tomaso Poggioの問題提起
[Poggio+16]
23
Poggio, T., Mhaskar, H., Rosasco, L., Miranda, B., & Liao, Q. (2016). Why and When Can
D...

残念なお知らせ（再掲）
深層学習のモデルが作る損失関数は⾮凸
⼼配事1
「勾配法はsaddle pointにはまってしまうのでは！？」
⼼配事2
「勾配法はlocal minimumにしかたどりつけないのでは！？」
• Q. 深層学習のモデルが...

臨界点と指数
• θ = a が関数 f : Rd→Rの臨界点 ⇔ ∇θ f (a) (= [∂i f (a)]i=1,..,d ) = 0
• 臨界点でのHessianの負の固有値の数を指数という
25
Hessian H(a) = ∇θ∇θ...

臨界点と指数
• 関数の臨界点を指数により分類する
26
指数 = 0 極⼩（local minimum）
0< 指数 < d 鞍点（saddle point）
または極⼤（local maximum）
指数 = d 極⼤（local maxi...

プラトー
27

深層モデルの損失関数のsaddle point
[Dauphin+14]
• 臨界点における損失関数の値と指数は正の相関がある
• 損失関数の⼤きな所にある臨界点はほとんどsaddle pointでは？
• saddle pointで停留しない...

物理モデルへの帰着
ニューラルネットや⼊⼒に適当な仮定を置くことで、損失関数
を適当な物理モデルのハミルトニアンの形に帰着させる
• ランダムガウシアンモデル [Bray+07]
• Spherical spin glass モデル [Chor...

深層モデルの損失関数のSaddle point
[Choromanska+15]など
ReLUを活性化関数とする多層パーセプト
ロンの損失関数を近似によりspherical
spin glassのエネルギー関数に帰着させる
⽰したこと（info...

Gradient-based optimization
31http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html
saddle pointやlocal minim...

統計多様体と特異モデル
• 仮説空間として確率分布族を考える。
• Fisher 情報量が各点で⾮退化ならば、この族にはFisher情報量
を計量とするリーマン多様体の構造が⼊る
32
p q
Fisher 情報量
G(θ) = (Gij (θ...

Natural gradient [Amari+98]
Gradient Descent (GD)で勾配にFisher情報量の逆⾏列を掛ける
• 通常のGDはFisher情報量が潰れている箇所で移動距離が⼩さ
くなり、停滞してしまう
• Fis...

残念なお知らせ：
深層学習のモデルが作る損失関数は⾮凸
⼼配事1
「勾配法はSaddle pointにはまってしまうのでは！？」
⼼配事2
「勾配法はlocal minimumにしかたどりつけないのでは！？」
• Q. 深層学習のモデルが作る損...

深層学習モデルの作る損失関数の
Local minima [Choromanska+15]
35
Choromanska, Anna, et al. "The Loss Surfaces of Multilayer
Networks." AIS...

No-bad-local-minima Theorem
[Kawaguchi16], [Lu+17]
• 訓練データとネットワークに関する緩い条件
• 線形NN（活性化関数が恒等関数）
• 損失関数は2乗誤差
→ 訓練誤差関数のlocal mi...

No-bad-local-minima Theorem
[Kawaguchi16], [Lu+17]
37
（画像はイメージです）
Kawaguchi, Kenji. "Deep learning without poor local mini...

38
Tomaso Poggio, Qianli
Liao, Theory II:
Landscape of the
Empirical Risk in Deep
Learning,
arXiv:1703.09833
Poggioらは、実験結果...

近似誤差推定誤差最適化誤差
E(✓0) = E(✓⇤
) +
h
E(ˆ✓) E(✓⇤
)
i
+
h
E(✓0) E(ˆ✓)
i
汎化誤差と訓練誤差にはどのくらい
の違いがあるか？

Tomaso Poggioの問題提起
[Poggio+16]
40
Poggio, T., Mhaskar, H., Rosasco, L., Miranda, B., & Liao, Q. (2016). Why and When Can
D...

汎化誤差と訓練誤差（再掲）
• 汎化誤差： E (θ) = E(x, y)~q [L(x, y; θ)]
• 本当に最⼩化したいもの
• qがわからないのでこれを計算することは出来ない
• 訓練誤差： E^ (θ) = 1 / N Σi L(x...

統計的推論
42
q
データ分布
サンプリング
(xi, yi) ~ q i.i.d
D ={(xi, yi)i=1,…,n}
推定
（訓練誤差最⼩解）
pθ
訓練データ
学習モデル
pθはqに「近い」か？
• n→∞ でpθ → qか？
• ...

例：コイン投げ
確率 θ で表(Head)が出るコインを考える。コイン投げの結果からコイ
ンの表が出る確率 θ を推定したい。
問題設定
• 真の分布：q (x = H) = Ber (x | θ), 0 < θ < 1
• 訓練データ：n 回...

特異モデルの統計的学習理論
NNは汎化誤差最⼩解に⼀意性がないかもしれない（特異モデル）
↓
⼀致性 θ^D → θ など
通常の統計的学習理論での漸近解析が展開できない
44
特異モデルの統計的学習理論（渡辺澄夫先⽣の理論）には、
代数幾何（...

Rademacher complexity
仮説空間の「複雑度」を図る指標
45
R(H, D) = E
"
sup
h2H
X
i
ih(zi)
#
= ( 1, . . . , n), i ⇠ Ber
✓
1
2
◆
R(H) = ED⇠q...

Rademacher complexityによる
汎化性能の評価
46
この不等式を使ってVC次元で評価する⽅法もある
推定誤差 Rademacher
complexity

Uniform stabilityを⽤いた汎化性能の評価
[Hardt+15]
47
Hardt, Moritz, Benjamin Recht, and Yoram Singer. "Train faster, generalize bett...

深層学習の汎化性能 [Zhang+16]
深層学習のモデルをでラベルをランダムなものに⼊れ替えた
データセットで学習したら訓練誤差を0にできた
経験Rademacher complexityがほぼ1であることを⽰唆
48
Zhang, Chiy...

[Zhang+16] に対する批判
• Rademacher complexityによる汎化性能の評価は、仮説集合のすべての
元で成⽴する、⼀様な評価なので、これが使えないことは統計的学習理
論の⽅ではよく知られていた（ということを講演者は最近...

まとめ
• 汎化誤差は近似誤差・最適化誤差・推定誤差の3つに分解でき
ます
• 普遍性定理により隠れ層が1層のNNも⼗分表現能⼒が⾼いです
が、層を増やすことで「効率的」に関数を近似できます
• 深層学習モデルの訓練について、理論的には損失関数...

数学と機械学習
数学と物理の関係
• 数学の⾔葉を⽤いて物理を厳密に記述する
• 超関数・ヒルベルト空間・リーマン多様体 etc.
• 物理の問題や考え⽅から新しい数学を開発する
• 数論的⼒学系・エルゴード理論・頂点作⽤素代数 etc.
• ...

今⽇話せなかったこと（機械学習編）
• ベイズ機械学習
• Graphical model, Ising model
• HMM
• 混合ガウス分布, EMアルゴリズム
• クラスタリング, K means
• 変分ベイズ
• SVM
• 情報...

今⽇話せなかったこと（深層学習編）
• 具体的なモデル（CNN, RNN）
• 深層モデルの正則化（regularization）
• 深層モデルの正規化（normalization）
• 深層⽣成モデル、GAN、密度⽐推定
• 変分推定、VA...

どこから情報を⼿に⼊れる？
学会
• ICML, NIPS（機械学習全般）
• ICLR（深層学習、表現学習）
• COLT（理論寄り機械学習）
• KDD（データマイニング全般）
あるトピックを勉強したければ、各論の
論⽂ではなくチュートリア...

appendix
55

層を深くするメリット[Mhaskar+16]
• [Mhaskar+16 , Theorem 1]
56
Mhaskar, Hrushikesh, Qianli Liao, and Tomaso Poggio. "Learning functi...

統計多様体と特異モデル
NNのアーキテクチャを1つ固定して、そのNNで実現できる確率
分布からなる統計モデルはFisher情報が⾮退化
（パラメータを微⼩に動かしても、表現する確率分布が変化し
ない）
• 統計多様体が次の条件を満たす時、滑らか...

適応⾃然勾配法 [Amari+00] [Park+00]
• Fisher情報量の逆⾏列の計算が重いので、それをオンラインで
推定したものを使う、適応⾃然勾配法という⼿法もある
58
Amari, Shun-Ichi, Hyeyoung Par...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

数学つまみぐい入門編 by Akira Yamaguchi 4693 views
圏とHaskellの型 by KinebuchiTomo 8224 views
楕円曲線入門トーラスと楕円曲線のつながり by MITSUNARI Shigeo 18494 views
20170422 数学カフェ Part1 by Kenta Oono 14806 views
数学カフェ確率・統計・機械学習回「速習確率・統計」 by Ken'ichi Matsui 129383 views
ニューラルネットワークの数理 by Task Ohmori 19876 views

View on Slideshare

1 of 58 Ad

View on Slideshare

1 of 58 Ad