Download to read offline
![平均エントロピー
定義
確率分布Pの平均エントロピーは
𝐸[− log 𝑃 𝐸 ]](https://image.slidesharecdn.com/t-snesuuken-180921110102/85/T-sne-58-320.jpg)
![KLダイバージェンス
PとQでは情報量はどれくらい違うだろうか？？？
− log 𝑄 − − log 𝑃 = log
𝑃
𝑄
の期待値をとると
𝑬[𝐥𝐨𝐠
𝑷(𝒙)
𝑸(𝒙)
] =
−∞
∞
𝑷(𝒙)
𝐥𝐨𝐠 𝑷 𝒙
𝑸 𝒙
𝒅𝒙](https://image.slidesharecdn.com/t-snesuuken-180921110102/85/T-sne-77-320.jpg)
![KLダイバージェンス
𝑬[𝐥𝐨𝐠
𝑷(𝒙)
𝑸(𝒙)
] =
−∞
∞
𝑷 𝒙
𝐥𝐨𝐠 𝑷 𝒙
𝑸 𝒙
𝒅𝒙 =: 𝑲𝑳(𝑷||𝑸)
分布間の違いを図る尺度として使われる。
KLダイバージェンス](https://image.slidesharecdn.com/t-snesuuken-180921110102/85/T-sne-78-320.jpg)
![[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning](https://cdn.slidesharecdn.com/ss_thumbnails/dl1211-191213002847-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...](https://cdn.slidesharecdn.com/ss_thumbnails/wgan-1-170224021826-thumbnail.jpg?width=640&height=640&fit=bounds)
T-sne
- 1.
- 2.
- 3. 簡単な自己紹介から。。。 勉強してる分野:機械学習 • Logistic Regression •Support Vector Machine • NuralNetwork • Kernel K-means
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. 次元削減・・・データの次元を減らすこと 例えば… •PCA（主成分分析） •Random Projection •Linear DiscriminantAnalysis 単純に次元を減らせばいい わけではない！
- 23.
- 24.
- 25.
- 26. SNE(Distributed Stochastic NeighborEmbedding) 個人１ 個人2 個人3 遠い！！ 近い！ 普通。 遺伝的距離の関係を保ちながら，高次元のデータを二次元のデータ に変換することで可視化を可能にしたい N次元 二次元だと距離関係が 直感的につかめる 個人１ 個人2 遠いやつは遠くに！！ 近いやつは近くに！ 普通は適度に。 個人3 Nが大きいと可視化は難しい
- 27. X_i X1 X2 X3 pi1 pi2 pi3 SNE(Distributed Stochastic NeighborEmbedding) i番目の個体とそれ以外の個体の距離の関係がガウス分布 に従うと仮定する 𝑃 𝑋𝑗 𝑋𝑖 : 離散化された経験的ガウス分布
- 28. X_i X1 X2 X3 pi1 pi2 pi3 SNE(Distributed Stochastic NeighborEmbedding) i番目の個体とそれ以外の個体の距離の関係を確率分布に 見立てる 𝑝 𝑖𝑗 = S(i番目の個体とj番目の個体の距離) S(i番目の個体とそれ以外の個体の距離)の総和 𝑃 𝑋𝑗 𝑋𝑖 : S(i番目の個体とj番目の個体の 距離)のS(全体)に対する比
- 29. X0 X1 X2 X3 p01 p02 p03 SNE(Distributed Stochastic NeighborEmbedding) 𝑝𝑖𝑗 = exp(− (||𝑥𝑖 − 𝑥𝑗||)2 2𝜎2 ) Σ 𝑘≠𝑙exp(− ||𝑥 𝑘 − 𝑥𝑙||2 2𝜎2) 離散化されたガウス分布 確率分布pi
- 30. X0 X1 X2 X3 p01 p02 p03 SNE(Distributed Stochastic NeighborEmbedding) 確率分布p0 個体の数だけ確率分布が存在する p01 p02 p03 確率分布p3 p01 p02 p03 確率分布p1 p01 p02 p03 確率分布p2
- 31. X0 X1 X2 X3 Y1 Y2 p01 p02 p03 q01 q02 q03 𝑝𝑖𝑗 = exp(−(||𝑥𝑖 − 𝑥𝑗||)2 2𝜎2 ) Σ 𝑘≠𝑙exp(− ||𝑥 𝑘 − 𝑥𝑙||2 2𝜎2) Y3 𝑌0 埋め込み関数 g SNE(Distributed Stochastic Neighbor Embedding) 距離の関係を保てるような二次元への埋め込み関数gを探す
- 32. X0 X1 X2 X3 Y1 Y2 p01 p02 p03 q01 q02 q03 𝑞𝑖𝑗 = exp(−(||𝑔(𝑋𝑖)− 𝑔(𝑋𝑗)||)2 ) Σ 𝑘≠𝑙exp(−(||𝑔(𝑋𝑖) − 𝑔(𝑋𝑙)||)2)𝑝𝑖𝑗 = exp(− (||𝑥𝑖 − 𝑥𝑗||)2 2𝜎2 ) Σ 𝑘≠𝑙exp(− ||𝑥 𝑘 − 𝑥𝑙||2 2𝜎2) Y3 𝑌0 埋め込み関数 g SNE(Distributed Stochastic Neighbor Embedding) 二次元でも同じような確率分布を定義する g に依って決定する「埋込後」の距離の分布 Q(g)
- 33. 𝑞𝑖𝑗 = exp(−(||𝑔(𝑋𝑖) −𝑔(𝑋𝑗)||)2 ) Σ 𝑘≠𝑙exp(−(||𝑔(𝑋𝑖) − 𝑔(𝑋𝑙)||)2) 𝑝𝑖𝑗 = exp(− (||𝑥𝑖 − 𝑥𝑗||)2 2𝜎2 ) Σ 𝑘≠𝑙exp(− ||𝑥 𝑘 − 𝑥𝑙||2 2𝜎2) SNE(Distributed Stochastic Neighbor Embedding) この二つの分布をなるべく同じような分布になる ようにしたい！！ 高次元の距離の情報を持った確率 分布p 低次元の距離の情報を持った確率 分布p
- 34. 𝑞𝑖𝑗 = exp(−(||𝑔(𝑋𝑖) −𝑔(𝑋𝑗)||)2 ) Σ 𝑘≠𝑙exp(−(||𝑔(𝑋𝑖) − 𝑔(𝑋𝑙)||)2) 𝑝𝑖𝑗 = exp(− (||𝑥𝑖 − 𝑥𝑗||)2 2𝜎2 ) Σ 𝑘≠𝑙exp(− ||𝑥 𝑘 − 𝑥𝑙||2 2𝜎2) SNE(Distributed Stochastic Neighbor Embedding) 分布間の違いを図る物差しはないのか？？ 高次元の距離の情報を持った確率 分布p 低次元の距離の情報を持った確率 分布p p01 p02 p03 q01 q02 q03
- 35. 𝑞𝑖𝑗 = exp(−(||𝑔(𝑋𝑖) −𝑔(𝑋𝑗)||)2 ) Σ 𝑘≠𝑙exp(−(||𝑔(𝑋𝑖) − 𝑔(𝑋𝑙)||)2) 𝑝𝑖𝑗 = exp(− (||𝑥𝑖 − 𝑥𝑗||)2 2𝜎2 ) Σ 𝑘≠𝑙exp(− ||𝑥 𝑘 − 𝑥𝑙||2 2𝜎2) SNE(Distributed Stochastic Neighbor Embedding) 分布間の違いを図る物差しはないのか？？ 高次元の距離の情報を持った確率 分布p 低次元の距離の情報を持った確率 分布p KLダイバージェンス
- 36. KLダイバージェンス 確率分布: 𝑃, 𝑄 𝐾𝐿𝑃 𝑄 = ∫ 𝑝(𝑥)𝑙𝑜𝑔 𝑝(𝑥 ) 𝑞(𝑥 ) 式で書くとこう
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44. 自己エントロピー 情報量の性質1(加法性) 事象𝐸1, 𝐸2が 同時におこるよ～ 𝐸_1,𝐸_2どっちも起 こるのか、マジか！
- 45. 自己エントロピー 情報量の性質1(加法性) 事象𝐸1, 𝐸2が 同時におこるよ～ 𝑰𝑷 𝑬 𝟏⋂𝑬 𝟐 = 𝑰 𝑷 𝑬 𝟏 + 𝑰(𝑷 𝑬 𝟐 ) 互いに独立な事象が起こると わかった時の情報量はそれぞ れの情報量の和
- 46. 自己エントロピー 情報量の性質1(加法性) 事象𝐸1, 𝐸2が 同時におこるよ～ 𝑰𝑷 𝑬 𝟏)𝑷(𝑬 𝟐 = 𝑰 𝑷 𝑬 𝟏 + 𝑰(𝑷 𝑬 𝟐 ) 𝑃 𝐸1⋂𝐸2 = 𝑃 𝐸1 𝑃 𝐸2 𝐸1と𝐸2は独立
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. 自己エントロピー 𝐼 𝑃1 𝑃2= 𝐼 𝑃1 + 𝐼 𝑃2 𝑃1 ≤ 𝑃2ならば𝐼 𝑃1 ≥ 𝐼(𝑃2) 情報量の性質
- 54. 自己エントロピー 𝐼 𝑃1 𝑃2= 𝐼 𝑃1 + 𝐼 𝑃2 𝑃1 ≤ 𝑃2ならば𝐼 𝑃1 ≥ 𝐼(𝑃2) このような性質を満たす関数Iって？？？
- 55. 自己エントロピー 𝐼 𝑃1 𝑃2= 𝐼 𝑃1 + 𝐼 𝑃2 𝑃1 ≤ 𝑃2ならば𝐼 𝑃1 ≥ 𝐼(𝑃2) このような性質を満たす関数Iって？？？ 答えは−𝐥𝐨𝐠‼
- 56.
- 57.
- 58.
- 59. 平均エントロピー 𝐸 − log𝑃 𝐸 = − 𝑝 𝑥 𝑙𝑜𝑔 𝑝(𝑥) 𝑑𝑥 期待値の計算
- 60. 平均エントロピー 平均エントロピー − 𝑝𝑥 𝑙𝑜𝑔 𝑝(𝑥) 𝑑𝑥は 確率分布の不確定性を示す値 直観と合うか確かめてみよう
- 61. 平均エントロピー 𝑚𝑎𝑥 − 𝑖= 𝑛 𝑝 𝑥_𝑖𝑙𝑜𝑔 𝑝(𝑥_𝑖) ラグランジュの未定乗数法を使う！！ 次の最適化問題を考える subject to 𝑖=1 𝑛 𝑝 𝑥 𝑑𝑥 = 1 簡単のため、離散分布で考えます。
- 62. 平均エントロピー min𝐿 𝑝, 𝜆= 𝑚𝑖𝑛 𝑖=1 𝑛 𝑝 𝑥_𝑖 𝑙𝑜𝑔 𝑝(𝑥_𝑖) + 𝜆( 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1) 最適化問題を考える 𝜕𝐿 𝜕𝜆 = 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1 = 0 𝜕𝐿 𝜕𝑝_𝑖 = log 𝑝 𝑥𝑖 + 1 − λ = 0
- 63. 平均エントロピー min𝐿 𝑝, 𝜆= 𝑚𝑖𝑛 𝑖=1 𝑛 𝑝 𝑥_𝑖 𝑙𝑜𝑔 𝑝(𝑥_𝑖) + 𝜆( 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1) 最適化問題を考える 𝜕𝐿 𝜕𝜆 = 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1 = 0𝜕𝐿 𝜕𝑝_𝑖 = log 𝑝 𝑥𝑖 + 1 − λ = 0 𝑝 𝑥𝑖 = exp(𝜆 − 1) 𝑖=1 𝑛 𝑝 𝑥_𝑖 = 1
- 64. 平均エントロピー min𝐿 𝑝, 𝜆= 𝑚𝑖𝑛 𝑖=1 𝑛 𝑝 𝑥_𝑖 𝑙𝑜𝑔 𝑝(𝑥_𝑖) + 𝜆( 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1) 最適化問題を考える 𝜕𝐿 𝜕𝜆 = 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1 = 0𝜕𝐿 𝜕𝑝_𝑖 = log 𝑝 𝑥𝑖 + 1 − λ = 0 𝑝 𝑥𝑖 = exp(𝜆 − 1) 𝑖=1 𝑛 𝑝 𝑥_𝑖 = 1 代入
- 65. 平均エントロピー 𝑚𝑖𝑛𝐿 𝑝, 𝜆= 𝑚𝑖𝑛 𝑖=1 𝑛 𝑝 𝑥_𝑖 𝑙𝑜𝑔 𝑝(𝑥_𝑖) + 𝜆( 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1) 最適化問題を考える 𝜕𝐿 𝜕𝜆 = 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1 = 0𝜕𝐿 𝜕𝑝_𝑖 = log 𝑝 𝑥𝑖 + 1 − λ = 0 𝑖=1 𝑛 exp(𝜆 − 1)= 1
- 66. 平均エントロピー min𝐿 𝑝, 𝜆= 𝑚𝑖𝑛 𝑖=1 𝑛 𝑝 𝑥_𝑖 𝑙𝑜𝑔 𝑝(𝑥_𝑖) + 𝜆( 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1) 最適化問題を考える 𝜕𝐿 𝜕𝜆 = 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1 = 0𝜕𝐿 𝜕𝑝_𝑖 = log 𝑝 𝑥𝑖 + 1 − λ = 0 𝑖=1 𝑛 exp(𝜆 − 1)= 1 n exp(𝜆 − 1)=1 n exp(𝜆 − 1)=1
- 67. 平均エントロピー min𝐿 𝑝, 𝜆= 𝑚𝑖𝑛 𝑖=1 𝑛 𝑝 𝑥_𝑖 𝑙𝑜𝑔 𝑝(𝑥_𝑖) + 𝜆( 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1) 最適化問題を考える 𝜕𝐿 𝜕𝜆 = 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1 = 0𝜕𝐿 𝜕𝑝_𝑖 = log 𝑝 𝑥𝑖 + 1 − λ = 0 n exp(𝜆 − 1)=1 P(x_i) =1/n 𝑝 𝑥𝑖 = exp 𝜆 − 1 に代入 𝜆 − 1=log(1/n)
- 68. 平均エントロピー minL 𝑝, 𝜆= 𝑚𝑖𝑛 𝑖=1 𝑛 𝑝 𝑥_𝑖 𝑙𝑜𝑔 𝑝(𝑥_𝑖) + 𝜆( 𝑖=1 𝑛 𝑝 𝑥_𝑖 − 1) 最適化問題を考える 𝑃 𝑥𝑖 = 1 𝑛 の解は 一様分布
- 69.
- 70. 平均エントロピー 次の分布を考える デルタ分布 ∫ 𝛿 𝑥𝑑𝑥 = 1 𝛿 𝑥 = 0 for 𝑥 ≠ 0 𝛿 0 = ∞
- 71. 平均エントロピー 𝛿 𝑥 の平均エントロピーは lim 𝜖→0 − −𝜖 𝜖 1 2𝜖 log 1 2𝜖 𝑑𝑥 =lim 𝜖→0 1 2𝜖 log 1 2𝜖 −𝜖 𝜖 1 𝑑𝑥 = lim 𝜖→0 −log 1 2𝜖 = −∞
- 72. 平均エントロピー ・𝛿 𝑥 の平均エントロピーは−∞ ・𝛿𝑥 はx = 0のみ起こる確率分布 𝛿 𝑥 は何が起こるかはっきりしてる->不確定が全くない
- 73.
- 74.
- 75.
- 76. KLダイバージェンス P:推定したい真の分布 Q:Pの実現値からPを推測した分布 PとQでは情報量はどれくらい違うだろうか？？？ − 𝐥𝐨𝐠 𝑷− − 𝐥𝐨𝐠 𝑸 = 𝐥𝐨𝐠 𝑸 𝑷
- 77. KLダイバージェンス PとQでは情報量はどれくらい違うだろうか？？？ − log 𝑄− − log 𝑃 = log 𝑃 𝑄 の期待値をとると 𝑬[𝐥𝐨𝐠 𝑷(𝒙) 𝑸(𝒙) ] = −∞ ∞ 𝑷(𝒙) 𝐥𝐨𝐠 𝑷 𝒙 𝑸 𝒙 𝒅𝒙
- 78. KLダイバージェンス 𝑬[𝐥𝐨𝐠 𝑷(𝒙) 𝑸(𝒙) ] = −∞ ∞ 𝑷 𝒙 𝐥𝐨𝐠𝑷 𝒙 𝑸 𝒙 𝒅𝒙 =: 𝑲𝑳(𝑷||𝑸) 分布間の違いを図る尺度として使われる。 KLダイバージェンス
- 79.
- 80. 𝑞𝑖𝑗 = exp(−(||𝑔(𝑋𝑖) −𝑔(𝑋𝑗)||)2 ) Σ 𝑘≠𝑙exp(−(||𝑔(𝑋𝑖) − 𝑔(𝑋𝑙)||)2)𝑝𝑖𝑗 = exp(− (||𝑥𝑖 − 𝑥𝑗||)2 2𝜎2 ) Σ 𝑘≠𝑙exp(− ||𝑥 𝑘 − 𝑥𝑙||2 2𝜎2) SNE(Distributed Stochastic Neighbor Embedding) 高次元の距離の情報を持った確率 分布p 低次元の距離の情報を持った確率 分布p この二つの分布をできるだけ近づけるような関数gを知りたい。 KLダイバージェンスを使って目的関数を 作り、gについて最適化をする。
- 81. SNE(Distributed Stochastic NeighborEmbedding) 目的関数 目的関数:最適化する関数 𝐶 = 𝑖 𝑗 𝑝𝑖𝑗 log 𝑝𝑖𝑗 𝑞𝑖𝑗 = 𝑖 𝐾𝐿(𝑃𝑖||𝑄𝑖)
- 82. SNE(Distributed Stochastic NeighborEmbedding) 目的関数 つまりminC を解きたい。 𝐶 = 𝑖 𝑗 𝑝𝑖𝑗 log 𝑝𝑖𝑗 𝑞𝑖𝑗 = 𝑖 𝐾𝐿(𝑃𝑖||𝑄𝑖)
- 83. SNE(Distributed Stochastic NeighborEmbedding) 目的関数 つまりminC を解きたい。 𝐶 = 𝑖 𝑗 𝑝𝑖𝑗 log 𝑝𝑖𝑗 𝑞𝑖𝑗 = 𝑖 𝐾𝐿(𝑃𝑖||𝑄𝑖) 明らかに解析的には無理。
- 84. SNE(Distributed Stochastic NeighborEmbedding) 勾配法…数値計算によって最適解を得る手法 アルゴリズム 1.適当な初期値𝑥0を決める 2. 𝑥 𝑘+1 = 𝑥 𝑘 − 𝛼𝑔𝑟𝑎𝑑𝑓(𝑥 𝑘)によってパラメータを更新 3.|𝑓(𝑥 𝑘+1 − 𝑓(𝑥 𝑘)| > 𝜖 なら2に戻る、そうでないなら終了
- 85. SNE(Distributed Stochastic NeighborEmbedding) 勾配法…数値計算によって最適解を得る手法 パラメータの更新について 𝑥 𝑘+1 = 𝑥 𝑘 − 𝜶𝒈𝒓𝒂𝒅𝒇(𝒙 𝒌) 変化量が最大の方向に進んでいく!!
- 86. SNE(Distributed Stochastic NeighborEmbedding) SNEの目的関数を勾配法を用いて最適化する 𝜕𝐶 𝜕𝑔𝑖 = 2 𝑗 (𝑔𝑖 − 𝑔𝑗)(𝑝𝑖𝑗 − 𝑞𝑖𝑗 + 𝑝𝑗𝑖 − 𝑞 𝑗𝑖)
- 87. SNE(Distributed Stochastic NeighborEmbedding) SNEの目的関数を勾配法を用いて最適化する 𝑔 𝑘+1 = 𝑔 𝑘 − 𝛼 2 𝑗 (𝑔1 − 𝑔𝑗)(𝑝1𝑗 − 𝑞1𝑗 + 𝑝𝑗1 − 𝑞 𝑗1) 2 𝑗 (𝑔2 − 𝑔𝑗)(𝑝2𝑗 − 𝑞2𝑗 + 𝑝𝑗2 − 𝑞 𝑗2) ⋮ ⋮ 2 𝑗 (𝑔 𝑛 − 𝑔𝑗)(𝑝 𝑛𝑗 − 𝑞 𝑛𝑗 + 𝑝𝑗𝑛 − 𝑞 𝑗𝑛)
- 88. SNE(Distributed Stochastic NeighborEmbedding) 実際にPythonで実装しました。 https://github.com/takutori/Implementation/tree /master/SNEにコードは置いてあります。 僕のgithubです
- 89. ガウス分布の代わりに距離分布 𝑞𝑖にスチューデント のt分布を使う手法。 𝑞𝑖𝑗(𝑔) = (1+ (||𝑔𝑖 − 𝑔𝑗||)2 )−1 Σ 𝑘≠𝑙(1 + (||𝑔𝑖 − 𝑔𝑙||)2)−1 データの個数が少ないとき今あるデータの 統計量は真の統計量よりぶれが大きくなる ことが多い。つまり分散が大きい。 t-SNE: スチューデントのt-分布 平均は同じで分散が違うガウス分布を無限個足し合わせたもの。 正規分布より裾が長い 正規分布より、少ないデータの外れ値に影響を受けにくくなる。
- 90. t-SNEを麦のゲノムデータに適用してみた 1279 個のSNP座位 599個体 ５９９個の １２７９次元ベクトル 599個体 ３つの量的形質 データ・セット 量的形質とは： 収穫量，色，寿命などなど 量で図れる形質 V2V1 V3 ５９９個の 3次元ベクトル R package ”BGLR” 付属の麦のデータ： 形質Vkは環境kにおける収穫量
- 91. Rでt-SNEを麦のゲノムデータに適用してみた 1279 次元のベクトルを ２次元に埋め込んでみた結果 色は量的形質を示す 𝑅 = exp(𝑉1𝑘/𝜏) max(exp 𝑉1𝑘 𝜏 ) 考察： 似た色同士の点が近くに集まっていない。 これはゲノムデータ上のユークリッド距 離では個体の量的形質同士の距離関係を うまく表現できないことを示している。 𝐺= exp(𝑉2𝑘/𝜏) max(exp 𝑉2𝑘 𝜏 ) 𝐵 = exp(𝑉3𝑘/𝜏) max(exp 𝑉3𝑘 𝜏 )
- 92.
- 93. 今後のプラン • 形質も考慮できるマハラノビス距離なども考え試す • 遺伝子の距離関係が集団（生息地・原生地など）の特徴に どう関連しているか調べる •集団構造の特徴とその分散の大きさの関連について調べる • 実際の麦データ２は２０万次元のSNPデータなので，それ についての実験を実行する
- 94. Reference • https://cs.nyu.edu/~roweis/papers/sne_final.pdf • https://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9% 87%8F •https://ja.wikipedia.org/wiki/%E6%9C%80%E6%80%A5%E9% 99%8D%E4%B8%8B%E6%B3%95
- 95.