Reducing the Dimensionality of Data with Neural Networksの発表資料です．

1. Reducing the Dimensionality of
Data with Neural Networks
G. E. Hinton and R. R. Salakhutdinov
資料作成：山下長義
2015/2/2 1

2. Deep Learningの分野で有名な手法の一つであ
るDeep Belief Networks (DBN) を提案した論文
を紹介する．
G. E. Hinton and R. Salakhutdinov, “Reducing the
dimensionality of data with neural networks,”
Science, vol. 313, no. 5786, pp. 504–507, 2006.
2015/2/2 2

3. 概要
Autoencoderは，入力情報を隠れ層の空間に写像した後，
元の信号を復元するようなパラメータを学習する．隠れ
層の中間にユニット数の少ないコード層があり，この層
の値を抽出することで，高次元の入力データを圧縮する
ことができる．
autoencoderのパラメータをチューニングするために最急
勾配法が一般的に用いられる．しかし，パラメータの初
期値が最適解に近い場合しか，有効に機能しないという
課題がある．このような状況から，この論文は，多層
autoencoder が有効に機能するために，効果的にパラ
メータの初期値を行う方法を提案している．
2015/2/2 3

4. autoencoder
Decoder
Encoderで圧縮されたデータを復元する．
Encoder
高次元のデータを低次元へ圧縮する．
AutoencoderはDecoderとEncoderからなる．ニューラルネットワークの特殊系
で，入力層と出力層の素子数が同じで，教師信号として入力データそのもの
を与えるという特徴を持つ．
このAutoencoderは，7つの層（四角）のニューラルネットワークで構成される．四
角の中の数は，ニューラルネットワークのユニット数を表している．
「コード」層
入力
出力
2015/2/2 4

5. autoencoder
多層のEncoderネットワークは， 高次元のデータを
低次元の「コード」に変換し，同様にdecoderネット
ワークは，「コード」データを復元する．そのため，
Autoencoderは非線形な次元圧縮器とみなすこと
ができる（次元圧縮の結果は，「コード」層の出力結
果を抽出する．）．
パラメータのチューニング方法
1. 2つのネットワーク（Decoder, Encoder）における
それぞれのユニットのパラメータW（7ページ参
照）に対して，発生させた乱数の値を割り当て
る．
2. 誤差逆伝搬法を利用して，オリジナルデータと
再構築のデータの差異を最小化するように各
隠れ層のそれぞれの素子のパラメータを訓練
する．2015/2/2 5

6. Autoencoderの課題と解決策の提案
しかし，隠れ層を複数持つautoencoderでは，パラメータ
の最適化は難しい．パラメータの初期値が最適解に近
い場合しか，最急勾配法が上手く機能しない．
（参考）最急降下法は、最適化したい関数f(x)の一階導関数f'(x)を見て、より
最適な点へ更新していき、最終的に最もよい点に収束させる手法である。
そこで，このような課題を解決すために，Restricted
Boltzmann machineを利用したプレトレーニング（pre-
training）を導入して，パラメータの初期値の最適化を実
現する．
2015/2/2 6

7. 参考）ニューラルネットワーク
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する
工学モデルである。図中の円は細胞、矢印は刺激の伝播を表す。細胞（A）
は複数の細胞（X1～Xn）から刺激を受ける。細胞の出力刺激の、別のある細
胞への伝わり易さ）を示すW1～Wnの結合係数があり，Aに入力される刺激
の総量は，W1×X1＋W2×X2＋・・・Wn×Xnになる。
Aに入力された刺激の総量から値（θ）を引いたものが、Aの内部状態In(A)と
なり、これをシグモイド関数（ロジスティックユニット）に通した値をAの出力値
Out(A)とする（線形関数を利用することもある）。本資料での，パラメータとは，
Wのこととし，ユニットとはこの図における一つ円のこととする．
Out (A) = σ ( In (A) )
[1] http://www.sist.ac.jp/~kanakubo/research/neuro.html
2015/2/2 7

8. 参考)誤差逆伝搬法
誤差逆伝播法は，機械学習においてニューラルネットワークを
学習させる（パラメータWを決定する）ための教師あり学習のア
ルゴリズムである（参照[2]）．
[2] 熊沢逸夫(1998) 「学習とニューラルネットワーク」 森北出版．
2015/2/2 8

9. Restricted Boltzmann machine
画像のようなバイナリデータの集合は，Restricted Boltzmann
machine（RBM）と呼ばれる2層のネットワークを使ってモデル化
することができる．RBMでは観測変数v（可視層における変数）
に加えて隠れ変数h（隠れ層における変数）を導入する．
RBM とは，Boltzmann Machine の可視層・隠れ層のユニット間
の結合を制限することで計算を効率的にしたニューラルネット
ワークのことである．
2015/2/2 9

10. RBMの構造
ピクセル値（観測変数：可
視層）
特徴抽出器（隠れ変数：隠れ層）
Wというパラメータによって
関連づけられている．
画像が与えられたとき，ピクセル値を，可視層における対応す
る観測変数に代入する．
2015/2/2 10

11. Restricted Boltzmann machine
， は，ピクセル値 と特徴抽出器 における値（0または
1）を保持している． は， これらに対するバイアスであり，
は， と との間のパラメータである．
RBMでは，P(v,h) は次のように表すことができる．
ただし，
Eはエネルギーと呼ばれるも
ので，(1)からエネルギーが小
さいとき，確率は高くなる．
(1)
vi hj i j
b1,b2
wij
vi hj
P(x,h) =
1
Z
exp(-E(x,h))
2015/2/2 11

12. 訓練画像は，パラメータをチューニングするために用いられる．
訓練画像が1つ与えられると，式(2)の右辺の確率で j 番目の特
徴抽出器 に１が代入される ．この計算をすべての隠れ変数つ
いて計算する．
(2)
(3)
p(hj =1| v) =s(bj + viwiji
å )
p(vi =1| h) =s(bi + hjwijj
å )
そして，隠れ変数hを(3)に代入すると，観測変数が求まる．
2015/2/2 12
hj

13. 最後に直前に求めた観測変数の値を反映させるために，観測
変数を(2)に代入して，もう一度隠れ変数の値を更新する．
パラメータの変化は以下のようにして求まる．
2015/2/2 13
ε ： 学習率
： 訓練画像が与えられたときの の期待値，
： 式(3)に隠れ変数を代入して求まる の期待値
vihj data
vihj
vihj recon
vihj

14. 多層化の方法
RBMでパラメータを
プレトレーニング
2. 隠れ層を次の層の可
視層とつなげて，
DecoderとEncoderから
なるautoencoderを形成
する．このとき，プレト
レーニングで求めたパラ
メータをそのまま使う．
1. 各層ごとにRBMで
パラメータをプレト
レーニングする．
RBMでパラメータを
プレトレーニング
RBMでパラメータを
プレトレーニング
2015/2/2 14

15. 3．逆誤差伝搬法を用いてautoencoder
全体を通してパラメータをさらにチュー
ニングする．
2015/2/2 15
このように，Restricted Boltzmann
machineを利用したプレトレーニングを導
入して，パラメータの初期値の最適化を
実現する．

16. 実験1
本手法が多層ニューラルネットワークのプレトレーニングが
有効であることを示すために，3点をランダムに選択して生成
された曲線の画像を多層autoencoderに学習させる．
実験1で用いるautoencoderは，(28 28)-400-200-100-50-25-6
ユニットから構成されるencoderと，それに対象なdecoder か
らなる．20,000枚の訓練画像を入力と出力に与えて，学習(パ
ラメータをチューニング)する．
そしてパラメータがチューニングされたautoencoderを用いて，
10,000枚の画像でテストを行った．テストにおいて，元の画像
に近い出力を可能にする手法が，良い手法である．
2015/2/2 16

17. 元の画像
autoencoderによって再構築された
画像
その他の手法によって再構築
された画像
2015/2/2 17
autoencoderによって再構築された画像が
もっとも元の画像を再現している．

18. 実験2
MNISTのデータセットにおける手書きの数字をAutoencoder
に適用する．
元の画像
autoencoderによって再構
築された画像
その他の手法によって再構
築された画像
2015/2/2 18
autoencoderによって再構築された画像が
もっとも元の画像を再現している．

19. 主成分分析による出力 autoencoderによる出力
コード層の値を使って2次元に可視化した結果
図における点の色と形は，事前にラベル付けされた数字を示して
いる．事前にラベル付けされた数字を分離して可視化している
Autoencoderの方が良い結果である．
2015/2/2 19

20. 実験3
MNISTにおける手書き数字のデータセット利用した文字認識で
は，これまでの一番小さな誤り率は，ランダムな値を初期値とし
て利用した誤差逆伝搬法で1.6%，サポートベクターマシーンで
1.4%であった．784-500-500-2000-10という構成の autoencoder
において，層ごとのプレトレーニングの後，最急降下法を用いた
誤差逆伝搬法は，1.2%という低い誤り率を達成した．
実験1〜3までのすべてにおいてautoencoderは最も良い性能を
発揮した．
2015/2/2 20

21. まとめ
Restricted Boltzmann machineを利用したプレトレーニング（pre-
training）を導入して，パラメータの初期値の最適化を実現した
多層autoencoderが非線形次元圧縮に効果があることを示した．
このような効果が得られるようになった要因は，本論文で示した
方法によって初期値が最適解に十分に近づけられたこと以外
に，以下の2つある．
• 計算機の性能が高速になったこと
• データのサイズが十分に大きくなったこと
2015/2/2 21