Recommended
More Related Content
Similar to 深層学習(講談社)のまとめ 第５章
More from okku apot
Recently uploaded
Recently uploaded (9)
深層学習(講談社)のまとめ 第５章
- 1. ５． 自己符号化器
- 2. ５章概要 自己符号化器とは・・・ 入力層と出力層のユニット数が同じ、順伝搬型ネットワーク 入力層から中間層への伝播 ＝ 符号化 中間層から出力層への伝播 ＝ 復号化 として、「サンプルを符号化→復号化したものがサンプルと等しく」なるように 学習することで、データの特徴（＝入力の別の「表現」）を得ることができる。 自己符号化器の機能を決めるのは活性化関数と中間層のユニット数である これを用いて、様々なことができる スパース正則化、白色化、ディープネットの事前学習
- 3. ・自己符号化器 ５． 自己符号化器 𝑥1 𝑥2 𝑥3 𝑥4 𝒙 𝒚(𝒙) 𝒙�(𝒙) 入力層と出力層のユニット数が同じ、２層の 順伝播ネットワークを考える。中間層の出力は 出力層の出力は と表せる。また、ネットワーク全体でまとめると と表せる。この２層ネットワークの重みとバイアスを調整して、入力 x に対する 出力 𝒙� が元の入力に近づくように学習させることを考える。このとき、 𝒚 = 𝒇(𝑾𝑾 + 𝒃) を符号化（encode）、 𝒙� = 𝒇� (𝑾� 𝒚 + 𝒃�) を復号化（decode）と呼ぶ。 このようなネットワークを自己符号化器という。 𝒚 = 𝒇(𝑾𝑾 + 𝒃) 𝒙� = 𝒇� (𝑾� 𝒚 + 𝒃�) 𝒙� = 𝒇� (𝑾� 𝒇(𝑾𝑾 + 𝒃) + 𝒃�)
- 4. ・自己符号化器の設計 自己符号化器の活性化関数には中間層の 𝒇 と、出力層の𝒇�がある。一般に中間層 は任意の非線形関数、出力層には出力が入力データになるように入力データの 種類に応じて選ぶ。また、それに応じて𝒙と𝒙�の誤差関数も選ぶ。 ・𝒙 が実数値、制約なし→ 𝒇�：恒等写像、誤差関数は二乗誤差の総和 𝐸 𝐰 = � 𝒙 𝑛 − 𝒙�(𝒙 𝑛) 2 𝑁 𝑛=1 ・𝒙 が０と１の２値→ 𝒇�：ロジスティック関数、誤差関数は交差エントロピー 𝐸 𝐰 = � 𝐶(𝒙 𝑛, 𝒙� 𝑛) 𝑁 𝑛=1 ただし 𝐶 𝒙 𝑛, 𝒙� 𝑛 = − �[𝑥𝑖 𝑙𝑙𝑙𝑥�𝑖 𝒙 + 1 − 𝑥𝑖 log{1 − 𝑥�𝑖 𝒙 }] 𝐷 𝑖=1 ５． 自己符号化器
- 5. ※中間層の重み𝑾と出力層の𝑾�は異なっても良いが、 𝑾� = 𝑾 𝑇 というように共通する場合もあり、重み共有の一種と呼ばれている。 ・自己符号化器の働き 誤差関数を最小化することで、パラメータ（重みとバイアス）を求める。 通常は中間層のパラメータを用い、これは（データの）特徴と呼ばれる。 自己符号化器は、学習を通して入力 x の別な「表現」 y を得ることが目的。 自己符号化器でどんな表現が学べるかは、主に活性化関数と中間層のユニット数 に依存する。 ５． 自己符号化器
- 6. 最も単純な場合として、活性化関数が恒等写像をとるとする。ネットワークは 𝒙� = 𝑾�(𝑾𝑾 + 𝒃) + 𝒃� と表せるがここで、中間層のユニット数が入力層より多い場合を考えると、 𝑾� ∙ 𝑾 = 𝑰, 𝒃 = 𝒃� = 𝟎 とすれば入力と出力は同じになり、誤差関数は常に０となってしまう。 そのため、活性化関数が線形関数の場合は中間層のユニット数は入力層より 少ない必要がある。 入力層の方が多い場合を考えると、これは訓練データの主成分分析（PCA)で 得られるものと同じになる。 ５． 自己符号化器
- 7. データの次元空間での広がりを，訓練サンプルの共分散行列 Φ = 1 𝑁 �(𝒙 𝑛−𝒙�)(𝒙 𝑛−𝒙�) 𝑇 𝑁 𝑛=1 の固有値・固有ベクトルによって捉え，表現したもの。データが偏って 存在する場合、Φの固有値の大きなものから順に選んだ固有ベクトルがその部分 空間を表す。ここで、固有値の降順に中間層のユニット数𝐷 𝑦分の固有ベクトル を行ベクトルとする行列を𝑼 𝐷 𝑦 、訓練サンプルの平均を𝒙�とするとこれらは min 𝒙�,𝑈 𝐷 𝑦 � 𝒙 𝑛 − 𝒙� − 𝑼 𝐷 𝑦 𝑇 𝑼 𝐷 𝑦 (𝒙 𝑛 − 𝒙�) 2 𝑁 𝑛=1 の最小化問題の解といえる。これは 𝑾 = 𝑼 𝐷 𝑦 , 𝒃 = −𝑼 𝐷 𝑦 𝒙� とすると自己符号化器と同じであることが分かる。 ・主成分分析（PCA） ５． 自己符号化器
- 9. 具体的には、元の誤差関数に以下のように正則化項を加える 𝐸� 𝐰 ≡ 𝐸 𝐰 + 𝛽 � 𝐾𝐾 𝐷 𝑦 𝑗=1 (𝜌||𝜌�𝑗) ここで、𝜌�𝑗は中間層のユニットjの平均活性度の推定値であり、 𝜌�𝑗 = 1 𝑁 � 𝑦𝑗(𝒙 𝑛) 𝑁 𝑛=1 と求められる。𝜌はその目標値のパラメータである。KL (𝜌||𝜌�𝑗)は カルバック・ライブラー・ダイパージェンスと言い、２つの分布の類似度 を示す指標であり、今回の条件下では KL (𝜌| 𝜌�𝑗 = 𝜌 log 𝜌 𝜌�𝑗 + 1 − 𝜌 log( 1 − 𝜌 1 − 𝜌�𝑗 ) と表せる。ここで、𝜌に小さな値を設定し𝐸� 𝐰 を最小化するように学習 することで、平均活性度が小さくかつ誤差が小さくなるような𝐰を 求められる。𝛽は２つの目標のバランスをとるパラメータである。 ５． 自己符号化器
- 10. ２つの分布の類似度を測る指標。相対エントロピーとも。 𝐾𝐾 𝑝 𝑥 𝑞 𝑥 = − � 𝑝 𝑥 log 𝑞(𝑥) 𝑝(𝑥) 𝑑𝑑 で表される。 性質として、以下が守られる 𝐾𝐾 𝑝 𝑥 𝑞 𝑥 ≥ 0 𝐾𝐾 𝑝 𝑥 𝑞 𝑥 = 0は、p=qの時のみ成り立つ また、「距離」という概念ではないため一般に 𝐾𝐾 𝑝 𝑞 ≠ 𝐾𝐾(q|p) である。 ※今回では中間層のユニットが0,1のみの出力で、確率pで１、１−pで０と なる条件で考えている ・カルバック・ライブラー・ダイバージェンス ５． 自己符号化器
- 11. ・スパース自己符号化器の学習 逆伝播計算を行うが、活性度は下の層のパラメータに依存するので、デルタを 改める必要がある。新しいデルタは以下の式で表せる 𝛿𝑗 (𝑙) = � 𝛿 𝑘 (𝑙+1) 𝑤 𝑘𝑘 (𝑙+1) + 𝛽(− 𝜌 𝜌�𝑗 + 1 − 𝜌 1 − 𝜌�𝑗 ) 𝑘 𝑓𝑓 𝑢𝑗 (𝑙) また、平均活性度は全サンプルについての平均であるが、ミニバッチを使う場合 平均活性度の計算のためだけに全サンプルの順伝播計算を行うのは非効率なので、 以下の式で近似値を得る 𝜌�𝑗 (𝑡) = 𝜆𝜌�𝑗 (𝑡−1) + (1 − 𝜆)𝜌�𝑗 𝜌�𝑗 (𝑡−1) は前ミニバッチで使用したユニットｊの平均活性度、𝜌�𝑗は現在の ミニバッチだけで新たに計算した平均活性度、λは平均の重み ５． 自己符号化器
- 12. 訓練データの偏りを除去し、学習を行いやすくする処理。正規化より高度なもの。 白色化では、訓練サンプルの成分間の相関を無くすのが目的である。 ここで、各サンプルからその平均を引いたサンプル𝒙1, 𝒙2, … , 𝒙 𝑁を考えると、 成分間の相関は共分散行列 Φ 𝑋 = 1 𝑁 � 𝒙 𝑛 𝒙 𝑛 𝑇 𝑁 𝑛=1 = 1 𝑁 𝑿𝑿 𝑇 で表せる。ここで、この共分散行列が対角行列であれば分布の広がりは各軸で 独立であり、成分間の相関をなくせると考えられる。 そこで、各サンプルにD×D行列Pの線形変換を 𝒖 𝑛 = 𝑷𝒙 𝑛 と施す。 ・白色化 ５． 自己符号化器
- 13. この変換後の共分散行列 Φ 𝑈 = 1 𝑁 � 𝒖 𝑛 𝒖 𝑛 𝑇 𝑁 𝑛=1 = 1 𝑁 𝑼𝑼 𝑇 を対角行列になるようにPを定める。ここで、Φ 𝑈が単位行列になるとすると 𝑷𝑷 𝑇 = Φ 𝑋 −1 を満たすPを求めることになる。ここで、固有ベクトルの定義からΦ 𝑋は Φ 𝑋 = 𝑬𝑬𝑬 𝑇 と分解できる。よって、Φ 𝑋 −1 は Φ 𝑋 −1 = 𝑬𝑫−1 𝑬 𝑇 と表せる。このとき、Pは 𝑷 = 𝑸𝑫− 1 2 𝑬 𝑇 と変換できる。ただし、 𝑸は𝑷と同じサイズの任意の直行行列である ５． 自己符号化器
- 14. 𝑸の任意性によってPは無数に存在する。 １．𝑸 = 𝑰のとき 共有分散行列の固有ベクトルを利用することから主成分分析に似ているため、 PCA白色化と呼ぶ。 ２．𝑸 = 𝑬のとき Pを対称行列に制限することから、ゼロ位相白色化（ZCA白色化）と呼ぶ。 また、白色化の際に特定の成分の分散がとても小さいことがあり、その時𝑫− 1 2を 計算しやすいように、そのようなデータでは 𝑷 = 𝑸 𝑫 + 𝜀𝑰 − 1 2 𝑬 𝑇 とする。 ５． 自己符号化器
- 16. 深層ネットワークを単層ネットワークに切り分け、それぞれを自己符号化器と して学習する。実際には、訓練データ 𝑥 𝑛 に対して𝑾(2)を学習し、学習後 訓練データを入力し出力層の表現 𝒛 𝑛 (2) を得る。それによって𝑾(3)を学習する。 これを繰り返し、事前学習を行う。このように単層ネットワークの自己符号化 器を積み重ねたものを積層自己符号化器と呼ぶ。 𝑾(3) 𝑾(2) 𝑾(4) 𝒛 𝑛 (2) 𝒛 𝑛 (3) 𝒛 𝑛 (4) ５． 自己符号化器
- 17. ・その他の自己符号化器 ・多層自己符号化器 これまでの自己符号化器とは異なり、多層化したもの。順伝播型 ネットワークと同様に、多層化すると学習は困難である。 ・デノイジング自己符号化器 学習に確率的な要素を取り入れ，結果的にRBM並の性能を持たせたもの。 具体的には、訓練サンプルを確率的に変化させたものを入力とする。 例えば、平均０、分散𝜎2 のガウス分布に従うランダムノイズ 𝛿𝑥 ~ 𝑁(0, 𝜎2 𝑰) を加えることを考える。これにより、元の入力を再現できるだけでなく、 ノイズを除去できる機能が期待できる。訓練データに事前知識がある 場合、それに合わせたノイズを加えるとより効果的。 ５． 自己符号化器