深層学習勉強中 ２章 ユニットの出力 活性化関数 多層ネットワーク 出力層の設計と誤差関数

1. 青本勉強会２章
宮本圭一郎
@miyamotol0105
2015/07/12

2. 自己紹介

名前：宮本圭一郎

言語： C#,VB

SIer

2015 年 ruby objective-c

2016 年 python,machine learning

2017 年

@miyamotok0105

https://www.facebook.com/keiichirou.miyamoto

3. 深層学習 ( 機械学習プロフェッショ
ナルシリーズ )
第 1 章 はじめに
第 2 章 順伝播型ネットワーク
第 3 章 確率的勾配降下法
第 4 章 誤差逆伝播法
第 5 章 自己符号化器
第 6 章 畳込みニューラルネット
第 7 章 再帰型ニューラルネット
第 8 章 ボルツマンマシン

4. Chainer で作った分類器
入力文字入力文字
分類器分類器
疑問文疑問文 雑談文雑談文

5. Chainer で分類器を実装した時の
実行フロー
パラメータ設
定
パラメータ設
定
活性化関数活性化関数
モデル定義モデル定義
ユニット計算ユニット計算
誤差関数誤差関数
逆誤差伝播逆誤差伝播
ミニバッチミニバッチ
誤差関数誤差関数
勾配計算勾配計算
ユニット更新ユニット更新
値
の
予
想
値
の
予
想
値
の
学
習
２．３ 多層ネットワーク
２．１ ユニットの出力
２．２ 活性化関数
２．４ 出力層の設計と誤差関数
３．４ 汎化性能と過適合
３．５ 過適合の緩和
３．６ 学習のトリック
３．２ 確率的勾配降下法
３．３ 「ミニバッチ」の利用
２．３ 多層ネットワーク
３．１ 勾配降下法
４．１ 勾配計算の難しさ
４．２ ２層ネットワークでの計算
４．３ 多層ネットワークへの一般化
４．４ 勾配降下法の完全アルゴリズム
４．５ 勾配消失問題

6. 第２章 順伝播型ネットワーク
２．１ ユニットの出力
２．２ 活性化関数
２．３ 多層ネットワーク
２．４ 出力層の設計と誤差関数

7. 順伝播型（ニューラル）ネットワーク
ニューラルネットワークは、人間の脳の神経回路
の仕組みを模したモデル。
人間の脳のメカニズムをコンピュータ上で 人工
的に実現するアプローチ。
脳は、 100 億とも 140 億とも言われる膨大な
ニューロンと呼ばれる神経細胞が集まり 構成さ
れています。ニューロン同士は相互に連結さ
れ、巨大なネットワークをつくることで、 様々
な知的活動を実現しているのです。

8. ニューロンの構造
ニューロンは他ニューロンか
らの情報・刺激を受ける
と、細胞体の電位が次第に
上がっていきます。 そして
その電位が一定の値（閾
値）を超えると、インパル
ス信号を出力します。この
現象を 発火といいます。軸
索の先端にあるシナプスか
ら神経伝達物質と呼ばれる
科学物質が放出されます。
そして、その神経伝達物質
を樹状突起上のイオンチャ
ンネルが受け取ります。
http://www.geocities.co.jp/SiliconValley-Cupertino/3384/nn/NN.html
http://merckmanuals.jp/home/%E8%84%B3%E3%80%81%E8%84%8A%E9%AB
%84%E3%80%81%E7%A5%9E%E7%B5%8C%E3%81%AE
%E7%97%85%E6%B0%97/%E7%A5%9E%E7%B5%8C%E7%B3%BB
%E3%81%AE%E3%81%97%E3%81%8F%E3%81%BF
%E3%81%A8%E5%83%8D%E3%81%8D/%E7%A5%9E%E7%B5%8C.html

9. ユニットの出力
重みと入力を
別々で表し
ている。

10. Chainer でユニットの出力
ユニット１個
入力リニア４個
数字が出る

11. 活性化関数
シナプスの役割で、条件をつけて発火をする。

12. ロジスティック関数

13. 多層パーセプトロン
３層ネットワーク
１層の中での重み
を略して記載。

14. 多層パーセプトロン
また略する
y=y(x;w)

15. 行列でデータを保持
w ＝重み行列
u= 総入力行列
b= バイアス行列
z= 出力行列
f(u)= 活性化関数行
列

16. 誤差関数
d=
正解データ
教師データ
ラベル

17. 回帰問題
わかりやすい。

18. ２値分類
強敵登場
べき乗の性
質を使っ
たトリッ
ク？？

19. クラス分類
第１戻り値
誤差
第２戻り値
正解率
交差エントロ
ピー。。。

20. 勾配降下法
w で e を微分？
e で w を微分？

21. 誤差逆伝播
。。。

22. ギリシャ文字
Δδ （デルタ）逆行列の行列式 [1]
グラフの最大次数、ある変数の差分・変化
Εε （エプシロン）
極限における微小量
回帰分析におけるランダム誤差
誤差の絶対値 [4]
集合の要素を表す記号∈は ε に由来する
Ππ （パイ）直積集合
Ηη （エータ）

23. 数学記号
https://ja.wikipedia.org/wiki/%E6%95%B0%E5%AD%A6%E8%A8%98%E5%8F%B7%E3%81%AE%E8%A1%A8

24. 数学記号

25. 微分積分とは
微分は変化率。
今日と明日で貯金額
はどのくらい変化
したか。
積分は面積。
変化していく額を全
部足したもの。

26. 微分係数
f ' ( a )

27. 微分は傾き
AB 直線の
傾きは３

28. 今後の勉強予定
・誤差関数の２値分類
・誤差関数のクラス分類
・３章以降

29. 第３章 確率的勾配降下法
３．１ 勾配降下法
３．２ 確率的勾配降下法
３．３ 「ミニバッチ」の利用
３．４ 汎化性能と過適合
３．５ 過適合の緩和
３．６ 学習のトリック

30. 第４章 誤差逆伝播法
４．１ 勾配計算の難しさ
４．２ ２層ネットワークでの計算
４．３ 多層ネットワークへの一般化
４．４ 勾配降下法の完全アルゴリズム
４．５ 勾配消失問題

31. 第５章 自己符号化器
５．１ 概要
５．２ ネットワークの設計
５．３ 自己符号化器の働き
５．４ スパース正則化
５．５ データの白色化
５．６ ディープネットの事前学習
５．７ その他の自己符号化器

32. 第６章 畳込みニューラルネット
６．１ 単純型細胞と複雑型細胞
６．２ 全体の構造
６．３ 畳込み
６．４ 畳込み層
６．５ プーリング層
６．６ 正規化層
６．７ 勾配の計算
６．８ 実例：物体カテゴリ認識

33. 第７章 再帰型ニューラルネット
７．１ 系列データの分類
７．２ ＲＮＮの構造
７．３ 順伝播計算
７．４ 逆伝播計算
７．５ 長・短期記憶（ＬＳＴＭ）
７．６ 入出力間で系列長が異なる場合

34. 第８章 ボルツマンマシン
８．１ データの生成モデル
８．２ ボルツマンマシン
８．３ ギブスサンプリング
８．４ 隠れ変数を持つボルツマンマシン
８．５ 制約ボルツマンマシン（ＲＢＭ）
８．６ ＲＢＭの学習
８．７ その他のユニット
８．８ ディープビリーフネットワーク
８．９ ディープボルツマンマシン
８．１０ 性能比較