Study-AI ラビットチャレンジの深層学習Day1 Day2レポートです。

1. 機械学習レポート
深層学習 Day１
１：入力層～中間層
ニューラルネットワークの入力層は取得したデータ(数字の集まり)。中間層はその入力
を重みとバイアスを利用し入力を変換。出力値に変換する。ニューラルネットワークはこ
の重みとバイアスを学習し、入力値から目的とする出力値に変換する数学モデルを構築す
る事。
確認テスト：動物分類の実例
確認テスト：数式を Python で記述
u = np.dot(x, W) + b
確認テスト：1-1 のファイルから中間層の出力を定義しているソースを抜き出せ
# 2 層の総出力
z2 = functions.relu(u2)
実装演習(重み等パラメータのランダム生成)

2. ２：活性化関数
活性化関数はニューラルネットワークの次の層への出力の大きさを決める非線形の関
数。伝達関数とも呼ばれる。中間層と出力層で使用される活性化関数は異なる場合があ
り、中間層では ReLU 関数、シグモイド関数などがあげられ、出力層ではソフトマックス
関数や恒等写像などが使用される。
確認テスト：線形、非線形の違いを図に書いて簡易に説明せよ
線形：下図の通り直線で表される関数。加法 𝑓(𝑥 + 𝑦) = 𝑓(𝑥) + 𝑓(𝑦)、
斉次性𝑓(𝑘𝑥) = 𝑘𝑓(𝑥)を満たす。

3. 非線形；直線では表されず、曲線で表される。加法性、斉次性を満たさない。
確認テスト：ソースコードより z=f(u)に該当する箇所を抜き出せ
# 1 層の総出力
z1 = functions.relu(u1)
# 2 層の総出力
z2 = functions.relu(u2)
実装演習(relu 関数を sigmoid 関数に変更)
３：出力層
出力層は欲しい解を結果として出力する必要があるので、主に確率が出力になる(総和は
1)。そのため、中間層と用いる活性化関数の目的が異なり、出力層では主に活性化関数と

4. してソフトマックス関数や恒等写像、シグモイド関数などが用いられる。また、ニューラ
ルネットワークの出力層は出力された結果と訓練データとの誤差を誤差関数(二乗誤差な
ど)によって計算し、予測誤差も求める役割もある。
確認テスト：なぜ引き算でなく二乗するのか
引き算で計算してしまうと、誤差を評価するには意味のない正負符号が計算に影響を与
え、誤差を正しく評価できなくなることを防ぐことを目的に、正の値で評価するために二
乗する。
確認テスト：なぜ 1/2 にするのか
誤差関数の微分計算の際に計算式を簡単にするための工夫。
確認テスト：ソフトマックス関数の①～③の数式に該当するソースコートを示し、各行
の処理を説明せよ。
① = softmax 関数の戻り値(関数全体)
② = np.exp(x)
③ = np.sum(np.exp(x))
def softmax(x):
if x.ndim == 2: #ミニバッチかどうか判定
x = x.T #x の転置行列を計算
x = x - np.max(x, axis=0) #x から x の最大を引く
y = np.exp(x) / np.sum(np.exp(x), axis=0) #ソフトマックス関数自体の計算
return y.T
x = x - np.max(x) # オーバーフロー対策
return np.exp(x) / np.sum(np.exp(x)) #ソフトマックス関数自体の計算
確認テスト：公差エントロピー関数の①～②の数式に該当するソースコートを示し、各
行の処理を説明せよ。
① cross_entropy_error 関数自体
②-np.sum(np.log(y[np.arange(batch_size), d] + 1e-7))
# クロスエントロピー
def cross_entropy_error(d, y):
if y.ndim == 1: #ミニバッチの際の処理
d = d.reshape(1, d.size)
y = y.reshape(1, y.size)

5. # 教師データが one-hot-vector の場合、正解ラベルのインデックスに変換
if d.size == y.size:
d = d.argmax(axis=1)
batch_size = y.shape[0]
return -np.sum(np.log(y[np.arange(batch_size), d] + 1e-7)) /
batch_size #交差エントロピーの数式自体。1e-7 は log0 の発散を防ぐため
実装演習：特に課題は無かった為、234 ネットワークのノード構成を 3-4-5 に変更
ノード構成の変更は行列の次元変更であるが、行列次元の変更は Python では非常に簡易
に扱えることが確認できた。また、交差エントロピーの誤差の計算についても動きが確認
できた。

6. ４：勾配降下法
ニューラルネットワークの目的は学習を通して誤差を最小にするパラメータ w を発見す
る事であるが、最小のパラメータ w を探す手法の一つが勾配降下法。誤差関数の局所的な
勾配を測定し、勾配が降下する方向に進めていく。その際学習率εを基に移動する幅を決
定するが、学習率が大きいと局所最適に陥る可能性は低くなるが発散する可能性も高くな
り、学習率が小さいと発散する可能性は低くなるが、解を得るまで時間がかかる、局所最
適解に陥る可能性が高くなるという問題もある。
勾配降下法の問題を解決するために、ランダムに選択した一部のサンプルのみを用いた確
率的勾配降下法、ランダムに分割したデータの集合(ミニバッチ)に属するサンプルを用い
た手法はミニバッチ勾配降下法がある。
確認テスト：勾配降下法の該当するソースコード
# パラメータに勾配適用
for key in ('W1', 'W2', 'b1', 'b2'):
network[key] -= learning_rate * grad[key]
確認テスト：オンライン学習とは

7. 学習データが入ってくるたびに都度パラメータを更新し学習を進めていく手法。バッ
チ学習は一度にすべての学習データを使用してパラメータを更新していく手法。
確認テスト：𝑤(𝑡+1)
= 𝑤(𝑡)
− 𝜀∇𝐸𝑡の意味を図に書いて説明せよ
実装演習：学習率の値の変化による結果の違いについて確認した。
学習率 0.5 では発散して収束していなかったものが、0.3、0.1 と徐々に収束していく様
子が確認できた。また 0.01 ではまた誤差が高くなっているが、これは局所最適解に陥り、
全体最適の解に収束しなかったと推定される。

8. ５：誤差逆伝播法
算出された誤差を出力層側から順に微分(微分の連鎖律を利用)し、前の層へと伝播する
ことで最小限の計算で各パラメータでの微分値を解析的に計算する手法。誤差勾配を数値
微分で算出する際の計算負荷が高かった再帰計算を避けることができるため、高速に処理
が可能になる。
確認問題：既に行った計算結果を保持しているソースコードを抽出
# 出力層でのデルタ
delta2 = functions.d_mean_squared_error(d, y)
確認問題：下記式に該当するソースコードを抽出
∂E
∂y
∂y
∂u
delta1 = np.dot(delta2, W2.T) * functions.d_sigmoid(z1)
∂E
∂y
∂y
∂u
∂u
∂𝑤𝑗𝑖
(2)
grad['W1'] = np.dot(x.T, delta1)
実装演習：1_2_back_propagation.ipynb にて誤差逆伝播の動きについて確認した。
誤差の微分が連鎖律により順に掛け合わされ、更新される様子が確認できる。

10. 深層学習 Day2
１：勾配消失問題
誤差逆伝播が下位層に進んでいくにつれて情報が消失し(微分値は 0~1 の実数であるた
め、乗算が続くと 0 に限りなく近づく為)勾配が緩やかになってしまう問題。
ニューラルネットワークではこの問題を解決するために、活性化関数の選択、重みの初期
値の設定、バッチ正規化などの工夫があげられる。
確認テスト：シグモイド関数を微分した際の最大値
(2) 0.25
確認テスト：重みの初期値に 0 を設定するとどのような問題が発生するか
データの重要度を表すものが重みであるが、それらがすべて同一の値であると特徴を表
すものが無くなり、多数の重みをもつ意味が無くなる。
確認テスト：一般的に考えられるバッチ正規化の効果を 2 点あげよ
１．中間層の重みの更新が安定化される。そのため学習が安定化し、学習も早期に完了
する。
２．データの分布が正規化されることにより極端なばらつきが抑えられ、結果過学習が
抑えられる。
例題チャレンジ
(1) data_x[i:i_end], data_t[i:i_end]
実装演習
① 2_2_2_vanishing_gradient_modified.iptnb について、try 項目にあったものも含め
て結果を比較する。
考察：hidden_size_list については、sigmoid-gauss については顕著な差は見られなかった
が、それ以外では[40,20]の方が良い結果となった。活性化関数の比較では、ReLU の方が
良い結果となり、sigmoid – gauss では結果が向上しなかったものが、勾配消失が解決して
結果が向上したと思われる。また、重みの初期値では、He、Xavier、gauss の順に良い結
果となった。こちらも、sigmoid – gauss では収束しなかったものが、いずれも 80%以上の
精度に到達しているので、勾配消失が改善しているものと思われる。
hidden_size_li
st
[40,20] [20,10]

11. sigmoid -
gauss
ReLU - gauss
sigmoid -
Xavier
ReLU -He

12. Sigmoid – He
ReLU - Xavire
② 2_3_batch_normalization.ipynb の try を実施する
考察：sigmoid-gauss でもある程度の認識率向上が見られ、バッチ正規化の効果
が表れている事が確認できる。そのほかの結果でも、おおよそバッチ正規化な
しよりも早期に収束し、結果が向上している傾向が見られた。
(hidden_size_list=[40,20]にて試行)
sigmoid ReLU
gaus
s

13. Xavie
r
He
２：学習率最適化手法
学習率が大きすぎる場合最適解にたどり着かず発散し、学習率が小さすぎると収束するま
でに時間がかかり、局所最適解に陥ってしまう。そのため、学習率を最適に決定すること
は重要であり、そのための手法として、モメンタム、AdaGrad、RMSProp、Adam などが
あげられる。
確認テスト
モメンタム：勾配降下法に慣性の考え方を加え、傾きが大きい際は学習率を大きく、傾き
が小さい場合は学習率が小さく調整される。局所最適解に陥りにくい。
AdaGrad：これまでの学習での重み更新量(勾配の二乗)を記憶(加算)して次の重みを更新す
る。緩やかな斜面に対しては最適解に近づけるが、鞍点問題が生じる可能性がある。
RMSProp：AdaGrad の鞍点問題の解決が目的。AdaGrad に過去の勾配情報をどの程度生か
すかを決定するαを追加したもの。

14. 実装演習
2_4_optimizer.ipynb の try について実施。左から、デフォルトから変更なし、学習率を 0.01→0.1 に変更、バッチ正規化を有効化、活性化関
数と重みの初期化を ReLU 関数と He に変更したものを図示する、
デフォルトについては RSMprop が最も識別性能が良く、RSMprop と Adam 以外については学習による識別性能の向上が見られず、局所最
適解に陥ったと思われる。学習率を大きくした結果については、0.01 で識別性能が向上しなかった Momentum、Adagrad については多少の
向上がみられ、局所最適から脱したと思われるが、元々性能の良かった RSMprop、Adam については性能が低下し、発散してしまっている
と考えられる。バッチ正規化、活性化関数+重みの変更についてはいずれも性能の向上が見られ、最も性能が良かったのは Adam＋
ReLU+He であった。
デフォルト 学習率=0.1 バッチ正規化 ReLU +He
SDG
Momentu
m

15. AdaGrad
RSMprop
Adam

16. ３：過学習
訓練用のデータに特化してしまい、テスト誤差と訓練誤差とで学習曲線が乖離する事。
過学習を抑制するために、正則化手法を利用する。過学習の原因は重みが大きくなりすぎ
る(特定のデータを重要視しすぎる)ことで、重みを正則化することでこの問題を解決でき
る。L1、L2 正則化、リッジ回帰などの手法がある。また、ノード数が多いことも過学習の
原因になるため、ノードをランダムに排除するドロップアウトなども用いられる。
確認テスト：リッジ回帰で正しい物
(a)
確認テスト：L1 正則化を表すグラフはどちらか
右
例題チャレンジ：L2 パラメータ正則化
(4)
例題チャレンジ：L1 パラメータ正則化
(3)
実装演習 weight_decay_lambda の値変更
考察：L2 正則化における weight_decay_lambda の値の変化による結果のグラフを下記に示
す。デフォルトの 0.1 とその半分である 0..5、倍である 0.2 について結果を取得した。
0.05 の場合が最も結果が良かったが、訓練データについてはほぼ 100%の精度なのに対
し、テストデータについては 70%程度であるので、過学習が始まっていると考えられる。
0.2 ではそもそも学習がうまくいかなかったため、0.1~0.05 の間でより良い数値があると
思われるが、ハイパーパラメータの設定は結果に大きく作用することが分かった。
weight_
decay
_lambd
a
0.1 0.05 0.2

17. ４：畳み込みニューラルネットワークの概念
畳み込みニューラルネットワークは画像の処理・識別によく用いられるが、汎用性の高い
ネットワークである。中間層として、畳み込み層、プーリング層、全結合層が用いられ
る。畳み込み層では入力にフィルタをかけ、次元のつながりを保ったままデータをサンプ
リングする。プーリング層では入力の対象領域の最大、または平均の値をとりその値をそ
の領域の出力値とすることで特徴を抽出する。
確認テスト：6×6 の画像を 2×2 のフィルタで畳みこんだ出力画像サイズ
7×7
実装演習：input_data のフィルターサイズを変更して結果を確認
考察：フィルタサイズに応じて出力結果の次数が変わってくることが確認できた。
フィルタサイズ 3×3
フィルタサイズ 2×2

19. ５：最新の CNN
AlexNet：5 層の畳み込み層・プーリング層とそれに続く 3 層の全結合層から構成されてい
る畳み込みニューラルネットワーク。224×224 の画像を 11×11 のフィルタで畳み込み、
5×5、3×3 のフィルタで Max pooling を行う。ここからさらに 3×3 のフィルタで畳み込
み、最終的に 13×13 の画像が出力となる。また、過学習を防ぐために全結合層の出力に
ドロップアウトが使用されている。
確認テストなど特になし