This document provides a summary of a report on deep learning day 1. It covers the key points of input layers to hidden layers, activation functions, output layers, gradient descent, and backpropagation. The input is transformed through activation functions like ReLU and softmax. Loss is calculated between the training output and true output. Backpropagation derives gradients to adjust weights and biases based on the sigmoid derivative during backpropagation. Code examples demonstrate forward and backpropagation passes.

1. 深層学習 day1 レポート
【各項目の要点】
Section1 入力層～中間層
ニューラルネットワークは入力層、中間層、出力層からなっており、入力 xi と重み wi、
バイアス b による総入力 u をもとに出力 z を得る。
この時の式は以下に示すとおりである。
このとき、f(u)は活性化関数という。
𝑢 = 𝑤1𝑥1 + 𝑤2𝑥2 + 𝑤3𝑥3 + ⋯ + 𝑏
𝑧 = 𝑓(𝑢)
大量の数値計算を行うために入力層として取りうる設計としては、連続変数、確率、フラ
グ値、one-hot-label 値がある。一方、欠損値が多いデータ、誤差が大きいデータ、出力その
ものや出力を加工したデータ、
連続性のないデータ、
無意味な数が割り当てられているデー
タは入力層に用いるべきではない。
Section2 活性化関数
活性化関数は、
ニューラルネットワークにおいて、
次の層への出力の大きさを決める非線
形の関数のことで、入力値の大きさによって、次の層への信号の ON/OFF や強弱を定める
働きを持つ。
中間層用の活性化関数には、
閾値の前後で信号の強弱を調整する関数が用いられる。
代表
的な関数として、
・ReLU 関数（𝑓(𝑥) = 𝑥(𝑥 ≥ 0),0(𝑥 < 0)）
・シグモイド関数（𝑓(𝑢) =
1
1+𝑒−𝑢
）
・ステップ関数（𝑓(𝑥) = 1(𝑥 ≥ 0), 0(𝑥 < 0)）
が用いられ、中でもシグモイド関数や ReLU 関数が良く用いられる。一方、出力層用の活
性化関数には、信号の大きさをそのまま 0～1 の範囲に限定し、総和が１になるように変換
する関数が用いられる。代表的な関数としては、
・ソフトマックス関数（𝑓(𝑖, 𝑢) =
𝑒𝑢𝑖
∑ 𝑒𝑢𝑘
𝐾
𝑘=1
）
・恒等写像（𝑓(𝑢) = 𝑢）
（回帰の問題に用いられ、この関数では総和は１とは限らない。
）
・シグモイド関数（𝑓(𝑢) =
1
1+𝑒−𝑢
）
が用いられ、中でもソフトマックス関数が良く用いられる。
Section3 出力層
出力層の誤差関数は次のように表される。

2. 𝐸𝑛(𝑤) =
1
2
∑(𝑦𝑗 − 𝑑𝑗)
2
𝐽
𝑗=1
=
1
2
‖(𝑦 − 𝑑)‖2
ここで、En(w)が大きいほど正解からの誤差が大きいと言える。また本式で、２乗している
のは、正の値とするためであり、1/2 としているのは、誤差逆伝播の計算において微分を簡
単に行えるようにするためである。
Section4 勾配降下法
勾配降下法としての式は以下のとおりである。
𝑤(𝑡+1)
= 𝑤(𝑡)
− 𝜀∇𝐸
∇𝐸 =
𝜕𝐸
𝜕𝑤
ここで、εは学習率を表す。学習率が大きすぎると最適解にいつまでもたどり着けない（発
散）
。逆に学習率が小さすぎると、発散はしないが、収束するまでに時間がかかり、局所的
最適解に陥る可能性もある。
勾配降下法には、確率勾配降下法とミニバッチ勾配降下法がある。確率勾配降下法は、ラ
ンダムに一部のデータで学習させる方法であり、局所的最適解に収まらずに効率よく最適
解を見つけられる。また」オンライン学習（学習データが入ってくるたびに都度パラメータ
を更新し、学習を進めていく方法）が可能である。
一方、ミニバッチ勾配降下法では、ランダムに分割したデータの集合（ミニバッチ）に属
するサンプルの平均誤差を用いており、確率勾配降下法のメリットを損なわずに計算機の
計算資源を有効利用できる。
Section5 誤差逆伝播法
入力層から出力層に向かって計算していくのを順伝播というのに対し、算出された誤差
を出力層側から順に微分し、
前の層へと伝播させる方法を逆伝播という。
最小限の計算で各
パラメータの微分値を解析的に計算できる。
誤差勾配の計算は、先ほどの誤差関数をもとに以下のように微分の連鎖律で表される。
𝐸𝑛(𝑤) =
1
2
∑(𝑦𝑗 − 𝑑𝑗)
2
𝐽
𝑗=1
=
1
2
‖(𝑦 − 𝑑)‖2
𝑦 = 𝑢(𝐿)
𝑢(𝑙)
= 𝑤(𝑙)
𝑧(𝑙−1)
+ 𝑏
𝜕𝐸
𝜕𝑤𝑗𝑖
(𝑧)
=
𝜕𝐸
𝜕𝑦
𝜕𝑦
𝜕𝑢
𝜕𝑢
𝜕𝑤𝑗𝑖
(𝑧)
= (𝑦𝑗 − 𝑑𝑗)𝑧𝑖

3. 【実装演習のキャプチャー、サマリーと考察】
順伝播と誤差逆伝播に関するメインコード（main.py）を以下に示す。

4. このプログラムでは、順伝播（forward()メソッド）から始まり、ReLU 関数とソフトマ
ックス関数により入力値が変換され、出力値が返される。そして、出力値（訓練データ）
と正解値（目標出力）の交差エントロピー誤差を算出する。
続いて、得られた誤差をもとに逆伝播（backward()メソッド）に進み、シグモイド関数
による導関数（微分操作）から勾配を戻り値として返し、重みとバイアスの調整を行う。

5. メインコードで呼び出している「common.functions.py」コードは以下のとおりであ
る。

8. これまでのコードの実行によって得られる出力を以下に示す。

11. 【深層学習 day1 に関する自身の考察】
※以下の考察では、
「ゼロから作る Deep Learning -Python で学ぶディープラーニングの理論と実装-、オ
ライリー・ジャパン」を参考にしています。
ニューラルネットワークは、図で表すと図１のようになる。一番左の列を入力層、一番
右の列を出力層、中間の列を中間層（隠れ層）という。
重み付きの入力信号の総和を出力信号に変換するときに、活性化関数を使う。この変換
の主な活性化関数にはステップ関数、シグモイド関数、ReLU 関数がある。
ステップ関数は OFF（入力が 0 以下）の時は 0 であるが、ON になると（入力が 0 を超
えると）1 を取る関数である。この関数では、値は 0 または 1 しかとらない非連続な関数
である。一方、シグモイド関数は OFF に近いときには 0 に近い値、ON に近いときには 1
に近い値を取り、その間は連続値で推移している。また ReLU 関数は OFF の時は 0 を返
し、ON の時は、入力をそのまま出力し、その間は連続値で推移している。シグモイド関
数と ReLU 関数では、出力値は 0 と 1 の間を連続値で滑らかに変換できるため、現在のニ
ューラルネットワークではよく使われる。
出力層においても活性化関数が使われるが、線形問題を扱う場合は恒等写像、分類問題
を扱う場合はソフトマックス関数が使われる。
図 1 ニューラルネットワークの概念図
※出典：Udemy メディア、https://udemy.benesse.co.jp/data-science/ai/neural-network.html
ニューラルネットワークの学習の指標として損失関数が用いられる。損失関数には、二
乗和誤差と交差エントロピー誤差などがある。損失関数は、現在のニューラルネットワー
クが教師データに対してどれだけ一致してないのかを表す。ニューラルネットワークの性

12. 能を評価するのに精度（Accuracy）も指標になりうるが、精度は正解（1）あるいは不正
解（0）で判定するのに対し、損失関数は、それぞれの学習に対して、
（正解であっても不
正解であっても）パラメータによる微小な変化をとらえることができるため、連続性をも
った詳細な評価が可能であるといえる。
ニューラルネットワークの学習は次の４つの手順で行う。
ステップ１（ミニバッチ）
訓練データの中からランダムに一部のデータを取り出す。この選ばれたデータをミニ
バッチと呼び、ミニバッチの損失関数を最小化することを目的とする。
ステップ２（勾配の算出）
ミニバッチの損失関数を減らすために各重みパラメータの勾配を求める。勾配は、損
失関数を最も減らす方向を示す。
ステップ３（パラメータの更新）
重みパラメータを勾配方向に微小量だけ更新する。
ステップ４（繰り返す）
ステップ１～ステップ３を繰り返す。
この方法はミニバッチでランダムにデータを選び出していることから確率勾配降下法と
呼ばれる。
ニューラルネットワークの入力層側から出力層側に伝達していくのを順伝播というのに
対し、出力層側からノードの局所的な微分を乗算し、次のノードに伝達していくのを逆伝
播という。逆伝播では合成関数の微分として連鎖律で表され、微分の分母と分子が打ち消
しあうことから、最終的には以下のような式から効率的に求められるのが特徴である。
𝜕𝑦
𝜕𝑧
∙
𝜕𝑧
𝜕𝑡
∙
𝜕𝑡
𝜕𝑥
=
𝜕𝑦
𝜕𝑥