DDoS2023春
小宮和真
武蔵野大学 データサイエンス学部 2年
misya11p
@ds33miya
ニューラルネットワーク
武蔵野大学 脱初心者データサイエンスオンラインセミナー 2023春
2023/3/15

DDoS2023春
目次
2023/3/15
1
1. ニューラルネットワークとは
2. ニューラルネットワークの構成
3. ニューラルネットワークの学習
4. ニューラルネットワークの実装

DDoS2023春
1. ニューラルネットワークとは
2023/3/15
2

DDoS2023春
ニューラルネットワーク
人間の脳の神経回路を模した数理モデル
数理モデル
ある現象を数式で記述したもの．ここでは関数と捉えておくと良い．
2023/3/15
3
1. ニューラルネットワークとは
数理モデル
なんらかの数字 なんらかの数字

DDoS2023春
機械学習モデル
2023/3/15
4
1. ニューラルネットワークとは
入力に対して適切な出力が行えるように学習できる数理モデル
なんらかの数字 いい感じの数字
機械学習
モデル

DDoS2023春
機械学習モデル
2023/3/15
5
1. ニューラルネットワークとは
上手く学習させると色々なタスクがこなせる様になる
タスク 入力例 出力例
画像分類 猫の画像 猫（テキスト）
将棋 盤面 次の手
会話 質問 回答

DDoS2023春
機械学習モデル
2023/3/15
6
1. ニューラルネットワークとは
モデルへの入出力は数値である必要がある
→あるタスクに機械学習モデルを適応させたい場合，数値として表せる入出力
を考えることが必須
数値化の例：画像
画像は画素（単色の正方形）の集まりで，色はカラーコードなどから数値化で
きる
0 2 0 1 0
2 3 3 2 1
0 1 2 6 9
1 0 8 2 2
6 0 2 1 1

DDoS2023春
機械学習
2023/3/15
7
機械学習モデルを学習させること
→ 入力に対して適切な出力を行える様にすること
機械学習モデルは関数であるため，機械学習の目的はいい関数を得ることと言
える
1. ニューラルネットワークとは

DDoS2023春
機械学習
2023/3/15
8
関数の内部の式は事前に決まっている（人間が決める）
例えば以下の式
𝑓 𝑥 = 𝑎𝑥 + 𝑏
しかし，この式の中の具体的な値（𝑎, b）は決まっていない
この値（𝑎, b）をパラメータと呼び，適切なパラメータをデータから自動で求め
ることを機械学習と呼ぶ
1. ニューラルネットワークとは

DDoS2023春
ニューラルネットワーク
2023/3/15
9
NN（ニューラルネットワーク）は機械学習モデルの一種で，以下の様な特徴を
持つ
• 人間の脳の神経回路を模して作られる
• 表現力が高い
• 拡張性・汎用性が高い
この様な特徴があってか，多様な使い方が考案されており，近年話題のAIには
全てNNが使われていると言っても過言ではない
1. ニューラルネットワークとは

DDoS2023春
2. ニューラルネットワークの構造
2023/3/15
10

DDoS2023春
具体的な構造を見ていく．イメージは以下．
「ネットワーク」って感じがするね
ニューラルネットワークの構造
2023/3/15
11
2. ニューラルネットワークの構造
入
力
出
力

DDoS2023春
人工ニューロン
2023/3/15
12
2. ニューラルネットワークの構造
NNを構成する要素．さっきの図の●が人工ニューロン．
この人工ニューロンも一つの機械学習モデルと見ることができ，入力に対して
パラメータに基づいた出力を行う
人工ニューロンは複数の数値を受け取り，一つの数値を返す
入力1
入力2
入力𝑛
:
出力
人工ニューロン

DDoS2023春
人工ニューロン
2023/3/15
13
2. ニューラルネットワークの構造
各入力に重みをかけたものの和にバイアスを足した数を活性化関数と呼ばれる
関数にかけて出力する
重みとバイアスは人工ニューロンにおけるパラメータである
人工ニューロンは以下の式で表せる
𝑦 = ℎ(𝑥 ∙ 𝑤 + 𝑏)
𝑥 ∙ 𝑤は内積で 𝑥1𝑤1 + 𝑥2𝑤2 + ⋯ + 𝑥𝑛𝑤𝑛 と同じ
入力：𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑛
重み：w = 𝑤1, 𝑤2, ⋯ , 𝑤𝑛
バイアス：𝑏
活性化関数：ℎ

DDoS2023春
人工ニューロン
2023/3/15
14
2. ニューラルネットワークの構造
グラフにすると以下
入力𝑥𝑖に対応する重みw𝑖をこんな感じで書くことが多い気がする
𝑥1
𝑦 = ℎ(𝑥 ⋅ 𝑤 + 𝑏)
𝑥2
x𝑛
:
𝑦
w1
w2
w𝑛

DDoS2023春
パーセプトロン
2023/3/15
15
2. ニューラルネットワークの構造
人工ニューロンの活性化関数にステップ関数を使用したもの
ステップ関数
グラフが階段状になる関数の総称．ただここでは以下の関数に限定する．
𝑦 =
1 (𝑥 ≥ 0)
0 (𝑥 < 0)
この関数はヘヴィサイドの階段関数とか単位ステップ関数とか呼ばれる

DDoS2023春
人工ニューロンとパーセプトロン
2023/3/15
16
2. ニューラルネットワークの構造
この資料では，活性化関数にステップ関数を使用した人工ニューロンをパーセ
プトロンと定義した．ただ色んな記事を見ていると，人工ニューロンをパーセ
プトロンと呼んでいる人もいる．またこの後説明するニューラルネットワーク
は，この資料でいう人工ニューロンを組み合わせたモデルであるが，多層パー
セプトロンとも呼ばれる．
つまりこの二つの言葉の違いは定義できない．辞書の中で定義はあるかもしれ
ないが，現状人によって微妙に解釈が異なってしまっている以上，そこに敏感
にならない方が良い気がする．

DDoS2023春
ニューラルネットワーク
2023/3/15
17
2. ニューラルネットワークの構造
複数の人工ニューロンを組み合わせたモデル．先ほどの図を再掲．
一つ一つの●が人工ニューロン
ニューロンのネットワークなのでニューラルネットワーク
入
力
出
力

DDoS2023春
ニューラルネットワーク
2023/3/15
18
2. ニューラルネットワークの構造
演算の流れは簡単で，各人工ニューロンの出力が次の人工ニューロンに渡って
いくだけ．最終的に流れてきた値がそのNNの出力．
入
力
出
力
𝑥
𝑥
𝑦1
𝑦1
𝑦1
𝑦2
𝑦2

DDoS2023春
ニューラルネットワーク
2023/3/15
19
2. ニューラルネットワークの構造
NNでは層を一つの単位として考える．層は図の縦一列を指す．
最初の層は入力層，最後の層は出力層，それ以外の層は中間層または隠れ層と
呼ぶ．
入
力
出
力

DDoS2023春
ニューラルネットワーク
2023/3/15
20
2. ニューラルネットワークの構造
中間層が2層以上あるものはディープニューラルネットワーク（DNN）と呼ぶ．
DNNの学習をディープラーニングといい，これを和訳したものが深層学習であ
る．
入
力
出
力
Deep!

DDoS2023春
全結合層
2023/3/15
21
2. ニューラルネットワークの構造
人工ニューロンを一列に並べたものを層と述べたが，厳密には全結合層と呼ぶ．
これはNNを構成する最も基本的な層である．
全結合層も一つのモデルとしてみることができる
入
力
出
力
全結合層

DDoS2023春
全結合層
2023/3/15
22
2. ニューラルネットワークの構造
入出力にはベクトルを想定する
ある全結合層の人工ニューロンの数を𝑚，一つ前の層の人工ニューロンの数を𝑛
とすると，入力は𝑛次元ベクトル，出力は𝑚次元ベクトルとなる．
全結合層
𝑥1
𝑥2
𝑥𝑛
:
𝑦1
𝑦2
𝑦𝑚
:

DDoS2023春
全結合層
2023/3/15
23
2. ニューラルネットワークの構造
全結合層全体で見ると，𝑛 × 𝑚個の重みと𝑚個のバイアスを持つ．これらが全結
合層のパラメータとなる．
全結合層は以下の式で表せる
𝑦 = 𝑥 ∙ 𝑊 + 𝑏
𝑥: 入力ベクトル（𝑚次元）
𝑦: 出力ベクトル（𝑛次元）
𝑊: 各人工ニューロンの重みを並べた𝑛 × 𝑚行列
𝑏: 各人工ニューロンの重みを並べた𝑚次元ベクトル

DDoS2023春
活性化関数
2023/3/15
24
2. ニューラルネットワークの構造
活性化関数は人工ニューロンに対して定めるものだったが，NNでは活性化関数
も一つの層として捉える
入
力
出
力
入
力
層
全
結
合
層
活
性
化
関
数
全
結
合
層
活
性
化
関
数

DDoS2023春
活性化関数
2023/3/15
25
2. ニューラルネットワークの構造
活性化関数には非線形な関数を用いる
非線形
𝑦 = 𝑎𝑥 + 𝑏の様な一次式で表せないもの．逆に表せるものは線形という．
線形な関数を用いた場合，どれだけ層を増やしてもNN表現力はただ一つの全結
合層と変わらない

DDoS2023春
活性化関数
2023/3/15
26
2. ニューラルネットワークの構造
ReLU (Rectified Linear Unit)
最もよく使われる活性化関数
𝑦 =
𝑥 (𝑥 ≥ 0)
0 (𝑥 < 0)

DDoS2023春
活性化関数
2023/3/15
27
2. ニューラルネットワークの構造
sigmoid
ステップ関数を滑らかにしたもの
値の範囲を制限したい時とかに使う
𝑦 =
1
1 + 𝑒−𝑥

DDoS2023春
活性化関数
2023/3/15
28
2. ニューラルネットワークの構造
tanh (Hyperbolic Tangent)
sigmoidを-1~1に拡張したもの
こっちを使う方が上手くいく場面がある
𝑦 =
𝑒𝑥 − 𝑒−𝑥
𝑒𝑥 + 𝑒−𝑥

DDoS2023春
活性化関数
2023/3/15
29
2. ニューラルネットワークの構造
Softmax
要素の総和が1になる様に調整するもの．分類を行う際の出力層に設定し，各要
素の値を対応するクラスに属する確率とする．
𝑦𝑘 =
exp(𝑥𝑘)
𝑖 exp(𝑥𝑖)

DDoS2023春
3. ニューラルネットワークの学習
2023/3/15
30

DDoS2023春
ニューラルネットワークの学習
2023/3/15
31
3. ニューラルネットワークの学習
機械学習における学習とは，パラメータを最適化することである
NNでは各人工ニューロンが別々のパラメータ（重み，バイアス）を持っている．
NNの学習ではこれらを全て最適化する．
入
力
出
力
w11
1
w12
1
w13
1
w21
1
w22
1
w23
1
w11
2
w12
2
w21
2
w22
2
w31
2
w32
2

DDoS2023春
最適化問題
2023/3/15
32
3. ニューラルネットワークの学習
ある関数を最大または最小にする変数を求める問題．この関数は目的関数と呼
ぶ．
NNの学習を最適化問題に落とし込むとイイ感じになる．以下の様に考える．
• 目的関数：NNの精度
• 変数：NNのパラメータ
こうすると，NNの学習を「NNの精度を最大にするパラメータを求める」とい
う最適化問題として捉えられる

DDoS2023春
損失
2023/3/15
33
3. ニューラルネットワークの学習
NNの精度を表す指標の一つ．誤差ともいう．以下の流れに従って算出する．
1. NNに入力するデータ（値）の例を用意する
2. それを入力した時に出てきてほしい値を正解値として定める
3. NNに入力例を入力し，出力値を求める
4. 出力値と正解値との差を求める
入
力
出
力
NN
正
解
損
失
1 2
3 4

DDoS2023春
損失関数
2023/3/15
34
3. ニューラルネットワークの学習
損失を求める関数
二つのベクトルの差を表す方法は色々ある
損失
出力 正解
NN 損失関数

DDoS2023春
損失関数
2023/3/15
35
3. ニューラルネットワークの学習
平均二乗誤差 (MSE - Mean Square Error)
差の2乗の平均
𝐸 =
1
𝑛
𝑖=1
𝑛
𝑦𝑖 − 𝑡𝑖
2
𝑦: 出力
𝑡: 正解

DDoS2023春
損失関数
2023/3/15
36
3. ニューラルネットワークの学習
二乗和誤差 (SSE - Sum of Squared Error)
差の二乗の和．2で割って微分が綺麗になる様にしたものが多いかも．
𝐸 =
1
2
𝑖=1
𝑛
𝑦𝑖 − 𝑡𝑖
2
𝜕𝐸
𝜕𝑦𝑖
= 𝑦𝑖 − 𝑡𝑖

DDoS2023春
損失関数
2023/3/15
37
3. ニューラルネットワークの学習
交差エントロピー (Cross Entropy)
二つの確率分布の距離を表す
𝐸 = −
𝑖
𝑡𝑖 log 𝑦𝑖
分類のタスクを行うときに使う．その場合𝑡は
基本one-hotベクトルなので，正解のクラスをi
とすると以下と同じ意味になる．
𝐸 = − log 𝑦𝑖

DDoS2023春
勾配法
2023/3/15
38
3. ニューラルネットワークの学習
最適化問題を解くアルゴリズムの一つ
関数の最大値を求める場合は勾配上昇法，最小値を求める場合は勾配降下法と
なる．NNの学習では先ほどの損失を最小にする問題を考えるので後者．
目的関数を変数で微分すれば傾きが分かる→傾きが分かるなら大きくする・小
さくする方向が分かるよねという発想
この「傾き」のことをここでは勾配と呼ぶ

DDoS2023春
勾配法
2023/3/15
39
3. ニューラルネットワークの学習
以下の手順に従って最適化する
1. 変数を初期化する（乱数などで初期値を決める）
2. その地点の勾配を求める
3. 勾配に合わせて変数を少し変化させる
4. 2, 3を適当に繰り返す

DDoS2023春
勾配法
2023/3/15
40
3. ニューラルネットワークの学習
例：以下の関数𝑓(𝑥)を最小にする変数𝑥を求める
𝑓(𝑥) = 𝑥2

DDoS2023春
1. 初期値を決める
→ 適当に，-5としよう
勾配法
2023/3/15
41
3. ニューラルネットワークの学習
𝑓(𝑥) = 𝑥2

DDoS2023春
1. 初期値を決める
→ 適当に，-5としよう
2. 勾配を求める
→ 𝑓′(𝑥) = 2𝑥より，f′ −5 = −10
勾配法
2023/3/15
42
3. ニューラルネットワークの学習
𝑓(𝑥) = 𝑥2

DDoS2023春
1. 初期値を決める
→ 適当に，-5としよう
2. 勾配を求める
→ 𝑓′(𝑥) = 2𝑥より，f′ −5 = −10
3. 勾配に合わせて値を更新する
→ 勾配が負なので，正の方向に動かせばよさそう（小さくなりそう）
勾配法
2023/3/15
43
3. ニューラルネットワークの学習
𝑓(𝑥) = 𝑥2

DDoS2023春
勾配法
2023/3/15
44
3. ニューラルネットワークの学習
値の更新を式で定義する
𝑥 ≔ 𝑥 − 𝜂 f′ x
𝜂は学習率といい，更新する度合いを調整するもの．基本0~1．

DDoS2023春
勾配法
2023/3/15
45
3. ニューラルネットワークの学習
勾配降下法でNNを学習させる際は，パラメータの勾配を求める．この勾配は損
失をパラメータ(𝑤)で微分したもので，これに基づいてパラメータを更新する．
入
力
出
力
w11
1
w12
1
w13
1
w21
1
w22
1
w23
1
w11
2
w12
2
w21
2
w22
2
w31
2
w32
2
損
失
正
解

DDoS2023春
確率的勾配降下法
2023/3/15
46
3. ニューラルネットワークの学習
勾配降下法にランダムな要素を持たせ，局所的最適解にハマる可能性を減らし
た手法．SGD (Stochastic Gradient Descent) とも．
局所的最適解
最適解っぽいが実はそうでない場所．極小値．真の最適解は大域的最適解とよ
ぶ．
局所的最適解
大域的最適解

DDoS2023春
確率的勾配降下法
2023/3/15
47
3. ニューラルネットワークの学習
NNでは以下を繰り返すことでランダム性を取り入れる．
1. 入力と正解の組をランダムにいくつか選ぶ
2. 選んだデータでの勾配を求める
3. 求めた勾配でパラメータを更新する
試行ごとに関数が変わるイメージ

DDoS2023春
誤差逆伝播法
2023/3/15
48
3. ニューラルネットワークの学習
NNのパラメータの勾配を求める手法
さっきの例では𝑓 𝑥 = 𝑥2という簡単な関数を使ったが，NNはもうちょい複雑な
形をしているので，ちょっと工夫が必要
層や活性化関数はモデルによって異なるので，𝑓′ 𝑥 = 2𝑥の様に導関数を一つ定
めることができないのだ

DDoS2023春
誤差逆伝播法
2023/3/15
49
3. ニューラルネットワークの学習
ここで考えるのが，合成関数の微分
例として以下の関数を微分してみよう
𝑓 𝑥 = 𝑥 + 1 2
これは普通に展開しても解けるけど，合成関数の微分を使っても解ける

DDoS2023春
誤差逆伝播法
2023/3/15
50
3. ニューラルネットワークの学習
関数の関数を微分する時は，一つ一つの関数の微分を掛け合わせればいい
g 𝑥 = 𝑥 + 1 とすると
𝑓 𝑥 = 𝑔 𝑥 2
𝜕𝑓
𝜕𝑥
=
𝜕𝑓
𝜕𝑔
𝜕𝑔
𝜕𝑥
となり
𝜕𝑓
𝜕𝑥
= 2𝑔 𝑥 ⋅ 𝑔′ 𝑥 = 2 𝑥 + 1 ⋅ 1 = 2(𝑥 + 1) となる
𝑓 𝑥 = 𝑥 + 1 2

DDoS2023春
誤差逆伝播法
2023/3/15
51
3. ニューラルネットワークの学習
これをNNで考えたのが誤差逆伝播法
損失を出す時に通った層や活性化関数を微分してそれらを掛け合わせればいい
よねという話

DDoS2023春
誤差逆伝播法
2023/3/15
52
3. ニューラルネットワークの学習
例を見てみよう
出力層のある一つの重みに着目し，勾配を求めてみる
出
力
w11
1
w12
1
w13
1
w21
1
w22
1
w23
1
w11
2
w12
2
w21
2
w22
2
w31
2
w32
2
損
失
正
解

DDoS2023春
誤差逆伝播法
2023/3/15
53
3. ニューラルネットワークの学習
この重みから損失を算出するまでの流れをグラフで見てみる
この様に演算の流れをグラフで記述したものを計算グラフと呼ぶ
𝑤
𝑥
× 𝑢 +
𝑏
𝑦 𝑡
𝐸
損失関数
着目した重み
前の層の出力 バイアス
正解
損失
全結合層

DDoS2023春
誤差逆伝播法
2023/3/15
54
3. ニューラルネットワークの学習
すると，求めたい勾配が以下の様に表せる
𝜕𝐸
𝜕𝑤
=
𝜕𝐸
𝜕𝑦
𝜕𝑦
𝜕𝑢
𝜕𝑢
𝜕𝑤
𝑤
𝑥
× 𝑢 +
𝑏
𝑦 𝑡
𝐸
損失関数
着目した重み
前の層の出力 バイアス
正解
損失
全結合層

DDoS2023春
𝜕𝐸
𝜕𝑦
誤差逆伝播法
2023/3/15
55
3. ニューラルネットワークの学習
この様に微分を逆方向に伝えることを逆伝播と呼ぶ
𝑤
𝑥
× 𝑢 +
𝑏
𝑦 𝑡
𝐸
損失関数
𝜕𝑦
𝜕𝑢
𝜕𝑢
𝜕𝑤

DDoS2023春
4. ニューラルネットワークの実装
2023/3/15
56

DDoS2023春
2023/3/15
57
4. ニューラルネットワークの実装
ノートブック参照
https://github.com/misya11p/neural-network/blob/main/neural_network.ipynb