このスライドは 2017 年 1 月 17 日 (火)、ベルサール高田馬場で開催された「NVIDIA Deep Learning Institute 2017」の最初のセッション、「これから始める人の為のディープラーニング基礎講座」にて、エヌビディア合同会社 ディープラーニング部 村上 真奈が講演しました。 このセッションでは、ディープラーニングをこれから始める方を対象に、必要な基本知識について説明します。ディープラーニングではニューラル ネットワークに大量のデータを学習させる事で画像認識や物体検出など様々な認識を行う事が可能です。セッション前半は、画像認識問題で使われる畳み込みニューラル ネットワーク (CNN) を理解する為の基礎概念について説明します。ニューラル ネットワークの基本となる多層パーセプトロン、誤差逆伝播法、確率的勾配降下法やミニバッチ学習などディープラーニングの学習過程を理解するで必要な数学的な基礎概念を解説します。 当該イベントにて、午後に開催されるハンズオンで用いられる基礎的な概念を、参加者の皆様に前もってご理解いただき、ハンズオンをより有意義に受講いただくためのセッションとなります。

1. 1
ハンズオン受講の為の準備講座
これから始める人の為の
ディープラーニング基礎講座
村上真奈
NVIDIA CUDA & Deep Learning Solution Architect
NVIDIA Corporation

2. AGENDA
機械学習とディープラーニングの関係
ディープラーニングとは?
• ニューラルネットワークの構造
• ディープラーニングの学習とは
畳み込みニューラルネットワーク
http://www.slideshare.net/NVIDIAJapan/ss-71043984
午後に予定しているハンズオンの為の基礎講座
ディープラーニングをこれから始める方を対象に
基礎概念や用語の解説を行います

3. 機械学習とは?

4. 機械学習とディープラーニングの関係
機械学習
ニューラルネットワーク
ディープラーニング

5. 分類(Classification)と回帰(Regression)
• 分類問題の例
• 画像に写っているのが猫か犬の画像か推論する
• 回帰問題の例
• N社の1ヶ月後の株価を予想する
機械学習とは?

6. 分類(Classification)と回帰(Regression)
機械学習とは?
分類問題 回帰問題
猫
犬
分類も回帰もデータの法則を見つけて関数近似する必要がある

7. 分類問題の例
機械学習とは?
例) 正常と異常に分類する事を考える
赤:異常
青:正常
x2
x1
𝑌 = αX + β
正常
異常

8. 分類問題の例
機械学習とは?
例) 正常と異常に分類する事を考える
赤:異常
青:正常
複雑な関数近似が必要になる
x2
x1
異常
正常

9. ディープラーニング手法による分類の例
学習が進むにつれて、分離
が上手くいくようになる

10. 10
ディープラーニングとは

11. 様々な分野でディープラーニングを応用
インターネットとクラウド
画像分類
音声認識
言語翻訳
言語処理
感情分析
推薦
メディアとエンターテイメント
字幕
ビデオ検索
リアルタイム翻訳
機械の自動化
歩行者検出
白線のトラッキング
信号機の認識
セキュリティと防衛
顔検出
ビデオ監視
衛星画像
医学と生物学
癌細胞の検出
糖尿病のランク付け
創薬

12. 人工ニューラルネットワーク
単純で訓練可能な数学ユニットの集合体
ニューラルネットワーク全体で複雑な機能を学習
入力層 出力層
隠れ層
十分なトレーニングデータを与えられた人工ニューラルネットワークは、入力データから判断を行う
複雑な近似を行う事が出来る。

13. ディープラーニングの恩恵
ディープラーニングとニューラルネットワーク
 ロバスト性
 特徴量の設計を行う必要がない。 – 特徴は自動的に獲得される学習用データのバラつきの影響を
押さえ込みながら、自動的に学習していく
 一般性
 同じニューラルネットワークのアプローチを多くの異なるアプリケーションやデータに適用する事が出来る
 スケーラブル
 より多くのデータで大規模並列化を行う事でパフォーマンスが向上する

14. ディープラーニングのアプローチ
認識:
犬
猫
蜜穴熊
エラー
犬
猫
アライグマ
犬
トレーニング:
モデル
モデル

15. ニューラルネットワークの構造(多層パーセプトロン)

16. 人工ニューロン
神経回路網をモデル化
スタンフォード大学cs231講義ノートより
神経回路網
w1 w2 w3
x1 x2 x3
y
y=F(w1x1+w2x2+w3x3)
F(x)=max(0,x)
人工ニューロン

17. 人口ニューロン
ニューラルネットワークの構造
…
…
…
人工ニューロンを組み合わせ、多層ニューラルネットワークを構成可能
入力層のサイズは3
入力層のサイズはN

18. 多層パーセプトロン(3層)
ニューラルネットワークの構造
x1
x2
x3
y1
y2
z1
z2
z3
w1
11
w1
12
w1
21
w1
22
w1
31
w1
32
w2
11
w2
21
w2
12
w2
22
w2
13
w2
23
入力層 隠れ層 出力層
重み 重み

19. 多層パーセプトロン(3層)
ニューラルネットワークの構造
x1
x2
x3
y1
y2
z1
z2
z3
w1
11
w1
12
w1
21
w1
22
w1
31
w1
32
w2
11
w2
21
w2
12
w2
22
w2
13
w2
23
入力層 隠れ層 出力層
重み 重み

20. 多層パーセプトロン
ニューラルネットワークの構造
x1
x2
x3
y1
y2
z1
z2
z3
w1
11
w1
12
w1
21
w1
22
w1
31
w1
32
w2
11
w2
21
w2
12
w2
22
w2
13
w2
23
入力
データ
出力
データ

21. 多層パーセプトロン
ニューラルネットワークの構造
x1
x2
x3
y1
y2
z1
z2
z3
w1
11
w1
12
w1
21
w1
22
w1
31
w1
32
w2
11
w2
21
w2
12
w2
22
w2
13
w2
23
𝑥1 𝑥2 𝑥3
𝑤1
11 𝑤1
12
𝑤1
21 𝑤1
22
𝑤1
31 𝑤1
32
= 𝑦1 𝑦2

22. 多層パーセプトロン
ニューラルネットワークの構造
x1
x2
x3
y1
y2
z1
z2
z3
w1
11
w1
12
w1
21
w1
22
w1
31
w1
32
w2
11
w2
21
w2
12
w2
22
w2
13
w2
23
𝑦1 𝑦2
𝑤2
11 𝑤2
12 𝑤2
13
𝑤2
21 𝑤2
22 𝑤2
23
= 𝑧1 𝑧2 𝑧3

23. 多層パーセプトロン
ニューラルネットワークの構造
x1
x2
x3
y1
y2
z1
z2
z3
w1
11
w1
12
w1
21
w1
22
w1
31
w1
32
w2
11
w2
21
w2
12
w2
22
w2
13
w2
23
𝑥 𝑊1 𝑊2 = 𝑧

24. 重み係数の調整
ニューラルネットワークの構造
x1
x2
x3
y1
y2
z1
z2
z3
w1
11
w1
12
w1
21
w1
22
w1
31
w1
32
w2
11
w2
21
w2
12
w2
22
w2
13
w2
23
t1
t2
t3
教師データ 出力 z と正解ラベル t の誤差を
計算し 、出力が正解ラベルに近
づくように重みW1とW2を調整
出力
ディープラーニングの学習

25. 勾配降下法

26. 勾配降下法
誤差逆伝播の仕組み
重み w
誤差 E
最適解 現在値
最適解に
近づけるには?
現在値から
減少させる

27. 勾配降下法
誤差逆伝播の仕組み
重み w
誤差 E
最適解現在値
最適解に
近づけるには?
現在値から
増加させる

28. 勾配降下法
誤差逆伝播の仕組み
重み w
誤差 E
最適解wn wm
傾きが正なら
最適解より大きい
傾きが負なら
最適解より小さい

29. 勾配降下法
誤差逆伝播の仕組み
重み w
誤差 E
wn+1wn+2wn
最適解
(ゴール)

30. 学習率 (Learning Rate)
誤差逆伝播の仕組み
重み w
誤差 E
w0w1w2w3-2wn-1wnwn
最適解
(ゴール)

31. 学習率 (Learning Rate)
誤差逆伝播の仕組み
重み w
誤差 E
w0w1-1wnwn
更新量
重みの更新量は
学習率(Learning Rate)で調整

32. 勾配降下法の注意点
誤差逆伝播の仕組み
局所解
スタート
重み w
誤差 E
ゴール

33. 勾配降下法の注意点
誤差逆伝播の仕組み
最適解
スタート
重み w
誤差 E
ゴール

34. 誤差逆伝播法

35. 39
w
x y
w
x y
w
x y
レイヤー1
01000
“dog”
レイヤー2
入力
出力レイヤーN
ロス
関数
00010
“cat”
正解ラベル
x[N] y[M]
w[N][M]
順伝播(forward propagation)
誤差逆伝播法

36. 40
w
x y
w
x y
w
x y 01000
“dog”
00010
“cat”
ロス
関数
error⊿y⊿x⊿y⊿x⊿y
⊿w⊿w⊿w
逆伝播(backward propagation)
誤差逆伝播法
レイヤー1 レイヤー2
入力
出力レイヤーN 正解ラベル

37. 41
w
x y
w
x y
w
x y 01000
“dog”
00010
“cat”
ロス
関数
error⊿y⊿x
⊿w
⊿y⊿x
⊿w
⊿y
⊿w
www
重みの更新
誤差逆伝播法
レイヤー1 レイヤー2
入力
出力レイヤーN 正解ラベル

38. 42
w
x y
w
x y
w
x y “dog” “cat”
ロス関数
error⊿y⊿x
⊿w
⊿y⊿x
⊿w
⊿y
⊿w
“cat” “dog”
“human” “monkey”
“tiger” “lion”
ミニバッチ
誤差逆伝播法
レイヤー1 レイヤー2
入力
出力レイヤーN 正解ラベル

39. ディープラーニングの学習の流れ

40.  データを訓練データ(training data)と検証データ(validation data)に分割する
訓練データと検証データ
ディープラーニングの学習
収集したデータ
検証データ(validation data)
訓練データ(training data)
重みの更新
(学習)に使用
汎化性能の
確認に使用

41. 訓練データによる重みの更新
ディープラーニングの学習
訓練データ
猫
犬
熊
検証データ
訓練データをニューラルネットワークに与え、正解ラベルと出力結果の誤差が無くなるように重みWの
更新を繰り返す
猫
犬
狸
正解は犬

42. 訓練データによる重みの更新
ディープラーニングの学習
訓練データ
猫
犬
熊
検証データ
訓練データをニューラルネットワークに与え、正解ラベルと出力結果の誤差が無くなるように重みWの
更新を繰り返す
猫
犬
狸
正解に近づくように、各層の重みを更新する

43. 学習ループ
訓練データと検証データの役割
訓練データ
猫
犬
熊
検証データ
すべての訓練データを用いて重み更新を行う + すべての検証データで汎化性能を確認
⇒ 1 エポック(epoch)と呼ぶ
猫
犬
狸
検証データで
現在の汎化性能を確認
(重みの更新には使用しない)

44. 学習時の性能の確認
訓練データと検証データの役割
各エポックで訓練データをニューラルネットワークに与えた際の間違い率と検証データを与えた際の間
違い率を確認しながら学習を進める必要がある
エラー数
エポック
0
training
validation
エラー数
エポック
0
training
validation学習成功 学習失敗(過学習)

45. 50
畳み込みニューラルネットワーク

46. 51
畳込みニューラルネットワーク(CNN)
• 画像認識・画像分類で使われる、高い認識精度を誇るアルゴリズム。畳込み層で画像の特徴を学習
目的
顔認識
トレーニングデータ
1,000万～1億イメージ
ネットワークアーキテクチャ
10 層
10 億パラメータ
ラーニングアルゴリズム
30 エクサフロップスの計算量
GPU を利用して30日
畳込み層 全結合層

47. 52
畳込み層
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
2
2
1
1
1
0
1
2
2
2
1
1
0
1
2
2
2
1
1
0
0
1
1
1
1
1
0
0
0
0
0
0
0
4
0
0
0
0
0
0
0
-4
1
0
-8
ピクセル値
(src)
畳み込み
カーネル
ピクセル値(dst)
カーネルの中心の値はソースピクセル
上に置かれている。
ソースピクセルはフィルタを自身の積
の値に更新される。

48. 53
まとめ

49. Appendix.
• NVIDIA Deep Learning Labs
• エヌビディアが提供するAWS上でのディープラーニング自主学習コース
• https://nvidia.qwiklab.com/tags/Deep%20Learning
• 書籍(日本語)
• 深層学習 (機械学習プロフェッショナルシリーズ)/岡谷貴之
• イラストで学ぶディープラーニング/山下 隆義

50. www.nvidia.com/dli
Thank you!