これから始める人の為のディープラーニング基礎講座
•
132 likes•35,843 views
このスライドは 2017 年 1 月 17 日 (火)、ベルサール高田馬場で開催された「NVIDIA Deep Learning Institute 2017」の最初のセッション、「これから始める人の為のディープラーニング基礎講座」にて、エヌビディア合同会社 ディープラーニング部 村上 真奈が講演しました。 このセッションでは、ディープラーニングをこれから始める方を対象に、必要な基本知識について説明します。ディープラーニングではニューラル ネットワークに大量のデータを学習させる事で画像認識や物体検出など様々な認識を行う事が可能です。セッション前半は、画像認識問題で使われる畳み込みニューラル ネットワーク (CNN) を理解する為の基礎概念について説明します。ニューラル ネットワークの基本となる多層パーセプトロン、誤差逆伝播法、確率的勾配降下法やミニバッチ学習などディープラーニングの学習過程を理解するで必要な数学的な基礎概念を解説します。 当該イベントにて、午後に開催されるハンズオンで用いられる基礎的な概念を、参加者の皆様に前もってご理解いただき、ハンズオンをより有意義に受講いただくためのセッションとなります。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to これから始める人の為のディープラーニング基礎講座
Similar to これから始める人の為のディープラーニング基礎講座 (20)
More from NVIDIA Japan
More from NVIDIA Japan (20)
Recently uploaded
Recently uploaded (15)
これから始める人の為のディープラーニング基礎講座
- 1. 1 ハンズオン受講の為の準備講座 これから始める人の為の ディープラーニング基礎講座 村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation
- 3. 機械学習とは?
- 5. 分類(Classification)と回帰(Regression) • 分類問題の例 • 画像に写っているのが猫か犬の画像か推論する • 回帰問題の例 • N社の1ヶ月後の株価を予想する 機械学習とは?
- 7. 分類問題の例 機械学習とは? 例) 正常と異常に分類する事を考える 赤:異常 青:正常 x2 x1 𝑌 = αX + β 正常 異常
- 10. 10 ディープラーニングとは
- 13. ディープラーニングの恩恵 ディープラーニングとニューラルネットワーク ロバスト性 特徴量の設計を行う必要がない。 – 特徴は自動的に獲得される学習用データのバラつきの影響を 押さえ込みながら、自動的に学習していく 一般性 同じニューラルネットワークのアプローチを多くの異なるアプリケーションやデータに適用する事が出来る スケーラブル より多くのデータで大規模並列化を行う事でパフォーマンスが向上する
- 16. 人工ニューロン 神経回路網をモデル化 スタンフォード大学cs231講義ノートより 神経回路網 w1 w2 w3 x1 x2 x3 y y=F(w1x1+w2x2+w3x3) F(x)=max(0,x) 人工ニューロン
- 21. 多層パーセプトロン ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 𝑥1 𝑥2 𝑥3 𝑤1 11 𝑤1 12 𝑤1 21 𝑤1 22 𝑤1 31 𝑤1 32 = 𝑦1 𝑦2
- 22. 多層パーセプトロン ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 𝑦1 𝑦2 𝑤2 11 𝑤2 12 𝑤2 13 𝑤2 21 𝑤2 22 𝑤2 23 = 𝑧1 𝑧2 𝑧3
- 24. 重み係数の調整 ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 t1 t2 t3 教師データ 出力 z と正解ラベル t の誤差を 計算し 、出力が正解ラベルに近 づくように重みW1とW2を調整 出力 ディープラーニングの学習
- 25. 勾配降下法
- 26. 勾配降下法 誤差逆伝播の仕組み 重み w 誤差 E 最適解 現在値 最適解に 近づけるには? 現在値から 減少させる
- 28. 勾配降下法 誤差逆伝播の仕組み 重み w 誤差 E 最適解wn wm 傾きが正なら 最適解より大きい 傾きが負なら 最適解より小さい
- 30. 学習率 (Learning Rate) 誤差逆伝播の仕組み 重み w 誤差 E w0w1w2w3-2wn-1wnwn 最適解 (ゴール)
- 31. 学習率 (Learning Rate) 誤差逆伝播の仕組み 重み w 誤差 E w0w1-1wnwn 更新量 重みの更新量は 学習率(Learning Rate)で調整
- 34. 誤差逆伝播法
- 35. 39 w x y w x y w x y レイヤー1 01000 “dog” レイヤー2 入力 出力レイヤーN ロス 関数 00010 “cat” 正解ラベル x[N] y[M] w[N][M] 順伝播(forward propagation) 誤差逆伝播法
- 36. 40 w x y w x y w x y 01000 “dog” 00010 “cat” ロス 関数 error⊿y⊿x⊿y⊿x⊿y ⊿w⊿w⊿w 逆伝播(backward propagation) 誤差逆伝播法 レイヤー1 レイヤー2 入力 出力レイヤーN 正解ラベル
- 37. 41 w x y w x y w x y 01000 “dog” 00010 “cat” ロス 関数 error⊿y⊿x ⊿w ⊿y⊿x ⊿w ⊿y ⊿w www 重みの更新 誤差逆伝播法 レイヤー1 レイヤー2 入力 出力レイヤーN 正解ラベル
- 38. 42 w x y w x y w x y “dog” “cat” ロス関数 error⊿y⊿x ⊿w ⊿y⊿x ⊿w ⊿y ⊿w “cat” “dog” “human” “monkey” “tiger” “lion” ミニバッチ 誤差逆伝播法 レイヤー1 レイヤー2 入力 出力レイヤーN 正解ラベル
- 39. ディープラーニングの学習の流れ
- 40. データを訓練データ(training data)と検証データ(validation data)に分割する 訓練データと検証データ ディープラーニングの学習 収集したデータ 検証データ(validation data) 訓練データ(training data) 重みの更新 (学習)に使用 汎化性能の 確認に使用
- 43. 学習ループ 訓練データと検証データの役割 訓練データ 猫 犬 熊 検証データ すべての訓練データを用いて重み更新を行う + すべての検証データで汎化性能を確認 ⇒ 1 エポック(epoch)と呼ぶ 猫 犬 狸 検証データで 現在の汎化性能を確認 (重みの更新には使用しない)
- 46. 51 畳込みニューラルネットワーク(CNN) • 画像認識・画像分類で使われる、高い認識精度を誇るアルゴリズム。畳込み層で画像の特徴を学習 目的 顔認識 トレーニングデータ 1,000万～1億イメージ ネットワークアーキテクチャ 10 層 10 億パラメータ ラーニングアルゴリズム 30 エクサフロップスの計算量 GPU を利用して30日 畳込み層 全結合層
- 48. 53 まとめ
- 49. Appendix. • NVIDIA Deep Learning Labs • エヌビディアが提供するAWS上でのディープラーニング自主学習コース • https://nvidia.qwiklab.com/tags/Deep%20Learning • 書籍(日本語) • 深層学習 (機械学習プロフェッショナルシリーズ)/岡谷貴之 • イラストで学ぶディープラーニング/山下 隆義