Successfully reported this slideshow.
Your SlideShare is downloading. ×

みんなでDeep Learningを理解しよう!

Ad

0
みんなでDeep Learningを理解しよう!
2018/2/21
アサヒビジネスソリューションズ株式会社
イノベーション統括部
百足山 実花

Ad

11
自己紹介
百足山 実花
アサヒビジネスソリューションズ株式会社 2017年入社
データサイエンティスト見習い
ム カ デ ヤ マ ミ カ

Ad

22
Deep Learningと人工知能、機械学習の違い
人工知能、機械学習、DeepLearning(深層学習)はどれも違う技術という
わけではなく、下記の図のような構造で表すことができます。
人工知能
(AI)
機械学習
(ML)
Dee...

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Loading in …3
×

Check these out next

1 of 29 Ad
1 of 29 Ad
Advertisement

More Related Content

Advertisement

みんなでDeep Learningを理解しよう!

  1. 1. 0 みんなでDeep Learningを理解しよう! 2018/2/21 アサヒビジネスソリューションズ株式会社 イノベーション統括部 百足山 実花
  2. 2. 11 自己紹介 百足山 実花 アサヒビジネスソリューションズ株式会社 2017年入社 データサイエンティスト見習い ム カ デ ヤ マ ミ カ
  3. 3. 22 Deep Learningと人工知能、機械学習の違い 人工知能、機械学習、DeepLearning(深層学習)はどれも違う技術という わけではなく、下記の図のような構造で表すことができます。 人工知能 (AI) 機械学習 (ML) DeepLearning (DL) ニューラルネットワーク (NN)
  4. 4. 33 機械学習とは 予測問題 電流[A] 電圧[V] 電力[W] 分類問題 腹囲 胸囲 女 男 1ヶ月後の使用電力を予測したり、画像に写っているのが男か女か分類す ることができます。
  5. 5. 44 ニューラルネットワークとは ニューラルネットワークとは、脳神経細胞(ニューロン)を数学的に抽象化 したパーセプトロンを用いて3層のネットワークを構成したものをさしま す。 入力層 中間層 ニューラル ネットワーク ニューロン (脳神経細胞) 数学的に 抽象化 ディープラーニング 出力層 4層以上
  6. 6. 55 機械学習とディープラーニングの利用判断 従来の手法でも分類可能 深層学習であれば分類可能 左記の図のような状態であれば機械学習で分類表現が可能ですが、右記の図のよう な複雑な状態では深層学習を利用しないと分類表現を行うことができない。
  7. 7. 66 耳がある 毛が茶色 ツノがある 答え 鹿 機械学習 ディープラーニング 特徴 特徴量抽出は、 自動で 計算される ! 鹿分類器 ディープラーニングによる特徴量抽出
  8. 8. 77 深層学習の基本動作 順伝搬による計算と解の導出 誤差逆伝搬:誤差の計算 誤差逆伝搬:誤差を基にしたバイアスと重みの再計算 重みの初期値の設定 学 習 を 繰 り 返 す
  9. 9. 88 深層学習のポイント • 順伝搬法 • 誤差逆伝搬法 • 重み • 勾配降下法 これさえ分かれば大丈夫!
  10. 10. 99 ディープラーニングの学習の進み方 ディープラーニングの学習は左(入力層)から右(出力層)に向かって進みま す。これを順伝播と言います。 順伝播
  11. 11. 1010 データの投入方法 画像データを取り扱う際は、画像データをピクセル単位のRGBの色情報に 分解し、それを入力層にインプットします。RGBで特徴が捉えずらい場合 は、CMYKや白黒データを入力データとする場合もあります。 画像幅=10ピクセル 画 像 高 = 10 ピ ク セ ル 色情報=3層 10ピクセル × 10ピクセル × 3層 300 入力層の数 =
  12. 12. 1111 パーセプトロンについて パーセプトロンごとに個性があり、得意分野が違います。 親しみがわくように今回はパーセプトロンを人間に置き換えて説明します。
  13. 13. 1212 ディープラーニングの学習 ①/⑫ 角がある 目、耳、鼻 がある 牙がある 動物だ はじめに画像を見たチーム(入力層)は、特徴的な部分を勝手に抽出して次 のチームに情報を渡します。最後の層まで伝言ゲームのように情報を伝え ていきます。
  14. 14. 1313 ディープラーニングの学習 ③/⑫ 最後のチーム(出力層)が今まで伝播された情報を糧に、読み込まれた画像 は74%鹿であると判断を下します。 鹿 74% とりあえず熊は ないけど馬の可 能性もある おそらく 鹿だろう
  15. 15. 1414 ディープラーニングの学習 ④/⑫ 本来の期待値は100%なので、この誤差26%という情報を基に学習をし直 します。この時、誤差は右(出力層)から左(入力層)へ逆伝播されます。こ れを誤差逆伝搬法と言います。 鹿 74% 誤差逆伝搬
  16. 16. 1515 ディープラーニングの学習 ⑤/⑫ 誤差が逆伝搬されると、再度順伝播方向に学習が進みます。2回目以降の 学習では、真ん中のチーム(中間層)は自分の得意分野と相手(入力層)が 持っている特徴の情報が一致しているものを強く受け止めます。 角がある 牙がある 動物だ 目、耳、 鼻がある 角がある動物な ら任せて 茶色い動物な ら任せて 模様がある動物な ら任せて 順伝播
  17. 17. 1616 ディープラーニングの学習 ⑥/⑫ 誤差逆伝搬法を繰り返し学習を進めていくと、どのパーセプトロンの言う 事を信頼すればいいのかわかりやすくなります。 鹿 79%
  18. 18. 1717 ディープラーニングの学習 ⑦/⑫ 前の層から伝わってくる情報の信頼度の大きさを重みといい、学習の過程 でこの重みを変更することで正しい情報を認識できるようになります。 鹿 86%
  19. 19. 1818 ディープラーニングの学習 ⑧/⑫ 伝播された誤差を最小にするために、重みの最適値を探し出すことが ディープラーニングの学習における重要課題です。 鹿 99%
  20. 20. 1919 ディープラーニングの学習 ⑨/⑫ どのように最小値を求めるかというと、誤差が最小になったと思われるま で微分を繰り返し、重みを変化させていきます。 この方式を勾配降下法といいます。 誤 差 少 多 軽 重 重み 初期値 誤 差 少 多 最適解 軽 重 重み
  21. 21. 2020 微分で傾きを求めた結果、傾きが負であれば重みを増やし、傾きが正であれ ば重みを減らします。 ディープラーニングの学習 ⑩/⑫ 傾き 負 ±0 正 重み 増加 最適 減少 誤 差 少 多 傾きが負 (=右肩下がり) 傾きが正 (=左肩下がり) 傾きが±0 (=フラット) 軽 重 重み
  22. 22. 2121 ディープラーニングの学習 ⑪/⑫ 学習率を大きくすればするほど学習スピードが速く、最適値を飛び越えて しまう可能性があります。逆に小さければ小さいほど学習は遅く進み、よ り多くの学習回数が必要となってしまいます。 誤 差 少 多 傾きが負 (=右肩下がり) 𝑊𝑛 𝑊𝑛+1 𝑊𝑛+2 ウエイトを増加させる 軽 重 重み
  23. 23. 2222 ディープラーニングの学習 ⑫/⑫
  24. 24. 2323 ディープラーニングの学習のおさらい ディープラーニングの学習は順伝搬され、誤差逆伝搬法により逆伝播さ れた誤差をベースとして、勾配降下法により重みの最適値を算出し誤 差が少なくなるまで学習を繰り返します。 鹿 99%
  25. 25. 2424 まとめ 皆さんDeep Learningについて理解できたでしょうか?
  26. 26. 2525 Appendix:ディープラーニングとは何か?① 機械学習のアルゴリズムの1つである、ニューラルネットワークを用いた深層学習 (≒ディープラーニング)が、深層学習では最も代表的な例として紹介されています。 データマイニング 機械学習 大量のデータ から探す 仮説・検証 により探す 教師あり 学習 人工知能 機械学習 深層学習 エキスパートシステム(Watson) 対話システム(Siri) 決定木学習 相関ルール学習 ニューラルネットワーク SVM …etc. ? 教師なし 学習 統計・解析 未知だった データの特徴を発見する 訓練データから学んだ 「既知」の特徴に基づく予測
  27. 27. 2626 Appendix:活性化関数の選択① 状態 𝑋 樹状突起(入力) 細胞体 核 軸索末端(出力) ミエリン鞘 シュワン細胞 ランヴィエ絞輪 𝑥1 𝑥2 𝑥3 𝑦 𝑋 = 𝑥1+𝑥2+𝑥3 生物のニューロン(神経細胞)を人工的に模したものが人工ニューロンです。樹状突起を入力𝑥とみなし、軸 索末端を出力𝑦としてデータを出力します。生物のニューロンの場合、”ある一定量”の電気刺激を受け取るま で、出力をしないため、それを同じ振る舞いをさせるには少し工夫が必要なことがわかります。
  28. 28. 2727 Appendix:誤差の逆伝搬の数式表現① 誤差をユニット数に応じて均等に分割及び伝搬するのは適切ではありません。各 ウェイトに基づいて分割及び伝搬する誤差を計算する必要がります。誤差を逆伝搬 する際の数式は以下のとおりです。 𝑥1における誤差 𝑒 = 𝑒1 × 𝑤11 𝑤11+𝑤21 𝑥1 𝑥2 𝑎1 𝑦1 𝑒1 = 0.8(誤差) 𝑤11 = 2.0 𝑤21 = 3.0 2.0 2.0+3.0 = 2 5 の誤差を逆伝搬 3.0 2.0+3.0 = 3 5 の誤差を逆伝搬 𝑥1における誤差 𝑒 = 0.32 𝑥1における誤差 𝑒 = 0.48
  29. 29. 2828 Appendix:誤差の逆伝搬の数式表現② 複数のユニットから誤差を受け取る場合は、受け取った値を単純に足し算します。 𝑥1における誤差= 𝑒11 + 𝑒12 = 0.32 + 0.22 = 0.54 𝑥1 𝑥2 𝑎1 𝑎2 𝑦1 𝑦2 𝑒1 = 0.8(誤差) 𝑤11 = 2.0 𝑤22 = 5.0 𝑒2 = 0.5(誤差) 誤差:0.32 𝑒11 𝑒12 𝑥1における誤差 = 0.54

×