Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[2018/9/27(木): 三木会@大阪] プログラミング無しでここまでできる!Neural Network Console活用のススメ

1,123 views

Published on

「プログラミング無しでここまでできる!Neural Network Console活用のススメ」

講師:足立 悠 (Haruka Adachi) 氏
2017年はAI元年、2018年はAIの民主化元年と言われるように、誰もがAIを使える社会が到来しつつある今、マウスのドラッグ&ドロップだけで簡単にAI(ディープラーニング)モデルを作成できるNeural Network Consoleが注目を集めています。本セッションではNeural Network Consoleの概要と、時系列データの異常検知などを例に具体的な活用方法を紹介します。

Published in: Technology
  • Be the first to comment

[2018/9/27(木): 三木会@大阪] プログラミング無しでここまでできる!Neural Network Console活用のススメ

  1. 1. プログラミング無しでここまでできる! Neural Network Console 活用のススメ 1 足立 悠 BULB株式会社
  2. 2. 2 身の回りのAIサービス https://sencorp.co.jp/service/ 子供の写真撮影と販売。 顔画像検索を利用して、自分の子供が写っている写真 を探して購入する。 Amazon Rekognition APIを活用。
  3. 3. 3 身の回りのAIサービス https://www.rinna.jp/ AIチャットボット。 ユーザーとの雑談対話データを解析して学習を繰り返 し、自然な対話に近付いていく。 Azure Machine Learningを活用。
  4. 4. 4 AIの経済効果 https://japan.zdnet.com/article/35084776/2/
  5. 5. 5 話題のテクノロジーの注目度 AI 機械学習 ディープラーニング https://trends.google.co.jp/trends/?geo=JP
  6. 6. 6 AIへの取り組み http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc143310.html
  7. 7. 7 AI導入の阻害要因 http://monoist.atmarkit.co.jp/mn/articles/1801/24/news007.html
  8. 8. 8 AI人材のスキルセット http://www.nttdata.com/jp/ja/insights/trend_keyword/2012122001.html
  9. 9. 9 AIのための数学本を使って学ぶべし
  10. 10. 10 AI人材のスキルセット http://www.nttdata.com/jp/ja/insights/trend_keyword/2012122001.html
  11. 11. 11 AIプログラミング本を使って学ぶべし
  12. 12. 12http://www.eis.mdx.ac.uk/research/PhDArea/saeed/paper1.pdf でもプログラミングは苦手 向いていない 60% 向いてる 40%
  13. 13. 13 GUIのAIツール
  14. 14. 14 NNCがカバーする分析フェーズ https://www.kdnuggets.com/2017/01/four-problems-crisp-dm-fix.html
  15. 15. 自己紹介 15 足立 悠(あだち はるか) BULB株式会社 データサイエンティスト データ分析コンサル、AIサービス開発などに従事。
  16. 16. 16 AutoFloor https://autofloor.jp/lp/service/
  17. 17. 17 SERBO https://u-bo.jp/#products
  18. 18. 18 Matcha Note https://matchanote.jp/
  19. 19. 19 目次 1. 深層学習とは 2. Neural Network Consoleとは 3. MNIST画像の分類 4. 時系列データの予測 5. 文章データの分類
  20. 20. 20 機械学習とは データから特徴量を抽出しパターンを見つける技術 説明変数 目的変数 学習データ 特徴量の抽出 学習モデルの作成 新規データ 特徴量の抽出 予測結果 学習 判定(推論) age job martial ・・・ deposit 59 admin 女 ・・・ yes 56 admin 男 yes 41 technician 女 yes age job martial ・・・ 59 admin 女 ・・・56 admin 男 41 technician 女 説明変数 deposit ? ? ?
  21. 21. 21 特徴量とは 他のデータとは異なるそのデータ自身が持つ特徴
  22. 22. 22 機械学習の種類 ・教師あり学習 入力データ(説明変数)と正解(目的変数)のペアを使って状 態を識別・予測する ・教師なし学習  入力データのみを使って状態を要約する ・強化学習  より多くの報酬を獲得できるよう行動を最適化する
  23. 23. 23 教師あり学習のイメージ ・分類 ・回帰 予測値 状態の予測物体の識別
  24. 24. 24 教師あり学習のアルゴリズム ● 決定木 ● 線形回帰 ● ロジスティック回帰 ● k近傍法 ● サポートベクタマシン ● パーセプトロン ● ニューラルネットワーク ・・・などなど 低 い 説明力 高 い
  25. 25. 25 ニューラルネットワーク 人間の脳の働きを数理モデルで表現したもの ノード エッジ
  26. 26. 26 学習(順伝播) 中間層のノードは、入力と重みの値を掛けてバイアスと足し 合わせた値を受け取る。
  27. 27. 27 学習(順伝播) 中間層のノードは活性化関数を使って変換し、次の層へ出 力する。
  28. 28. 28 学習(順伝播) 出力層のノードも活性化関数を使って変換する
  29. 29. 29 学習(順伝播) 活性化関数は、 ● 分類問題を扱うならソフトマックス関数(左) ● 回帰問題を扱うなら恒等写像(右) を使用する。
  30. 30. 30 学習(逆伝播) 出力と正解の誤差が小さくなるよう重みを更新(学習) ● 分類問題を扱うなら交差エントロピー(左) ● 回帰問題を扱うなら二乗誤差(右)
  31. 31. 31 学習(逆伝播) 誤差曲線の底を目指して降下しながら最適値を探していく勾 配降下法を使用
  32. 32. 32 学習(逆伝播) データを複数個に分割して最適値を探す確率的勾配降下法 を使用
  33. 33. 33 ディープラーニング 中間層をさらに多層にしたニューラルネットワーク (多層パーセプトロン)
  34. 34. 34 特徴量の学習 機械学習では人間が工夫して抽出 深層学習では機械が自動で抽出
  35. 35. 35 事前学習 オートエンコーダを使って学習前にエッジの重みを調整
  36. 36. 36 過学習 学習データに対して過剰に適合するものの、新規データに対 しては性能が低下すること。 適合しない ちょうど適合する 適合しすぎ
  37. 37. 37 最適化手法 ● 重み減衰  エッジの重みに係数を掛け、重みが大きく発散することを防 ぎ、最適化を安定させる。 ● バッチ正規化  ミニバッチの平均と分散を使って、各層のノードの値を平均 0、分散1となるように標準化し、学習を高速化させる。
  38. 38. 38 最適化手法 ● ドロップアウト  各層のノードをランダムに無効にし、有効なノードを使って学習 する。
  39. 39. 39 目次 1. ディープラーニングとは 2. Neural Network Consoleとは 3. MNIST画像の分類 4. 時系列データの予測 5. 文章データの分類
  40. 40. 40 Neural Network Console https://dl.sony.com/ja/
  41. 41. 41 ドラッグ&ドロップで操作
  42. 42. 42 ボタン1 つで学習を実行
  43. 43. 43 ボタン1 つで評価を実行
  44. 44. 44 構造とパラメータを自動最適化
  45. 45. 45 Dashboard(ダッシュボード)画面 最近開いたプロジェクトと実行したジョブを表示
  46. 46. 46 Project(プロジェクト)画面 作成したプロジェクトを一覧で表示
  47. 47. 47 Dataset(データセット)画面 学習と評価に使用するデータセットを登録・確認
  48. 48. 48 Dataset(データセット)画面 専用のアップロードツールを使ってデータ登録
  49. 49. 49 Job History(ジョブ履歴)画面 ジョブ(学習と評価)の実行履歴を表示 無料版は、CPU×1、連続稼働10時間、HDD10GBの環境
  50. 50. 50 EDIT(編集履歴)画面 ネットワークを作成する [Layer Components]から入力層などのパーツをドラッグ&ド ロップで配置し、ブロックの形状で表示されたパーツを線で繋 ぐ。
  51. 51. 51 TRAINING(学習)画面 モデルを学習し精度を高める 学習曲線により誤差の収束具合を確認
  52. 52. 52 EVALUATION(評価)画面 作成したモデルを評価し最終的な精度を得る 出力結果と混同行列の表示
  53. 53. 53 CONFIG(設定)画面 学習条件や最適化の手法などを設定
  54. 54. 54 目次 1. 深層学習とは 2. Neural Network Consoleとは 3. MNIST画像の分類 4. 時系列データの予測 5. 文章データの分類
  55. 55. 55 プロジェクトの作成 チュートリアルのプロジェクトを複製
  56. 56. 56 MNISTデータ 手書き文字のグレースケール画像セット データはピクセル値と数字ラベルのセットで提供
  57. 57. 57 MNISTデータ NNCに学習&評価データセットとして登録済
  58. 58. 58 MLPの作成
  59. 59. 59 MLPの作成
  60. 60. 60 学習条件の設定 エポック数、ミニバッチ数の設定
  61. 61. 61 学習の実行 学習曲線の表示
  62. 62. 62 評価の実行 各評価データの出力(予測)結果
  63. 63. 63 混同行列 ● Recall(再現率) ○ 正解から見て、正解と出力の分類結果が一致しているデータ数の割合。 ● Precision(適合率) ○ 出力値から見て、出力と正解の分類結果が一致しているデータ数の割合。 ● Accuracy(精度) pred pos pred neg Recall true pos TP FN true neg FP TN Precision (TP+TN)/(TP+FN+FP+TN)
  64. 64. 64 評価の実行 評価の混同行列とモデル精度
  65. 65. 65 畳み込みニューラルネットワーク 中間層に畳み込み層、プーリング層、全結合層を持つ ニューラルネットワーク。
  66. 66. 66 畳み込み層の計算 入力データに対しフィルタを適用していき、ノードの値と重み を掛けて足し合わせ特徴量を抽出する。
  67. 67. 67 プーリング層の計算 ● 最大プーリング(左) ○ 一定の領域内の最大値を特徴量として残す。 ● ゼロパディング(右) ○ 入力データと特徴マップのサイズを維持する。
  68. 68. 68 CNNを使うメリット 特徴点が画像のどの位置にあるかを考慮でき、その位置の ずれも吸収できる。
  69. 69. 69 CNNの作成
  70. 70. 70 学習の実行 学習曲線の表示
  71. 71. 71 評価の実行 評価データの混同行列とモデル精度
  72. 72. 72 目次 1. 深層学習とは 2. Neural Network Consoleとは 3. MNIST画像の分類 4. 時系列データの予測 5. 文章データの分類
  73. 73. 73 電力量のデータ https://archive.ics.uci.edu/ml/datasets/Appliances+energy+prediction ある家庭の消費電力量や温度などのデータ 時間(分) 電力 (Wh)
  74. 74. 74 部分時系列の作成 スライド t (0) t (1) t (2) ・・・ t(71) 窓の幅72 t (1) t (2) t (3) ・・・ t(72) ・・・ t(N-3) t(N-2) t(N-1) 部分時系列 ・・・ 幅72(半日)の窓を使ってデータを抽出していく
  75. 75. 75 部分時系列の作成 説明変数のパスと目的変数、説明変数のデータを準備 先頭から71個 72個目
  76. 76. 76 再帰型ニューラルネットワーク 過去の時刻の特徴量を再利用して学習
  77. 77. 77 再帰型ニューラルネットワーク 時間方向へ展開し誤差が小さくなるように重みを更新 ● 計算量が多い ● 近い過去に依存
  78. 78. 78 長短期記憶 中間層の記憶量を調整して伝播し重みを更新
  79. 79. 79 LSTMの作成 入力層 出力層 ・・・ 71ノード 1ノード 中間層 (LSTM) 32ノード 次点の出力 ・・・ 過去のデータを使って次の時刻のデータを予測
  80. 80. 80 学習の実行 学習曲線の表示
  81. 81. 81 評価の実行 評価データの混同行列とモデル精度
  82. 82. 82 常時の挙動 攻撃を受けた時の挙動 常時から逸脱する挙動を異常とみなす 異常検知の考え方
  83. 83. 閾値 y-y’ 予測誤差=元データyー予測値y’ 83 予測誤差による異常検知
  84. 84. 84 目次 1. 深層学習とは 2. Neural Network Consoleとは 3. MNIST画像の分類 4. 時系列データの予測 5. 文章データの分類
  85. 85. 85 記事のデータ http://www.city.takarazuka.hyogo.jp/event.xml 宝塚市で開催されるイベントのデータ
  86. 86. 86 単語文書行列の作成 各文書における単語の重みを考慮した単語文書行列 文書1 文書2 文書3 文書4 単語1 2 0 1 5 単語2 1 1 0 1 単語3 3 4 10 6 単語4 0 5 2 0 IDF 単語1 1.1 単語2 1.1 単語3 1.0 単語4 1.3 文書1 文書2 文書3 文書4 単語1 2.2 0 1.1 5.5 単語2 1.1 1.1 0.0 1.1 単語3 3.0 4.0 10.0 6.0 単語4 0.0 6.5 2.6 0.0 TF-IDF TF
  87. 87. 87 単語文書行列の作成 説明変数と目的変数のデータを準備 説明変数 目的変数 ・・・
  88. 88. 88 MLPの作成 単語データを使ってイベントの種類を分類 入力層 出力層 ・・・ 254ノード 2ノード 中間層 100ノード ・・・ ・・・ 50ノード
  89. 89. 89 学習の実行 学習曲線の表示
  90. 90. 90 評価の実行 評価データの混同行列とモデル精度
  91. 91. 91 改訂版のお知らせ http://www.ric.co.jp/book/contents/book_1167.html
  92. 92. 92 ハンズオンセミナーのお知らせ http://www.pref.nara.jp/item/202988.htm
  93. 93. 93 雑誌記事のお知らせ http://interface.cqpub.co.jp/
  94. 94. 94 ご清聴ありがとうございました!

×