Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

エッジヘビーコンピューティングと機械学習

11,954 views

Published on

SORACOM主催 IoT Technology Conference if-up 2017 発表資料

Published in: Software
  • Be the first to comment

エッジヘビーコンピューティングと機械学習

  1. 1. IoT Technology Conference if-up 2017 エッジヘビーコンピューティング と機械学習
  2. 2. Preferred Networks, Inc. (PFN) • “Make everything intelligent and collaborative” • Founded: Mar. 2014 – Founder: Toru Nishikawa, Daisuke Okanohara • Office: Tokyo, San Mateo • Employees: ~80: researchers and engineers • Investors: FANUC, Toyota, NTT
  3. 3. Humanoid Robot Consumer Industrial Cloud Device PhotoGame Text Speech Infrastructure Factory Robot Automotive Healthcare Smart City Industry4.0 Industrial IoT
  4. 4. Preferred Networks, Inc (PFN) • 最近のPFNの成果のまとめ – 実世界の人工知能 2017/2/10 @DeNA TechCon https://www.slideshare.net/pfi/dena-techcon-2017 • “人工知能”に対するPFNのスタンス – 人工知能技術の健全な発展のために https://research.preferred.jp/2017/04/ai4future/
  5. 5. 自己紹介 • 田中大輔 – 2015/4より PFN 入社 前職は金融系 SIer で金融工学ライブラリの担当 – 製品開発(メイン)、SensorBee、異常検知 – 主に研究開発と製品開発の橋渡し役 今日は主にこの 話をします。
  6. 6. コンテンツ • 機械学習・深層学習の概要 エッジヘビーコンピューティングの概要 • 機械学習の製品化 • IoTとエッジヘビーコンピューティング • SORACOMを使ったデモ例 (CeBIT2017)
  7. 7. 機械学習とは • データから知識・ルールを自動獲得する • データの適切な表現方法も獲得する • 人工知能研究の中で、人が知識やルールを 明示的に与える方法の限界から生まれてきた
  8. 8. 機械学習とは 学習データ 分類モデル
  9. 9. ルールに基づく判断の限界と機械学習 • 俗にルールベースと呼ばれる方法 • 最初は精度が悪いが頑張れば意外とどこまでもよくなる 「ゴルフ」  スポーツ 「インテル」  コンピュータ 「選挙」  政治
  10. 10. ルールに基づく判断の限界と機械学習 • 人手で書いたルールはすぐに複雑・膨大位なる • 複雑化したルールは引き継げなくなる 「ゴルフ」and「VW」  車 「インテル」and「長友」  サッカー 「選挙」and「AKB」  芸能
  11. 11. 機械学習はデータに基づくアプローチ 規則 アルゴリズム アルゴリズム 規則 データ ルールベース 機械学習 自動獲得 人が用意 人が用意 学習モデル
  12. 12. 機械学習の典型的なプロセス (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Naïve Bayes/CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/LSI/LD A/GM… 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 機械 学習 文書 画像 センサー 行動履歴 様々な様式の 生データ 特徴 抽出
  13. 13. 機械学習の典型的なプロセス (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Naïve Bayes/CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/LSI/LD A/GM… 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 機械 学習 文書 画像 センサー 行動履歴 様々な様式の 生データ 特徴 抽出 深層学習(ディープラーニング)
  14. 14. 深層学習とは何か? • 教科書的にいうと、以前は学習が困難と思われた、段数 の深いニューラルネットワーク手法全般 • 歴史的にいうと、ニューラルネットワークが下火となっ た90年台後半以降も研究を続けた北米の研究グループが、 2010年台に入って劇的な成果をあげた一連の研究 • 社会的にいうと、これらの成果に目をつけた米大手企業 の買収合戦・人材獲得合戦と、それらを大々的に報じた 一連の社会現象
  15. 15. 典型的なニューラルネットワーク (多層パーセプトロン) Forward x1 xN ・・・・・ ・ h1 hH ・・・ ・ kM k1 yM y1 ・ ・ ・ ・ 入力層 隠れ層 出力層 文書 チューリップ 異常確率 50% カテゴリ:政治 Backward
  16. 16. 典型的なニューラルネットワーク (多層パーセプトロン) Forward x1 xN ・・・・・ ・ h1 hH ・・・ ・ kM k1 yM y1 ・ ・ ・ ・ 入力層 隠れ層 出力層 文書 チューリップ 異常確率 50% カテゴリ:政治 Backward 学習 (何回もループ) 推論
  17. 17. 深層学習の成果が顕著な領域 • 音声認識 – すでに多くの音声認識エンジンで利用されている (と言われている) • 画像認識・画像生成 – 画像認識だけでなく、人の目にも自然に見える画像が生成できるよ うに • ゲームプレイ – 一部のゲームで人間よりも強くなった https://github.com/Newmu/dcgan_code
  18. 18. コンテンツ • 機械学習・深層学習の概要 エッジヘビーコンピューティングの概要 • 機械学習と製品開発 • IoTとエッジヘビーコンピューティング • SORACOMを使ったデモ例 (CeBIT2017)
  19. 19. IoT時代の到来 • 膨大なデータがエッジ側で生成されるようになる – 映像はカメラ1台で100TB、タービンセンサ、ポイン トクラウド
  20. 20. IoT時代の到来 • 膨大なデータがエッジ側で生成されるようになる – 映像はカメラ1台で100TB、タービンセンサ、ポイン トクラウド
  21. 21. IoTアプリケーションの直面する課題 • データの中央集権的収集は困難になる – データ量の爆発、データ種類の爆発 – プライバシーの問題 – 情報量の問題: データ量に反して生成データの価値密 度は薄い
  22. 22. エッジヘビーコンピューティング • データを一か所に集めない前提のもとで深い分析を実現 する – ネットワークのエッジ上のデバイスのローカルで データを解析 – 学習モデルなど抽出された情報だけがクラウド上に 挙げられ、大域的な解析を行う
  23. 23. エッジヘビーコンピューティング(まとめ) • 人が生み出すデータから、機械が生み出すデータへ • データ量の爆発、データ種類の爆発によりデータの中央 集権的収集がより困難になる • PFNはIoTと機械学習(深層学習)を活用し、データを1箇 所に集めないことを前提とした、深い分析を実現する
  24. 24. コンテンツ • 機械学習・深層学習の概要 エッジヘビーコンピューティングの概要 • 機械学習と製品開発 • IoTとエッジヘビーコンピューティング • SORACOMを使ったデモ例 (CeBIT2017)
  25. 25. 機械学習の研究フロー(例) データの収集・ 蓄積・調査 分析 仮説検証 アルゴリズムの改善 レポート フィードバック
  26. 26. 機械学習の研究フロー(例) データの収集・ 蓄積・調査 分析 仮説検証 アルゴリズムの改善 レポート フィードバック データ量が少ない 作業のほとんどが前処理 そもそも機械学習 必要ない フィードバックを 反映してくれない データサイエンティストあるある
  27. 27. 機械学習の研究フロー(例) データの収集・ 蓄積・調査 分析 仮説検証 アルゴリズムの改善 レポート フィードバック データ量が少ない 作業のほとんどが前処理 そもそも機械学習 必要ない フィードバックを 反映してくれない データサイエンティストあるある 製品開発の一部でしかない!
  28. 28. 開発プロセスと研究開発 プロトタイプ 機能追加 機能追加・改善 運用 機能追加・改善 研究開発
  29. 29. 開発プロセスと研究開発 プロトタイプ 機能追加 機能追加・改善 運用 機能追加・改善 研究開発 プロトタイプ時とデータ が違うんだけど… そもそも成果が出るの かわからない どのデータ使うのか はっきりしない 機械学習への要件が変 わった ベロシティ? チケット?
  30. 30. 開発プロセスと研究開発 プロトタイプ 機能追加 機能追加・改善 運用 機能追加・改善 研究開発 プロトタイプ時とデータ が違うんだけど… そもそも成果が出るの かわからない ここの連携を強めることが大切 どのデータ使うのか はっきりしない 機械学習への要件が変 わった ベロシティ? チケット?
  31. 31. 機械学習の研究と開発 • PFNでは、PoCで”あたり”をつけることが多い – データに関する確認 • データ量や次元数はどの程度か • 集めるのにどれくらいかかるか – 精度の確認は簡単にできるか – シミュレータの存在 深層強化学習によるドローン制御(デモビデオ) in CEATEC JAPAN 2016 https://www.youtube.com/watch?v=2nO3hLPPEX4
  32. 32. 機械学習の研究と開発 • 研究開発環境の固定化 – さくらの高火力コンピューティング+Mesos GPUクラスタを極限まで効率化したいバックエンドエンジニアWANTED! https://www.wantedly.com/projects/76126 • “解決したい課題”を常に確認する – 意外に迷走することが多い
  33. 33. (おまけ)ウォーターフォールと研究開発 要件定義 開発 テスト リリース 研究開発
  34. 34. (おまけ)ウォーターフォールと研究開発 要件定義 開発 テスト リリース 研究開発 開発フェーズにならない とデータ揃わない Excel形式でならある けど… 学習に2時間かかるけど テストケースがいっぱい バグ収束曲線??
  35. 35. (おまけ)ウォーターフォールと研究開発 • 今までソフトウェアの概念のなかった世界に、ソフト ウェア開発が導入されるようになってきた – Minimal viable productが適用できない – 平等に、一斉にリリースしないといけない
  36. 36. 製品開発からみた機械学習の特異性 その1 • アルゴリズムの”ブラックボックス” – 「なぜこの結果が得られたか」を理論的に説明でき ないケースが多い。 – 数学系・物理系研究者による「なぜ深層学習がうま くいくのか」という研究が近年盛ん。 • つまり逆に言うと…
  37. 37. 製品開発からみた機械学習の特異性 その2 • 学習済みモデルの賞味期限 – 実験データと本番データの違い – 本番データ自体の経年変化 • 学習モデルをどうやって管理していくかが鍵 – モニタリングの重要性
  38. 38. 機械学習入り製品の運用 • 学習モデルのモニタリングと更新 – 学習モデルの生成を再現させる環境 • CI, CDは研究開発時も大切 – 障害時点でのスナップショットの取得 – モデルの精度向上による影響の把握 • 過去のデータに対しては精度が下がるかもしれな い
  39. 39. コンテンツ • 機械学習・深層学習の概要 エッジヘビーコンピューティングの概要 • 機械学習と製品開発 • IoTとエッジヘビーコンピューティング • SORACOMを使ったデモ例 (CeBIT2017)
  40. 40. 積極的なIoT⇔消極的なIoT • デバイス同士をつなげることによってより高度な知能化 を目指す – 例: スマートシティ構想、タチ○マ – 積極的なIoT • データをクラウドに置けない・置きたくない • ネットワークが細い・そもそも繋がってない – 消極的なIoT、結果的にIoT 課題解決手段は研究開発フェーズ から製品開発フェーズへ
  41. 41. IoTシステムへの深層学習の適応の矛盾 • 機械が生み出す膨大なデータに対する、深層学習という アプローチだが。。。 • エッジの計算資源の問題 • データ領域の問題 • ネットワーク資源の問題
  42. 42. IoTシステム+深層学習にどう対応していくか • 機械学習の学習と推論の切り分け – エッジでは推論のみに • 学習モデルの管理およびモニタリングは行う – ニューラルネットワークの量子化による工夫 Binarized Neural Networks https://arxiv.org/abs/1602.02505 • デバイス側の計算資源・ネットワーク資源への対応
  43. 43. IoTに対するフルスタックなアプローチ • 組込み部分の知識 • ネットワークの知識 • コンテナ・VMの知識 • クラウドの知識 • 機械学習の研究で成果が出てからが本番 • 組織をあげて様々な道具を知ることが大事
  44. 44. コンテンツ • 機械学習・深層学習の概要 エッジヘビーコンピューティングの概要 • 機械学習と製品開発 • IoTと機械学習 • SORACOMを使ったデモ例 (CeBIT2017)
  45. 45. (復習)クラウドベースのIoTの問題点 2. ネットワークの バンド幅とレイテ ンシ 1. デバイスで生成される、 価値密度(データ1ビット 当たりの価値単価)の低い 大量のセンサデータ すべてのセンサデータをクラウドに送ることはできない!
  46. 46. (復習)エッジヘビーコンピューティング メリット: コスト / レイテンシ / プライバシ 1. デバイスはネッ トワーク・エッジで データを深層学習で 解析する 2. 学習済みの解析 結果だけが、クラ ウドに送信される 3. 個別の解析結果をマー ジして、より汎用の精度高 いモデルを学習し、デバイ スに再配布する
  47. 47. デモ概要 その1 • Jetson TX1のカメラから得られた映像を によって分析 • 人物の検出 + 年齢/性別推定 • メタ情報のみを定期的にSORACOMへ – トータルの人数、年齢/性別毎の人数NVIDIA Jetson TX1
  48. 48. デモ概要 その2 • 年齢 – 20未満 – 20代 – 30代 – 40代 – 50以上 • 性別 – 男 – 女 1. カメラに映った人物を検知する 検出・属性推定ともに深層学習のアルゴリズムを使用。 NVIDIA Jetson TX1によって効率的に処理。 2. 各人物の属性を推定
  49. 49. デモ概要 その3 • 分析結果から必要な情報のみ を抽出 – 今回は属性毎の人数を集計 { “total”: 5, “20-29”: 2, “30-39”: 2, “40-49”: 1, “male”: 2, “female”: 3 } 人数のみを抽出 • データをSORACOM Harvest へ送信 – 元画像と比べて1/100以下
  50. 50. SORACOM Harvest
  51. 51. ブースの様子
  52. 52. まとめ • エッジデバイスへの機械学習の適用は工夫次第で可能 • 機械学習では学習モデルの管理とモニタリングが鍵 • SORACOMにより「デバイスが簡単につながる」ことに よって、機械学習がより身近に! SORACOM ✕ = エッジヘビー コンピューティング

×