Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Deep dive into DeepLens

522 views

Published on

ABEJA Cloud AI Night (2017/12/22)で発表した資料です。AWS DeepLensに関する技術的な所をざっくりと説明したものです。

Published in: Technology
  • Be the first to comment

Deep dive into DeepLens

  1. 1. 「Deep dive into DeepLens 」 ABEJA Cloud AI Night 2017/12/21 ABEJA Inc. Engineer 大田黒 紘之
  2. 2. 2 ・1994年生まれ ・東京都立産業技術高等専門学校 医療福祉工学科 (2009-2014) ・公立大学法人 首都大学東京 都市教養学部・都市教 養学科 理工学系電気電子コース(2014-2015) ・ABEJA入社 (2015/09) ・小型人工衛星開発、光通信システム、医療機器、EIT システム、理化学研究所非正規雇用(TPCチャンバー評 価、放射線の三次元飛跡の可視化、中性子CTスキャンシ ステムの画像処理….)、多様体上におけるNS方程式…. 自己紹介 2
  3. 3. 3 ・1994年生まれ ・東京都立産業技術高等専門学校 医療福祉工学科 (2009-2014) ・公立大学法人 首都大学東京 都市教養学部・都市教 養学科 理工学系電気電子コース(2014-2015) ・ABEJA入社 (2015/09) 自己紹介 IoTデバイス〜DLを活用した映像解析まで幅広く開発してます!
  4. 4. <趣味> クラウド・AIをフル活用したIoT工作 https://qiita.com/xecus/items/b7350111024b5fc2d9ae
  5. 5. ReInvent @ LasVegas にいってきました!
  6. 6. 今日はAWS DeepLensに着目した話をします!
  7. 7. DeepLens Workshopに無事当選!!
  8. 8. そもそもDeepLensとは・・・?
  9. 9. AWS 「世界初のディープラーニングに対応した開発者向けビデオカメラ」 https://aws.amazon.com/jp/deeplens/
  10. 10. 2018年4月より販売予定。実は激レアのDeepLens (現状、国内だと数台〜10数台ぐらいしかないのでは..) https://www.amazon.com/dp/B075Y3CK37
  11. 11. 中身に何がはいっているのか?
  12. 12. ≒Atomプロセッサーの入った普通のパソコン https://aws.amazon.com/jp/deeplens/
  13. 13. DeepLens関連サービス 「AWS Greengrass」 16 AWS Lambdaと同じプログラミングモデルでデバイスを制御できる (Lambdaを書く感覚でデバイス側でコードが動かせる) https://aws.amazon.com/jp/greengrass/
  14. 14. DeepLensのシステム的な仕組み AWS Greengrass SDK + Webカメラ + GPU ≒ DeepLens https://thenewstack.io/deep-dive-amazon-deeplens/
  15. 15. どう開発して、どう動かすのか
  16. 16. DeepLensを使った開発 ①MXNet・Tensorflow等のライブラリを活用しつつ、DLのモデルを生成する ②Intelより配布されているDeploymentToolKitでモデルのデバイス最適化をする https://aws.amazon.com/jp/blogs/news/aws-deeplens-extensions-build-your-own-project/
  17. 17. DeepLensを使ったデプロイフロー ①デバイスの登録 ②Lambda Functionを登録 ③DeepLens Consoleからデプロイボタンを押す →Greengrass経由でDeepLens上でLambda Functionが動く https://aws.amazon.com/jp/blogs/news/aws-deeplens-extensions-build-your-own-project/
  18. 18. DeepLensとAWS関連システムとの連携 ・Greengrass上からKinesis Video Streamに動画転送 ・MQTTでメッセージの送信 (例:○○を検出) https://aws.amazon.com/jp/blogs/news/aws-deeplens-extensions-build-your-own-project/
  19. 19. 実際に動かしてみた
  20. 20. デバイス登録 @ AWS DeepLens 23
  21. 21. ロール生成 @ AWS DeepLens
  22. 22. 証明書生成 @ AWS DeepLens
  23. 23. デバイス設定 @ AWS DeepLens デバイスが利用するネットワーク設定と前ステップで生成した証明書を アップロードするだけ
  24. 24. 証明書生成 @ AWS DeepLens
  25. 25. デプロイ中 @ AWS DeepLens 初回10分くらいかかったが、無事にデプロイができた
  26. 26. Hotdog or Not
  27. 27. Hotdog or Not
  28. 28. DeepLensのLambda Functionは どう書くのか?🤔
  29. 29. Lambda Function <必要なもの> ・greengrasssdk →メッセージングの為に必要 ・awscam →モデルを読み込ませて、Inference(推論)をするのに 必要 ・cv2 →カメラからの映像ストリームをとる為に必要
  30. 30. Lambda Function モデルのロード GPU/CPU切り替え
  31. 31. Lambda Function カメラから映像を取得 224×224 pixelに変換 Inference 結果取得 ※index=934がHOTDOG
  32. 32. どうやって自分のモデルをデプロイするのか🤔
  33. 33. Models on DeepLens Built-inされた(?)モデル群を発見。おそらくサンプルが利用するもの。 アクション検知 Object Detection スタイル変換
  34. 34. xml , binファイル達はなんなのか🤔
  35. 35. Intel Model Optimizerから出力された.xmlを渡している
  36. 36. Intel Model Optimizerの存在 https://software.intel.com/en-us/inference-engine-devguide-introduction#MO ①MXNet,TFで モデルを準備する ②Intel Model Optimizerを使い モデルの最適化 DeepLens側
  37. 37. Intel Model Optimizerの存在 aws_cam@Deepcam:~$ wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-symbol.json aws_cam@Deepcam:~$ wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-0000.params aws_cam@Deepcam:~$ ls -l | grep vgg16 -rw-rw-r-- 1 aws_cam aws_cam 553431792 Nov 14 2016 vgg16-0000.params -rw-rw-r-- 1 aws_cam aws_cam 16554 Nov 14 2016 vgg16-symbol.json aws_cam@Deepcam:~$ python3 /opt/intel/deeplearning_deploymenttoolkit/deployment_tools/model_optimizer/mxnet_converter/mo_mxnet_converter.py - aws_cam@Deepcam:~$ ls -l | grep vgg16 -rw-rw-r-- 1 aws_cam aws_cam 276715088 Dec 20 07:42 mxnet_vgg16_FP16_FUSED.bin -rw-rw-r-- 1 aws_cam aws_cam 22417 Dec 20 07:42 mxnet_vgg16_FP16_FUSED.xml -rw-rw-r-- 1 aws_cam aws_cam 553431792 Nov 14 2016 vgg16-0000.params -rw-rw-r-- 1 aws_cam aws_cam 16554 Nov 14 2016 vgg16-symbol.json params, jsonを用意 bin, xmlが生成される
  38. 38. ・デベロッパーにとってクラウドとかエッジとか意識しなくても使 えるようになってきている ・サンプルが豊富なので、DeepLearningに触れるには非常に良い教 材である(30分あればDeepLensのセットアップ〜デプロイまで一 通りできる) ・Inferenceの速度参考: 一般物体検知で数fps ・推論中はDeepLensが結構激アツになる DeepLensを触ってみての気づき 41 https://github.com/aws-samples/reinvent-2017-deeplens-workshop
  39. 39. ・DeepLens技適通ってないので、国内では使えません!! (今回触るときは全てUSでやりました) 注意事項 42

×