Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

SensorBeeでChainerをプラグインとして使う

機械学習+IoTなストリームエンジン、SensorBeeがOSSとして公開されました。そのSensorBeeとChainerを連携させるデモです。

  • Login to see the comments

SensorBeeでChainerをプラグインとして使う

  1. 1. SensorBeeでChainerを ライブラリとして使う Chainer Meetup #02 @disktnk 2016/03/19
  2. 2. 自己紹介  田中大輔 (@disktnk) – 某ピー社 エンジニア – アニオタ枠採用 – Chainer開発者では*ない* – 元金融工学ライブラリ屋さん – I love Java! 2
  3. 3. (特に) ネットワークのエッジ / フォグにおいて ストリームデータに対して 機械学習 (特にDeep Learning) を利用した 非構造化データ向けのETLを 低レイテンシで適用することを目的としたツール Stream Processing Engine for IoT http://sensorbee.io 3
  4. 4. 参考: SensorBeeの特徴  Stateful – 非構造化データの加工・転送を担う – プラグインと連携することにより、特徴量抽出や機械学習が可能。  Expressive – CQL (Continuous Query Language) の方言である BQL という、SQLライクなスク リプトにより操作。 – スキーマレスであり、JSONライクな構造データを扱う  Lightweight – Go言語で実装。実行ファイルは大体30MBくらい。 – OS は特に限定していないが、普段は Linux や Mac で開発している – Raspberry Pi でも動く (確認済) – Windows でももちろん動くが、一部ブラグインでは要修正 (cgo周り) 4
  5. 5. ユースケース: カメラからの顔認識  OpenCV の CascadeClassifier を使用した顔認識 – Haar-like、LBPなどのアルゴリズムを使用可能 5 ここで顔認識を行う →x,y,w,h を出力するUDF カメラのフレームデータ を取得するSource
  6. 6. ユースケース: カメラからの顔認識  OpenCV の VideoWriter を使用して動画にまとめる 6 x,y,w,h を元に枠で囲 むUDF 動画ファイル を作るSink
  7. 7. ユースケース: ラブライブOP (第1期) と顔認識 7 ultraist様のLBPモデルを使用 http://ultraist.hatenablog.com/entry/20110718/1310965532
  8. 8. Chainerと組み合わせる 8
  9. 9. 顔の識別したい  Chainerの出番 9 誰なのか知りたい
  10. 10. Illustration2vec  Illustration2vec – http://illustration2vec.net – イラストのキャラ属性を特定するNN。VGGよりも精度が高い。 – 学習済のモデル (caffe model) まで配布されていて至れり尽くせり – ただし今回、学習モデルは自分で作った。アニメOPから切り取った顔だと特定で きなかったので。。。  ImageNet でも十分な精度は得られるかも – ディープラーニングでおそ松さんの六つ子は見分けられるのか 〜実施編〜 http://bohemia.hatenablog.com/entry/2015/11/22/174603 10
  11. 11. SensorBee から python を呼び出す  sensorbee/pymlstate – 機械学習に特化した python バインドプラグイン 11
  12. 12. SensorBee から python を呼び出す  sensorbee/pymlstate – 機械学習に特化した python バインドプラグイン 12
  13. 13. 参考: SensorBeeとPythonのリンク  cgoを使ってPython.hとリンク – pkg-configを前提としている – windowsで動かすためにはちょっと修正が必要  Pythonの基本型とSensorBeeのdata.Typeとを自動でConvert – numpy系の型は手動で基本型へ変える  PFN社内では多数実績あり – インターフェースはまだ検討中、そのため version 0 13
  14. 14. ラブライブOP (第1期) でやってみた 14
  15. 15. おまけ: 顔認識からの 15
  16. 16. おまけ: 顔認識からの笑い男  全ハッカーの憧れ 16 x,y,w,h を元に画像を貼るUDF
  17. 17. おまけ: ラブライブOP (第1期) と笑い男 17
  18. 18. Autonomous robot car control demonstration in CES2016  https://www.youtube.com/watch?v=7A9UwxvgcV0 – こちらはちゃんとした実用例、バックエンドにSensorBeeを使用 18
  19. 19. ぜひ使ってみてください!  http://sensorbee.io  http://docs.sensorbee.io/en/latest/  https://github.com/sensorbee/sensorbee  ChainerのMNISTサンプルをSensorBeeから動かす https://github.com/sensorbee/pymlstate/tree/master/example/mnist  今回のデモ動画: https://github.com/disktnk/sb_facedetect_demo 19

×