Download as PDF, PPTX
Uploaded byKazuhiro Sasao
3000円のエッジデバイス内で画像の学習と推論を行うBrownie(ぶらうにー)の話
2020/1/19 第56回 コンピュータビジョン勉強会＠関東 の発表資料です。
3000円のエッジデバイス内で画像の学習と推論を行うBrownie(ぶらうにー)の話
- 1.
- 2. 【宣伝】ごちうサーチが最新作に対応しました (2020/1/7更新) 「ごちうサーチ」で検索 • 2019年1月施行の改正著作権法で明確に合法 になりました • MicrosoftStore でも配信を開始しました • Amazon prime / dアニメストアに対応しました • Dear My Sister / Sing For You も検索できます • もちろん無料です • 広告もありません アプリのほか、アルゴリズム詳細、ソースコード(GitHub)なども 公開しています
- 3.
- 4.
- 5.
- 6.
- 7. 画像認識した結果を様々なデバイスで使えます (Windows/Mac/Linux/RaspberryPi/Arduinoに対応) • Windows バイナリ版 •Node.js 版 があります。 https://github.com/ksasao/brownie
- 8.
- 9.
- 10. M5StickV • Kendryte K210 •RISC-V プロセッサ (64bit x 2) • KPU (0.8TOPS) • 液晶モニタ (240x135px) • LED(RGBW) • スピーカー • ジャイロ・加速度センサ • TFカードスロット (microSD) •3000円
- 11. Canaan Creative社 KendryteK210 https://kendryte.com/
- 12. 開発 • MaixPy (micropythonベース, NumPyなどは使えない) • カメラなどが簡単に使える。Tiny YOLO 向けの API あり • 統合開発環境 MaixPy IDE (Sipeed社製)
- 13.
- 14.
- 15.
- 16. どうやって学習するか • MaixPy では重みの更新はできない •NumPy, SciPy が使えない • アルゴリズムを手書きすると実行速度が遅い • ネイティブコードのモジュールを読み込む機能は(現在は)ない MobileNet を特徴抽出器として利用して k-NN (k近傍法) で推論
- 17.
- 18.
- 19. k-NN (k-Nearest Neighbor)を利用した オフライン転移学習 https://twitter.com/ksasao/status/1161978500091301893 入力 画像 特徴 抽出層 全結合 層 MobileNet v1 SoftMax 認識結果 １０００クラス
- 20. k-NN (k-Nearest Neighbor)を利用した オフライン転移学習 https://twitter.com/ksasao/status/1161978500091301893 入力 画像 特徴 抽出層 全結合 層 MobileNet v1 SoftMax 認識結果 １０００クラス kpu.set_layers(task,29) 29層目まで計算した結果を取り出す
- 21. k-NN (k-Nearest Neighbor)を利用した オフライン転移学習 https://twitter.com/ksasao/status/1161978500091301893 入力 画像 特徴 抽出層 特徴抽出層の出力 (768次元ベクトル) を保存 学習時 グー チョキ パー 768次元ベクトルを可視化 1x768
- 22. k-NN (k-Nearest Neighbor)を利用した オフライン転移学習 https://twitter.com/ksasao/status/1161978500091301893 入力 画像 特徴 抽出層 学習した特徴ベクトル群と 入力画像の特徴ベクトルの ユークリッド距離をもとめ 最も近いものを返す (k=1) 推論時 グー チョキ パー 768次元ベクトルを可視化 1x768
- 23. k-NN (k-Nearest Neighbor)を利用した オフライン転移学習 https://twitter.com/ksasao/status/1161978500091301893 入力 画像 特徴 抽出層 全結合 層 MobileNet v1 SoftMax k-NNの 距離に 応じて 結果を 選択 学習済みの結果との同時利用も可能 k-NN
- 24.
- 25. k-NN (k-Nearest Neighbor)を利用した オフライン転移学習 https://twitter.com/ksasao/status/1161978500091301893 良い点 • 学習にかかる時間がほぼゼロ （特徴ベクトルを保存するだけ） • １枚学習するだけでも動く • 学習・推論が素早く試せる 悪い点 • 汎化性能が低い（今回の用途では十分）
- 26. 応用 • 既存のセンサを置き換えられる • ドア開閉センサ(磁気センサ) • お風呂センサ (水位センサ) • ボスが来たセンサ (光センサなど) • 盗難センサ (重量センサなど) • … • 人間がパッと見てわかる程度の違いがあればわりと認識可能 • 部屋の散らかり具合 • … M5StickVの 画像認識で 置き換え
- 27.
- 28. もちろん自分でモデルを作ることも可能 Keras (*.h5) TensorFlow Lite(*.tflite) tflite_convert KPU (*.kmodel) NNCase (ncc) • 最終的なモデルサイズで 2.5MB 程度が上限値 • サポートしている Operator に制約があるので注意 https://github.com/kendryte/nncase
- 29.
- 30.
- 31. M5StickV を始める前に • 動作確認済みmicroSD カードを入手 認識しない カードがかなり多い
- 32. M5StickV が届いたら • M5StickVQuick Start からファームウェアを最新に https://docs.m5stack.com/#/en/quick_start/m5stickv/m5stickv_quick_start
- 33. Browine https://github.com/ksasao/brownie Tiny YOLO v2face detection + Tiny YOLO v2 object detection (20-class) MobileNet v1 (1000-class) MobileNet v1 (feature extraction) + k-Nearest Neighbor (offline training) Brownie Brownie 1000 Brownie Learn
- 34. まとめ • M5StickV は安価でプログラミングが可能なAIカメラ •MobileNet を特徴抽出器として利用した場合の素性は 意外に良好 • 既存センサの置き換えにもつかえそう ミクミンＰ @ksasaohttps://github.com/ksasao/brownie