M5Stackユーザーミーティング金沢 x Marker's Night 58 M5StickC M5StickVを使った簡易監視装置を作ってみる

1. http://www.ashinari.com/2009/09/30-029113.php
M5Stackユーザーミーティング金沢×Maker's Night 58
『M5StickC/Vを使った簡易監視装置を作ってみる』
tomit3
注意
本資料に使われている文献、図は勉強会及び教育目的のために引用しています。
引用されている文献の内容、図は著作者に帰属します。
2020/01/31 新規作成
2020/02/04 加筆修正

2. 自己紹介
• @tomit3
– 普段はソフト屋
• 金沢⇔関東を転勤等で数往復
– ソフト/ハードに限らずモノづくりを楽しむ
• 昨年はNT金沢/加賀/鯖江/札幌、MarkerFaireTokyo 出展
• こんなの作っています/した↓
https://github.com/tomitomi3
– 金沢人工知能勉強会を定期開催
• 機械学習、人工知能に興味がある方はぜひ
• https://kaim.connpass.com/

3. 私とM5シリーズ
• 数か月前に最近入手
– 今まではArduinoを使ったモノづくりが多かった
• 2019/7 M5StickV（初のM5シリーズ入手）
– M5StickV いろいろ衝撃
• 言語がPython、K210マイコンの採用、カメラ、LCD、
各種センサをコンパクトに、USB-TypeC等 センス○
• 2019/11 M5Stack
– Web x IoTチャレンジというハッカソンに参加
• 手軽な開発環境（UI Flow）に驚き。
モジュールの接続、簡単にIoTなものを実現にも驚き

4. M5StickV
(K210)
FL232HL
(FT2232H)
システム構成 PC<->K210
PC
M5StickV
(K210)
FL232HL
USB Typec
(UART 0)
Groove
(UART1割り当て)
USB(COM)
PC K210
データ加工
データ送信
(UART1)
→ データ受信
(UART1)
(データ加工)
KPU推論
結果受信
(UART1)
← 結果送信
(UART1)
USB TypeC :電源供給、書き込み
USB(COM) :USB-UART変換チップ
Groove :PCとのデータ送受信
ソースコード及びファームウェアは下記
https://github.com/tomitomi3/DNN-Accelerator-using-K210
M5StickVでDNNアクセラレータ（とした試み）
@第14回 KAIM 金沢人工知能勉強会 M5StickV(K210)をDNNアクセラレータとして使おうと した試み より
https://www.slideshare.net/tomit3/m5stickvk210dnn
PC＋制御ソフト
※UART通信＋画像送信

5. 参考）K210の処理性能
• x86/64のCPUとK210の処理性能の比較
– Core i5 6300U(Skylake) @ 2.4GHz
• 16 Flops/Hz[1] x 2.4 GHz x 2 core = 76.8 GFlops
– 2コア、AVXによる浮動小数点の乗算として計算
– K210 @ 400Mhz
• 0.25 TOPS = 250 GOPS[2]
– 77GFlops vs 250GOPS
• 一概に比較できない（命令アーキテクチャの違い、単位
の相違）がK210上で動作するモデルならK210の方が早
いのでは・・・
[1]FLOPS : https://ja.wikipedia.org/wiki/FLOPS ※Haswellコア以降なので16Flopsとして計算
[2]Maixのクラウドファンディング : https://www.indiegogo.com/projects/sipeed-maix-the-world-first-risc-v-64-ai-module#/

6. ↓完成品
M5SackGO＋各種センサで構成
他人が起こしてくれる目覚まし時計
@Web x IoTメイカーズチャレンジ2019-20 in 石川

7. M5StickVをカメラの三脚、
アルミフレームに取り付ける部品
@NT加賀2019

8. M5シリーズを開発するときは
PlatformIOがおすすめ

9. 今回こんなのを作りました
Line notify
顔認識
M5StickV M5StickC

10. M5StickV
• 製品
– Kendryte社が「K210」を開発
• RISC-Vアーキテクチャ
• DNNをHW処理するNeural Processig UnitであるKPU搭載
– SiPEED社がK210をモジュール化した「M1 AI Module」
を開発
• ファームウェアとなる「MaixPy」[1]を開発
– FreeRTOSで動作。microPython(+OpenMV?)をポーティング。
– M5STACK社が上記のK210（+MaixPy）とLCDとカメラ
等を組み合わせ使いやすくしたHW（センス〇）
[1]MaixPy https://github.com/sipeed/MaixPy

11. きっかけ
• 誰か来たかを通知するデバイスが欲しい
（家のインターフォンにカメラが無い）
– ドアののぞき穴にカメラを付けてみようと思ったが
そもそもドアに「穴」だけ開いている事に気づく。
（レンズが無いことに最近気づいた）
– 顔認識が出来るなら顔認識をトリガーに
監視装置が出来ないか？
– 据え置き型の監視装置を作ってみた

12. システム構成
• HW構成
– M5StickV<->M5StickCをGroveコネクタで接続
• M5StickVはカメラ撮影、顔認識
• M5StickCはネットワーク（Lineへの通知）
– 接続
• Grove端子 5V以外を結線
– AXP192 EXTENは使わない
(ONの場合は5V、OFFの場合はBAT電圧出力。INとはならない)

13. システム構成
• 機能構成
– デフォルトの顔認識モデルにより顔認識
– 顔認識をトリガーに、撮影画像をUARTによりM5StickCに送信
• 320x240->160x120にリサイズ、 jpegに圧縮
– UARTで受信したJPEG画像を送信、Line notifyによりLINEへ
– 連続送信を回避するため直近10秒の送信が無ければ送信
• ソースコード
– https://github.com/tomitomi3/SimpleHomeSurveillanceWithM5StickCV
– M5StickVはMaixPyIDE, M5StickCはPlatformIOで作成
– 先人に感謝
– ano研さんのコードで簡単に作ることが出来ました
• https://gist.github.com/anoken
• https://github.com/anoken/purin_wo_mimamoru_gijutsu/blob/master/2_6_M
5Camera_Send_LineNotify/2_6_M5Camera_Send_LineNotify.ino

14. 完成品（少し改良）

15. I/Oが少ないM5StickV 使えるIF
• GPIOは2本
• M5StickVで使用可能なIFと転送速度
– UART
• UART0 : High Speed UART[1] UART0は予約済（REPLで使
用）[1]
• UART1～2 : Baud rate up to 5Mbps ※ 625 kB/s ほんと？
– I2C Fast mode (<= 400Kb/s)
• マイコン、センサー間のIF。プロトコル作成が面倒そう。
– SPI 15Mbps～（？）（外に出ていない）
– 今後Wifiも。802.11n相当?
• M5StickCを仲介する構成は今後も続きそう
[1]UART : https://github.com/loboris/MicroPython_K210_LoBo/wiki/uart
[2]DataSheet : https://github.com/kendryte/kendryte-doc-datasheet/blob/master/en/003.md

16. まとめ
• M5StickV,M5StickCを用いること簡易の監視
装置を作ることが出来た。
• 各種センサーとの組み合わせ、モデルの改
善でさらなる改良が見込める。