SORACOM UG Tokyo #14 SORACOM S+Cameraを利用して在庫チェックをやってみた

1. 1Copyright © Acroquest Technology Co., Ltd. All rights reserved.
SORACOM S+ Camera
を利⽤して
在庫チェックをやってみた
2020/02/04
Acroquest Technology Co., Ltd.
鈴⽊ 貴典
SORACOM UG #14

2. Copyright © Acroquest Technology Co., Ltd. All rights reserved.
2
⾃⼰紹介
n 所属
• Acroquest Technology Co., Ltd.
n 主な業務分野
• システムアーキテクト
• IoTサービス開発
• ビッグデータ処理プラットフォーム
• サーバーレス・アーキテクチャ
n バックグラウンド
• エンタープライズ／ミッションクリティカル
• SEPG／開発／マネジメント
• Java／Python
鈴⽊ 貴典
シニアテクニカルアーキテクト
Acro = 先端を
quest = 探究する

3. Acroquestのミッション・ビジョン
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3
テクノロジストチームとして
ビジネスの⾰新的価値創出に挑戦する
ビジョン
Acroquestの創り出す技術で
地球を感動で進化させる
ミッション

4. TorrentioVideo
産業向け
映像・動画解析
AIソリューション
S+ Camera
AI パートナー

5. 在庫チェックの⼤変さ
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5
① その場に⾏かないと分からない
→⼈の時間が取られる
② 商品が⽋品になるとクレームになる
→顧客満⾜度の低下になる
③ スペースを有効活⽤したい
→空き状況を把握する必要あり

6. 画像解析を利⽤した在庫チェック
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
6
① ⾒た⽬の内容で
チェックができる
② 常に最新の情報を
得ることができる
③ ハンディ―ターミナル
等の⾼価な設備投資が
不要である
Pros.
① 在庫といっても対象の
モノのカタチは様々
② 通信⼿段（ネット
ワーク）の確保が
難しい場合がある
③ 倉庫などの場所が
離れている
Cons.

7. モチベーション
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
7
S+ Camera を利⽤すれば解決できることが多いのでは︖
① 簡単に設置したい
② リモートからコントール
できるようにしたい
③ 固定アルゴリズムではなく
お客様や⽬的に応じて
処理内容を変更したい
※回転／⾓度の調整は⼿動です。

8. パンの品切れチェックに活かしてみた
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
8
① フロアが違ったり、席が遠かったりすると
その場まで⾏って商品が無かったときの
ガッカリ感が強い
② パンの仕⼊れ担当としても
常に残数を気にしてられない
これまでの課題

9. パン品切れチェックの構成
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9
事前準備 稼働時の動作
• パンの物体検出のためのモデルを
TorrentioVideoで作成
（今回はTensorFlowを利⽤）
• S＋ Camera上で
エッジ処理が動作するように
TorrentioVideo（エッジモジュール）
をインストール
• モデルのデプロイ
• 定期的なカメラ画像の撮影
• パンが無くなったときの
検知と通知

10. モデル⽣成とエッジ処理の検証
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10
②撮影した画像を
Harvest Files にUP
④⽣成したモデルを
S＋ Cameraにデプロイ
Harvest
Napter
①画像を撮影 ③撮影した画像を使って
学習＋モデル⽣成
⑤エッジAIの処理を
検証
Mosaic

11. モデル⽣成とエッジ処理の検証
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11
②撮影した画像を
Harvest Files にUP
④⽣成したモデルを
S＋ Cameraにデプロイ
Harvest
Napter
①画像を撮影 ③撮影した画像を使って
学習＋モデル⽣成
⑤エッジAIの処理を
検証
Mosaic
検証のサイクルを
素早く回せる

12. パン品切れチェックIoTが完成︕
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12
• パンの種類まで学習させるのは
商品⼊れ替え時の⼿間が⼤きくかかるので
キャビネット中の位置で種類を判定する
ようにした。
• 解析した画像を、定期的に Harvest Files に
アップし、状況を確認できるようにした。
• ⽋品になったときは、MS Teams に通知する。

13. 今回の構築でハマったポイント
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13
①Mosaic上にPythonパッケージを
pipインストールすることが
できなかった（scikit-learnなど）
α版のInventoryAgent を提供して
頂き、無事にインストール成功。
解決
②デプロイに失敗する問題が発⽣
（デプロイ⽤シェルが毎回エラー）
デプロイサイズが⼤き過ぎた様⼦。
Napterを使って、SCPで直接
S+Cameraにデプロイした。
解決
③カメラで取得した画像に
⾚みがかかった状態になる
カメラ⾃体に⾚外線遮断フィルタ
がないため、そのようになる様⼦。
※暗い場所でも撮影しやすいカメラを利⽤
しているそうです。
解決

14. S＋ Cameraを使って良かったこと
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
14
エッジ＋カメラ＋電源がひとつに
まとまっているのでが簡単
リモートからデプロイできるので
学習⇔検証のサイクルが早い
• SIMを挿して電源を繋げば
すぐに開始できる
• SORACOM Mosaic上で
画像の撮影も簡単にできる
• リモートからでもPoCが可能
• Harvest Filesとの連係は便利
セキュリティ的にも安⼼
• デプロイするのに
外部からの接続ポートを空けて
おかなくても良い

15. 今後やりたいこと
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
15
現状の
Raspberry Pi3ベースだと
リアルタイムでの解析性能は
3〜4FPSぐらいが限界
※カメラ⾃体のフレームレートは
30〜90FPS
S＋ Camera
Raspberry Pi4版
（USB3.0）
Coral Accelerator
Edge TPU
＋
リアルタイムでの
映像解析にチャレンジ︕
⾼速に動く対象を
解析するのは難しい

16. おまけ – AI猫カメラ
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
16
Interfaceにて連載（CQ出版社, 2018年）
• Raspberry Pi を使って
猫を検知
• 猫カフェにカメラを設置し、
⽇常の様⼦をSNSでファン
に発信
• 猫がカメラフレーム内に
いるときだけ撮影・通知
• ⼈が映り込んでいるとき
には “あえて” 通知を
しないようにしている
（プライバシー保護）

17. Evolve the Earth with Emotion of Technology
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
17
ご清聴ありがとうございました。