Recommended
More Related Content
What's hot
What's hot (20)
Similar to Node-RED×Android内蔵３軸加速度センサでモーションセンシング
Similar to Node-RED×Android内蔵３軸加速度センサでモーションセンシング (20)
Node-RED×Android内蔵３軸加速度センサでモーションセンシング
- 1. 富士通株式会社 中島智弘 Node-RED× Android内蔵3軸加速度センサで モーションセンシング Copyright 2019 FUJITSU LIMITED0
- 2. 自己紹介 名前：中島 智弘 @piyonakajima Android関係の開発 ⇒製造業・Mobilityに関するIoTビジネスの企画・開発 趣味：バンド（キーボード） 、DTM Copyright 2019 FUJITSU LIMITED1
- 4. これはなんでしょう？ Copyright 2019 FUJITSU LIMITED3
- 5. これはなんでしょう？ Copyright 2019 FUJITSU LIMITED 一人１台持っている 4
- 6. これはなんでしょう？ Copyright 2019 FUJITSU LIMITED 一人１台持っている ネットにつながる 5
- 7. これはなんでしょう？ Copyright 2019 FUJITSU LIMITED 一人１台持っている ネットにつながる センサがいろいろついてる 6
- 8. これはなんでしょう？ Copyright 2017 FUJITSU LIMITED 一人１台持っている ネットにつながる センサがいろいろついてる さぁ なんでしょう？7
- 9. スマートフォン！ Copyright 2019 FUJITSU LIMITED8
- 10. スマートフォン*に入っているセンサAPIの数次のうちどれでしょう？ Copyright 2019 FUJITSU LIMITED *Zenfone Max Pro M1 Android 8.0 9
- 11. スマートフォン*に入っているセンサAPIの数次のうちどれでしょう？ Copyright 2019 FUJITSU LIMITED A. ５個 *Zenfone Max Pro M1 Android 8.0 10
- 12. スマートフォン*に入っているセンサAPIの数次のうちどれでしょう？ Copyright 2019 FUJITSU LIMITED A. ５個 B. ４１個 *Zenfone Max Pro M1 Android 8.0 11
- 13. スマートフォン*に入っているセンサAPIの数次のうちどれでしょう？ Copyright 2019 FUJITSU LIMITED A. ５個 B. ４１個 C. ８９個 *Zenfone Max Pro M1 Android 8.0 12
- 14. スマートフォン*に入っているセンサAPIの数次のうちどれでしょう？ Copyright 2017 FUJITSU LIMITED A. ５個 B. ４１個 C. ８９個 *Zenfone Max Pro M1 Android 8.0 どれでしょう？13
- 15. スマートフォン*に入っているセンサAPIの数次のうちどれでしょう？ Copyright 2019 FUJITSU LIMITED A. ５個 B. ４１個 C. ８９個 *Zenfone Max Pro M1 Android 8.0 14
- 16. 私のスマートフォンに入っているセンサAPIの数次のうちどれでしょう？ 使える生のセンサーは以下の通り。 ３軸加速度センサー 画面の自動回転や歩数計 地磁気センサー GoogleMapの方角 ３軸ジャイロセンサー ポ○モンGOのAR 近接センサー 電話中画面を消す 明るさセンサー 環境にあわせて画面の明るさを調整 他にも歩数計のようなセンサの値を計算することによって作られた仮想センサが存在 Gravity、Rotation Vector、Step Detector、Step Counter,Orientation、Significant Motion Detector、Tilt Detector、Motion Accel、Pedometer iOSも同様にセンサAPIが用意されている。 Copyright 2019 FUJITSU LIMITED B. ４１個 あくまで私の持っている端末です・・！ 機種によって違うかもです！ 15
- 17. Copyright 2019 FUJITSU LIMITED 人間の詳細な行動パターンを常時認識できたら・・・面白そう 16
- 18. Copyright 2019 FUJITSU LIMITED でも・・・Node-REDって スマホで動かせるの…？ 17
- 19. 動かせる！ Copyright 2019 FUJITSU LIMITED18
- 20. 動かせる！ ・・・Androidならね！ Copyright 2019 FUJITSU LIMITED19
- 21. Android上でNode-REDを動かす方法 Termux Android上で動作するターミナルエミュレータ。OSS。 OSSなのでカスタマイズも可能 バックグラウンド動作可。 Node.js、Node-REDもインストール可。 インストールにあたって前準備が必要。 ノードの追加も自由にできる。 2018年4月コマンドから内蔵センサの取得が可能になった。 Copyright 2019 FUJITSU LIMITED20
- 22. Android上でNode-REDを動かす方法 Termux Android上で動作するターミナルエミュレータ。OSS。 OSSなのでカスタマイズも可能 バックグラウンド動作可。 Node.js、Node-REDもインストール可。 インストールにあたって前準備が必要。 ノードの追加も自由にできる。 2018年4月コマンドから内蔵センサの取得が可能になった。 RedMobile Hiroyuki Okadaさん作のAndroidアプリ 各種センサを使うためのノードが一緒についている 予め便利なdashboardノードがインストールされている 現地点でパレットからノードの追加ができない （外部クラウドと接続するためにはhttp Requestが使える！） Copyright 2019 FUJITSU LIMITED21
- 23. Android上でNode-REDを動かす方法 Termux Android上で動作するターミナルエミュレータ。OSS。 OSSなのでカスタマイズも可能 バックグラウンド動作可。 Node.js、Node-REDもインストール可。 インストールにあたって前準備が必要。 ノードの追加も自由にできる。 2018年4月コマンドから内蔵センサの取得が可能になった。 RedMobile Hiroyuki Okadaさん作のAndroidアプリ 各種センサを使うためのノードが一緒についている 予め便利なdashboardノードがインストールされている 現地点でパレットからノードの追加ができない （外部クラウドと接続するためにはhttp Requestが使える！） 他にもあるかも. 今回はTermuxを使って動かす例を紹介 Copyright 2019 FUJITSU LIMITED今回はTermuxを使って動かしてみます22
- 24. 使う手順について１ スマホにてPlay StoreからTermuxアプリをインストール https://play.google.com/store/apps/details?id=com.termux&hl=en_GB Termux APIアプリをインストール https://play.google.com/store/apps/details?id=com.termux.api Termuxアプリを起動。以下のコマンドを実施（公式サイトより https://nodered.jp ) Copyright 2019 FUJITSU LIMITED $apt update $apt upgrade $apt install coreutils nano nodejs $npm i –g –unsafe-perm node-red node-red $apt install termux-api 23
- 25. 使う手順について２ 名前を事前調査(termux-sensor –l) 「BMI160 Accelerometer」が」加速度センサの名前！ 名前を使ってコマンドを作成 Copyright 2019 FUJITSU LIMITED $ termux-sensor –s “BMI160 Accelerometer” –d 1000 センサの名前 周期(ms) {"x":0.324798583984375, "y":4.1605987548828125, “z”:8.741104125976562}, {“x”:-0.39825439453125, “y”:4.2132720947265625, “z”:8.624588012695312}, {"x":0.324798583984375, "y":4.1605987548828125, “z”:8.741104125976562}・・・・ センサの生値がJSONにてズラズラっと出てくる 24
- 26. 使う手順について３ Node-REDを実行する スマホをWiFiに繋ぎ、同じWiFi環境にいるパソコンから「http://スマホのIPアドレス:1880」へアクセ スしフローを編集する （スマホからlocalhost:1880にアクセスしてもNode-REDの画面へ辿り着けるが使いにくい） Copyright 2019 FUJITSU LIMITED $ node-red http://スマホのIP:1880/ 25
- 27. WAKE LOCK Copyright 2019 FUJITSU LIMITED フローを作成しデプロイ後、WAKE LOCKを確保する （画面が消えたときも動かし続けるため） 26
- 28. 作ったフローがこちら！ Copyright 2019 FUJITSU LIMITED コマンドNode センサを１秒おきに取得 String⇒JSON化 ChangeNode 三軸加速度のみ抽出 クラウドに送信 FunctionNode クラウドのI/Fにあうよう整形 27
- 29. 作ったフローがこちら！ Copyright 2019 FUJITSU LIMITED execノード センサを１秒おきに取得 String⇒JSON化 ChangeNode 三軸加速度のみ抽出 クラウドに送信 FunctionNode クラウドのI/Fにあうよう整形 execノード使って力技で実装！！ 28
- 30. 解析してみた結果！ 収集したデータをMongoDBへ登録、OSSのBIツール「Metabase」にて全部可視化 Copyright 2017 FUJITSU LIMITED ３軸加速度センサ(X,Y,Z) をそれぞれ時系列グラフ化 29
- 31. 解析してみた結果！ 収集したデータをMongoDBへ登録、OSSのBIツール「Metabase」にて全部可視化 Copyright 2017 FUJITSU LIMITED ３軸加速度センサ(X,Y,Z) をそれぞれ時系列グラフ化 移動していた 机に座っていた 30
- 32. 解析してみた結果！ 収集したデータをMongoDBへ登録、OSSのBIツール「Metabase」にて全部可視化 Copyright 2017 FUJITSU LIMITED ３軸加速度センサ(X,Y,Z) をそれぞれ時系列グラフ化 移動していた 机に座っていた これなら人間の行動パターンを認識できるかも！？31
- 34. 実証してみました 通勤途中スマホを見ている時の首の角度を計算してみる ３軸加速度センサ⇒端末の角度を計算 Copyright 2019 FUJITSU LIMITED pitch ３軸加速度センサから pitch角を計算 33
- 35. 実証してみました 通勤途中スマホを見ている時の首の角度を計算してみる ３軸加速度センサ⇒端末の角度を計算⇒端末の角度から首の角度を推定 Copyright 2019 FUJITSU LIMITED pitch θ ３軸加速度センサから pitch角を計算 首の傾き θ≒90°-pitch 34
- 36. 実証してみました pitch/roll は三軸加速度センサの生値を使って以下の計算式で計算可能 𝑟𝑜𝑙𝑙 = −𝑡𝑎𝑛−1 𝑎 𝑥 𝑎 𝑦 2 + 𝑎 𝑧 2 𝑝𝑖𝑡𝑐ℎ = −𝑡𝑎𝑛−1 𝑎 𝑦 𝑎 𝑧 Copyright 2019 FUJITSU LIMITED ※どちらも単位はradian 35
- 37. Copyright 2019 FUJITSU LIMITED (UTCです) 36
- 38. Copyright 2019 FUJITSU LIMITED37
- 39. うつむいてのスマホ操作で背骨には30キロ近い負担がある 首の角度が0度だと、首にかかる重さは約4.5～5.5キロ 首の角度が15度だと、首にかかる重さは約12キロ 首の角度が30度だと、首にかかる重さは約18キロ 首の角度が45度だと、首にかかる重さは約22キロ 首の角度が60度だと、首にかかる重さは約27キロ https://www.lifehacker.jp/2014/12/141208smartphone_bone.html より Copyright 2019 FUJITSU LIMITED 思った以上に負担かかってそう… 新生児約７人分！！ 38
- 40. Termux使う上で気をつけたこと 注意！フローを複数回デプロイするとセンサ値が返ってこないことが… ⇒事前にフローを作って起動後１回だけデプロイすることで回避。。 必要！プロセスを動かし続けるにはWAKE LOCKの獲得が必須 WAKE LOCK（＝CPUを寝かさない）を獲得しておかないと、センサ取得プロセスが殺されてしまう 気になるバッテリー消費はやや増加 通常時：100⇒40% センサ利用時：100⇒25% ぐらい 今回の利用シーンでは普段の利用にも影響せず あんまり重い処理やらせると影響あるかも…？ Copyright 2019 FUJITSU LIMITED39
- 41. ちなみに画面の自動回転ってありますよね Copyright 2019 FUJITSU LIMITED40
- 42. 画面の自動回転 加速度センサはどれぐらいの頻度で動いているでしょうか？ Copyright 2019 FUJITSU LIMITED A. １秒に１回 B.300ミリ秒に１回 C. 60ミリ秒に１回 41
- 43. 画面の自動回転 加速度センサはどれぐらいの頻度で動いているでしょうか？ Copyright 2017 FUJITSU LIMITED A. １秒に１回 B.300ミリ秒に１回 C. 60ミリ秒に１回 どれでしょう？42
- 44. Copyright 2019 FUJITSU LIMITED A. １秒に１回 B.300ミリ秒に１回 C. 60ミリ秒に１回 画面の自動回転 加速度センサはどれぐらいの頻度で動いているでしょうか？ 43
- 45. Copyright 2017 FUJITSU LIMITED A. １秒に１回 B.300ミリ秒に１回 C. 60ミリ秒に１回 AndroidOSのソースコードに記載あり /frameworks/base/services/core/java/com/android/server/policy/WindowOrientationListener.java 画面の自動回転 加速度センサはどれぐらいの頻度で動いているでしょうか？ 44
- 46. Copyright 2017 FUJITSU LIMITED A. １秒に１回 B.300ミリ秒に１回 C. 60ミリ秒に１回 AndroidOSのソースコードに記載あり /frameworks/base/services/core/java/com/android/server/policy/WindowOrientationListener.java 細かい動作を判定するためには それなりの精度が必要。 画面の自動回転 加速度センサはどれぐらいの頻度で動いているでしょうか？ 45
- 47. わかったこと ちなみに・・・ 100ミリ秒毎に４１API全部叩くと、 １時間に発生するデータは約100MB １日で2590MB １ヶ月で70GBぐらい・・・ Copyright 2019 FUJITSU LIMITED46
- 48. わかったこと ちなみに・・・ 100ミリ秒毎に４１API全部叩くと、 １時間に発生するデータは約100MB １日で2590MB １ヶ月で70GBぐらい・・・ Copyright 2019 FUJITSU LIMITED どうやってあつめて分析しよう・・・？ 47
- 49. わかったこと ちなみに・・・ 100ミリ秒毎に４１API全部叩くと、 １時間に発生するデータは約100MB １日で2590MB １ヶ月で70GBぐらい・・・ Copyright 2019 FUJITSU LIMITED どうやってあつめて分析しよう・・・？ 考え中 48
- 51. Copyright 2017 FUJITSU LIMITED