Android ThingsとKotlinで作るIoT

1. ANDROID THINGS & KOTLIN
ANDROID THINGSとKOTLINで作るIOT
2018/05/24 ワイヤレスジャパン 日本Androidの会セッション

2. 自己紹介
金田浩明（かねだひろあき）
▸ Android技術者
▸ 著書に「はじめてのAndroidプログラミング」などがある
▸ 先月発刊の第３版はKotlin対応！
Twitter:@emboss369
Facebook:hiroaki.kaneda

3. ANDROID THINGSとKOTLINで作るIOT
CONTENTS
▸ Android Thingsとは
▸ Kotlinとは
▸ Android Things ✕ Kotlin ✕ Deep Leaning
▸ テレビ漬け防止強制OFFガジェット
▸ Google Cloud IoT

4. ANDROIDTHINGS
とは
WHAT IS ANDROID
THINGS?

5. テキスト
ANDROID THINGSとは何か？
▸ AndroidをベースとしたIoT向けプラットフォーム
出典: https://androidthings.withgoogle.com/#!/

6. テキスト
ANDROID THINGSのハードウェア
▸ 生産プラットフォーム
▸ 開発プラットフォーム
出典：https://developer.android.com/things/hardware/

7. テキスト
ANDROID THINGS
▸ 特徴
▸ Android開発経験
▸ Googleが開発
▸ 周辺機器インターフェース
▸ Google連携

8. テキスト
ANDROID開発経験をそのまま活かせる
▸ Android SDKのサブセット

9. ▸ Googleが管理
▸ コンソール
▸ 自動アップデート
テキスト
カーネルやファームウェアはGOOGLEが開発
ANDROID FRAMEWORK
HARDWARE LIBRARIES
LINUX KERNEL
Googleが管理

10. テキスト
周辺機器インタフェースで機器にアクセス
▸ Peripheral I/O API
▸ GPIO/PWM/I2
C/SPI/UART
USER DRIVER
PERIPHERAL I/O
ユーザーが管理
GPIO PWM I2
C SPI UART

11. テキスト
▸ 物理ボタン → AndroidのButton

12. テキスト
GOOGLEサービスとの連携
▸ Google Play Services
▸ Firebase
▸ Google Cloud

13. テキスト
これまでのIOTデバイス
デバイス製造・OS開発
高コスト
時間がかかる
一貫性のない言語
IDE
OS
セキュリティ
問題

14. テキスト
ANDROID THINGSの特徴
Google管理Android セキュリティ＆自動化

15. IOTのアーキテクチャ
デバイスとゲートウェイ 接続 デバイスとデータ管理
サービス管理
APIゲートウエイ
外部サービス
ストレージ
クラウドストレー
ジ
データ保管
データインテグレーション
データ正規化 データ解析
解析データ
ダッシュボード管理者画面
IP利用可能
デバイス
IP利用不可
能デバイス
IOTゲート
ウェイ
プロトコルゲートウェイ
メッセージブローカー
インテグレーション
セキュリティ・ログイン・
認証・モニタリング
デバイス管理・OTA

16. KOTLINとは
WHAT IS KOTLIN?

17. テキスト
JAVAからKOTLINへ
▸ Google正式サポート
▸ Android開発も徐々にKotlinへ移行
▸ 将来的にはほぼ置き換わるかも

18. テキスト
KOTLINはどんな言語なのか？
▸ Java代替言語
▸ モダン・シンプル
▸ Java経験者にとって学習コスト小

19. テキスト
KOTLINの特徴
▸ 相互運用性
▸ 静的型付け言語
▸ オブジェクト指向
▸ 関数型プログラミング
▸ 安全
ｘ yf(x)

20. ANDROID THINGS ✕
KOTLIN ✕ DEEP
LEANING
INTEGRATION

21. ANDROID THINGSとKOTLIN
▸ Androidの知識
▸ モダンな開発環境
▸ 安全な言語

22. AI & DEEP LEANING
▸ 深層学習もできる
▸ TensorFlow Lite
▸ Edge Computing

23. クラウドコンピューティング
サーバ
負荷増大
ネットワーク
負荷増大

24. エッジコンピューティング
{person:祖父,祖母,父,母,子供}
通信量低減
サーバ負荷低減

25. テレビ漬け防止
強制OFF
ガジェット
A COUCH POTATO IS
SOMETHING
THAT I DON'T WANT TO BE.

26. テレビ漬け防止強制OFFガジェット

27. 概要
▸ 子供ごとのTV視聴時間を管理
▸ テレビは一日１時間！
▸ 超えたら強制TV OFF！

28. 構成
Cloud
Mode
Mode
{person:父}
①クラウドへ保存
②機械学習
③学習済みモデルをIoT機器に
④IoT側で判定
⑤機械学習による分類
⑥クラウドに保存 ⑦解析

29. ANDROID STUDIOでプロジェクト作成

30. ANDROID STUDIOでプロジェクト作成

31. ANDROID STUDIOでプロジェクト作成

32. ANDROID STUDIOでプロジェクト作成

33. カメラを接続する
▸ Googleのサンプルコード
▸ https://github.com/androidthings/
doorbell#trigger_an_image_capture
▸ android.hardware.camera2

34. OPENCVで顔認識
▸ サードパーティ製ライブラリもOK
▸ OpneCVの場合、Androidと全く同じ手順で導入可能

35. FIREBASEへ画像を送信
com.google.firebase.storage.StorageReference

36. TENSORFLOWで学習
▸ 集めた顔画像を学習、父、母、姉、弟を分類
▸ 転移学習(Transfer Learning)
IMAGE_SIZE=128
ARCHITECTURE="mobilenet_0.50_${IMAGE_SIZE}"
python -m scripts.retrain
--bottleneck_dir=../face/bottlenecks
--model_dir=../face/models/
--summaries_dir=../face/training_summaries/"${ARCHITECTURE}"
--output_graph=../face/model/retrained_graph.pb
--output_labels=../face/model/retrained_labels.txt
--architecture="${ARCHITECTURE}"
--image_dir=../face/faces

37. TENSORFLOW LITEへ変換
▸ コマンドでTensorFlow Liteへ変換
▸ QUANTIZED_UINT8を使うとサイズを減らせる
IMAGE_SIZE=128
toco
--input_file=../face/model/retrained_graph.pb
--output_file=../face/model/optimized_graph.lite
--input_format=TENSORFLOW_GRAPHDEF
--output_format=TFLITE
--input_shape=1,${IMAGE_SIZE},${IMAGE_SIZE},3
--input_array=input
--output_array=final_result
--inference_type=FLOAT
--input_data_type=FLOAT

38. ANDROID THINGSでTENSORFLOW LITEを使う
▸ TensorFlow Lite
▸ https://github.com/googlecodelabs/tensorflow-for-
poets-2/
▸ https://codelabs.developers.google.com/codelabs/
tensorflow-for-poets-2-tflite/#3

39. GOOGLE
CLOUD IOT
MQTT BROKER

40. GOOGLE CLOUD PLATFORM & GOOGLE CLOUD IOT
▸ IoTのためのゲートウェイ
▸ MQTT ブローカー
▸ Cloud IoTはGCPと連携
▸ 機械学習と連携

41. IOTのシステム一例
出典：https://cloud.google.com/solutions/architecture/real-time-stream-processing-iot?hl=ja

42. テキスト
IOTのアーキテクチャ
デバイスとゲートウェイ 接続 デバイスとデータ管理
サービス管理
APIゲートウエイ
外部サービス
ストレージ
クラウドストレー
ジ
データ保管
データインテグレーション
データ正規化 データ解析
解析データ
ダッシュボード管理者画面
IP利用可能
デバイス
IP利用不可
能デバイス
IOTゲート
ウェイ
プロトコルゲートウェイ
メッセージブローカー
インテグレーション
セキュリティ・ログイン・
認証・モニタリング
デバイス管理・OTA

43. ANDROID THINGSとKOTLINで作るIOT
まとめ
ANDROID THINGSとKOTLINで作るIOT
▸ Androidエコシステム
▸ GoogleがUpdate ＆セキュリティパッチ提供
▸ モダンな言語Kotlinも使える
▸ TensorFlowでDeep Leaning &エッジコンピューティング
▸ Google Cloud IoTを使えばIoT機器もクラウドIoTフレーム
ワークも一気通貫