機械学習は、組み込み機器や IoT デバイスを含む、あらゆる計算機のプログラミング方法を変える技術です。人手によるプログラムより効率的に、IoT デバイスが集めたデータから重要な「知識」を抽出できます。このセッションでは、2 つのケースを紹介します。まず「じゃんけんマシン」では、TensorFlow による簡単な機械学習モデルで動く「賢い」Arduino デバイスを紹介します。次に「Smart Shopping Navigator」では、Google の Cloud IoT Core とディープラーニングモデルを使い、カート内の品物を検知して次に買うべき品物を提案する RasPi デバイスを解説。高速な推論を可能にする Edge TPU のデモも紹介します。

1. Cloud Onr
Cloud OnAir
Cloud OnAir
「じゃんけんマシン」で学ぶ
機械学習とスマート IoT
2018 年 12 月 6 日 放送

2. 写真を配置後
角丸六角形くり抜きの図形を
被せてください
https://goo.gl/NcsiAz
Speaker
Cloud OnAir
佐藤一憲
グーグル合同会社
デベロッパーアドボケイト

3. Cloud OnAir
1. じゃんけんマシンのグローブを作る
2. 機械学習でスマートなじゃんけん判定
3. TensorFlow で機械学習
4. 機械学習でじゃんけん
5. よりディープな機械学習：画像認識と IoT
6. 機械学習でつくるスマートなショッピングカート
Agenda

5. Cloud OnAir
Cloud OnAir
じゃんけんマシンのグローブを作る

6. littleBits の曲げセンサーモジュール

8. littleBits の Arduino とサーボモジュール

10. センサーの値を読む Arduino コードを書く

11. Cloud OnAir
Cloud OnAir
機械学習でスマートな
じゃんけん判定

12. じゃんけんの手の判定方法
● all numbers < 100 → paper
● all numbers > 300 → rock
● Otherwise → scissors
柔軟で堅牢と言えるか？

14. 曲げセンサーのデータを可視化
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
fig = plt.figure()
ax = Axes3D(fig)
ax.scatter(g_data[:,0], g_data[:,1],
g_data[:,2], c=g_label)
plt.show()

15. 1D から 1D への線形変換

16. 3D から 3D への線形変換

17. センサーデータからグーチョキパーへの線形変換

18. 「肝心なところ」をコンピュータにまかせる
最適なパラメータを
コンピュータが探す

19. Cloud OnAir
Cloud OnAir
TensorFlow で機械学習

20. TensorFlow とは
機械学習開発のためのオープンソースツール
tensorflow.org にて 2015 年 11 月から公開
Google Brain チームが開発
Google における機械学習開発の標準

21. TensorFlow で線形モデルを書く
import tensorflow as tf
weights = tf.Variable(tf.zeros([3, 3]), dtype=tf.float32)
biases = tf.Variable(tf.zeros([3]), dtype=tf.float32)
glove_data = tf.placeholder(tf.float32)
rps_data = tf.matmul(glove_data, weights) + biases
"logits"

22. 損失関数：学習の「コーチ」
rps_labels = tf.placeholder(tf.float32)
loss = tf.losses.softmax_cross_entropy(onehot_labels=rps_labels,
logits=rps_data)
Loss func = Softmax + Cross entropy
error between the logit and ground truth
rps_labels holds the ground truth

23. ソフトマックス関数の働き
ロジット値を確率（0.0〜1.0）に変換

24. クロスエントロピー関数の働き
ソフトマックスで計算した確率と
正解の差を返す

25. 線形モデル ＋ ソフトマックス ＋ クロスエントロピー
＝ 多クラスロジスティック回帰
rps_labels = tf.placeholder(tf.float32)
loss = tf.losses.softmax_cross_entropy(onehot_labels=rps_labels,
logits=rps_data)

26. # define an optimizer
optimizer =
tf.train.GradientDescentOptimizer(learning_rate=
1).minimize(loss)
# create a Session
sess = tf.Session()
initializer = tf.global_variables_initializer()
sess.run(initializer)
# train the model
for i in range(10000):
sess.run(optimizer, {glove_data: g_data,
rps_labels: g_label})

27. Cloud OnAir
Cloud OnAir
機械学習でじゃんけん

28. 結果：グーチョキパーそれぞれの確率

29. Arduino コードで機械学習モデルを利用
float weights[3][3] = {
{3.007032,-9.370312,6.363242},
{10.726093,-0.494137,-10.231989},
{3.132884,-6.927588,3.794688},
};
// sensor -> rps transformation
float lg[3];
lg[0] = (d[0] * weights[0][0]) + (d[1] * weights[1][0]) + (d[2] * weights[2][0]) + biases[0];
lg[1] = (d[0] * weights[0][1]) + (d[1] * weights[1][1]) + (d[2] * weights[2][1]) + biases[1];
lg[2] = (d[0] * weights[0][2]) + (d[1] * weights[1][2]) + (d[2] * weights[2][2]) + biases[2];
// control servo
if (lg[0] > lg[1] && lg[0] > lg[2]) {
analogWrite(5, 190); // rock -> paper
} else if (lg[1] > lg[0] && lg[1] > lg[2]) {
analogWrite(5, 127); // paper -> scissors
} else {
analogWrite(5, 50); // scissors -> rock
}

31. Cloud OnAir
Cloud OnAir
よりディープな機械学習：画像認識と IoT

32. Strawberry: 95%
Strawberry: 82%
TensorFlow
Object Detection API

33. import tensorflow as tf
...downloading Object Detection API model file...
output_dict = sess.run(tensor_dict,
feed_dict={image_tensor: image})
検出用 Tensor
画像データ

34. output_dict['num_detections']
output_dict['detection_classes']
output_dict['detection_boxes']
output_dict['detection_scores']
検出結果

36. Google Cloud IoT Core

37. クラウドで
データ分析
クラウドで
データ収集
IoT 機器で
データ採取
Kubernetes

39. Cloud OnAir
デモ :
TensorFlow で物体検知
デモ

41. Cloud OnAir
Cloud OnAir
機械学習でつくる
スマートなショッピングカート

42. 集合知

43. Smart Shopping Navigator

44. 🍎
🍌
🍅
🍆
🍇
🍖
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
1.0
0.0
0.0
0.0
🍅
0.0
0.0
1.0
1.0
0.0
0.0
🍅🍆
0.0
0.0
1.0
1.0
0.0
1.0
🍅🍆🍖
カート
アイテム
カート履歴
SHOPPING_ITEMS = ["onion", "tomato", "potato", … ]
items_table = tf.contrib.lookup.index_table_from_tensor(SHOPPING_ITEMS)
history = tf.one_hot(items_table.lookup(features["cart_history"]), len(SHOPPING_ITEMS))
cart = tf.reshape(history, [-1, HISTORY_SIZE, len(SHOPPING_ITEMS)])

45. 0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
1.0
1.0
0.0
1.0
0.0
0.2
1.5
3.2
0.0
0.7
1.9
2.8
0.0
カート
アイテム履
歴
1D Convolution
でカートアイテムの
変化を検出
結果を
フラット化
cart = tf.layers.conv1d(cart, filters=20, kernel_size=3, padding="valid",
activation=tf.nn.relu)
cart = tf.contrib.layers.flatten(cart)
3.5
0.0
1.0
2.1
0.0
1.0
3.2
0.3
2.2

46. 🍅🍆
カートアイテ
ムの変化
0.0
1.0
0.0
0.0
0.0
1.0
0.0⛄
🌻
🍁
🕘
🕛
🌱
🕔
季節や
時間帯
🍖
次の
アイテムを
予測
Multi-layer
Perceptron
(MLP)
x = tf.concat([cart, season, time], axis=1)
x = tf.layers.dense(inputs=x, units=NUM_UNIT1, activation=tf.nn.relu)
x = tf.layers.dense(inputs=x, units=NUM_UNIT2, activation=tf.nn.relu)
logits = tf.layers.dense(inputs=x, units=(len(SHOPPING_ITEMS)+1), activation=None)

47. Cloud OnAir
デモ :
Smart Shopping Navigator
デモ

50. Edge TPU

51. コードは GitHub で公開中：
"Smart Shopping Navigator"
by Groovenauts
商用サービス：
Magellan Blocks
www.magellanic-clouds.com

52. Cloud OnAir
Cloud OnAir
まとめ

53. Cloud OnAir
1. じゃんけんマシンのグローブを作る
2. 機械学習でスマートなじゃんけん判定
3. TensorFlow で機械学習
4. 機械学習でじゃんけん
5. よりディープな機械学習：画像認識と IoT
6. 機械学習でつくるスマートなショッピングカート
まとめ

54. 学習する分析する収集する