SlideShare a Scribd company logo
お掃除IoT実習
@GIYSEクラスステージ
2022/2/13 開催
東京農工大学 中山研究室
1
第1部 加速度センサを用いた機械学習
東京農工大学 中山研究室
2
第1部|内容
• 以下の赤枠の部分について説明します
3
今日の流れ
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
4
目次
1. はじめに
2. 加速度とは?
3. センサとは?
4. 加速度センサについて
5
【担当 八重樫遼】
はじめに
加速度センサはご存じでしょうか?
そもそもの部分から少し説明します
なんとなく分かっていただけたら幸いです
6
加速度センサ
って何?
そもそも加速度
って何?
センサとは?
何ができるの?
【担当 八重樫遼】
加速度とは?
「どのくらい速度が変化したか」を表すもの
(難しく言うと…単位時間当たりの速度の変化量)
7
速度 0 𝑚
𝑠 10 𝑚
𝑠
10 𝑚
𝑠
0 𝑚
𝑠
加速度は…
1秒後
5秒後
10
5
= 2 𝑚
𝑠2
10
1
= 10 𝑚
𝑠2
>
加速度が大きい
【担当 八重樫遼】
センサとは?
何かしらの情報を何らかの数値に変換する機械
例 体温計(温度センサ)
他にも様々なセンサが日常生活に使われています
・ジャイロセンサ → ゲームのジャイロ操作
・音センサ → 通話,音声入力
・指紋センサ → 指紋認証
8
体の温かさ 「37.5」という数値
変換
【担当 八重樫遼】
加速度センサについて
対象物が動いた時の加速度を計算する機械
3軸(x,y,z)の加速度が取得可能
→どの向きに動いたのかが分かる
様々な使い道
ゲームコントローラ
歩数計
カメラの手ブレ機能
車のエアバック
スマートフォン
9
[引用]秋月電子通商,L3GD20H使用3軸ジャイロセンサーモジュールキット,
https://akizukidenshi.com/catalog/g/gK-15096/
実物はこんなの
縦持ち 横持ち
【担当 八重樫遼】
今日の流れ
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
10
目次
• 機械学習とは?
• 簡単な機械学習法
• 機械学習が使われているもの
• 機械学習の流れを決定木で考えてみる
11
【担当 深澤真愛】
機械学習とは?
・コンピュータに学習をさせるとそれ自身が判断を行えるようになる
これ は犬
これ は猫
これ は犬
これ は猫
<学習>
ふむ
ふむ これ はなに?
それは猫にゃ
ん(=^・^=)
<識別>
12
【担当 深澤真愛】
学習データとテストデータ
これ は犬
これ は猫
これ は犬
これ は猫
<学習>
ふむ
ふむ
これ はなに?
それは猫にゃ
ん(=^・^=)
<識別>
学習データ
テストデータ
13
【担当 深澤真愛】
簡単な機械学習① 決定木
・簡単な質問を繰り返すことで識別を行う
気温は20℃以下
か?
雪がふっている
か?
アイスが食べた
くなるか?
yes no
yes no
no
yes
14
【担当 深澤真愛】
簡単な機械学習② k近傍法
・学習データに近いものの多数決で識別を行う
テストデータ
学習データ
15
【担当 深澤真愛】
簡単な機械学習② k近傍法
・学習データに近いものの多数決で識別を行う
k=3 のとき,Class B
と識別される
k=6 のとき,Class A
と識別される
16
【担当 深澤真愛】
機械学習は何に使われている?
実は機械学習は身近なところでたくさん使われている!!
例 YouTubeのおすすめ機能
手書き文字認識
人物の顔識別
カラオケ採点
株価予想
生産量決定
「どんなデータ」を「どんなふうに使うか」がポイント
17
【担当 深澤真愛】
機械学習の流れ
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
デモで行う部分
18
【担当 深澤真愛】
機械学習の流れ【決定木で考えてみる】
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
7/20 【季節:夏】
最高気温は30°
最低気温は25°
アイスとスイカを食べたくなる
雪は降っていない
学習データ
○/□ 【季節:△】
最高気温は
最低気温は25°
アイスとスイカを食べ
たくなる
雪は降っていない
×たくさん
19
【担当 深澤真愛】
機械学習の流れ【決定木で考えてみる】
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
気温は20℃以下
か?
雪がふっている
か?
アイスが食べた
くなるか?
yes no
yes no
no
yes
←これが
決定木モデル
20
【担当 深澤真愛】
機械学習の流れ【決定木で考えてみる】
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
2/13 季節:?
最高気温は10°
最低気温は3°
雪見だいふくを食べたくなる
雪が降っている
テストデータ
21
季節だけ
わからない
【担当 深澤真愛】
機械学習の流れ【決定木で考えてみる】
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
テストデータ
2/13 季節:?
最高気温は10°
最低気温は3°
雪見だいふくを食べたくなる
雪が降っている
入力
22
【担当 深澤真愛】
機械学習の流れ【決定木で考えてみる】
気温は20℃以下
か?
雪がふっているか? アイスが食べたくな
るか?
yes no
yes no
no
yes
23
【担当 深澤真愛】
2/13 季節:?
テストデータ
機械学習の流れ【決定木で考えてみる】
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
テストデータ
2/13 季節:?
最高気温は10°
最低気温は3°
雪見だいふくを食べたくなる
雪が降っている
入力 出力
これは
です
24
【担当 深澤真愛】
今日の流れ
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
25
実習デモ
・今日はLSTMという機械学習モデルを使いモップを用いた清掃行動
の識別を行います
精度(正解率)が高い!!
26
【担当 深澤真愛】
仕組み
加速度データ
加速度センサ コンピュータ
モップ
今「ごしごし」を
しています
Colab
27
【担当 深澤真愛】
識別動作
すいすい さっさっ ごしごし さしこみ そのほか
28
【担当 深澤真愛】
Google Colaboratory (Colab)とは
● Googleが無料で提供するサービス
● 機械学習の教育及び研究用
● Pythonや機械学習・深層学習の環境を整えることができる
:プログラミング言語の一つ
29
【担当 深澤真愛】
学習データパック
学習データ
動作名
x軸加速度データ2秒分
y軸加速度データ2秒分
z軸加速度データ2秒分
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
30
【担当 深澤真愛】
用いる学習データ数
5種類の識別行動 5名の被験者 5分ずつ
学習データ
動作名
x軸加速度データ2秒分
y軸加速度データ2秒分
z軸加速度データ2秒分
約3,750個
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
31
【担当 深澤真愛】
デモ準備
①Googleドライブにアクセス
②Colabをインストールする
③マイドライブにデモフォルダをアップロード
32
【担当 深澤真愛】
LSTMモデル生成 train_lstm.ipynb/model.pth
【”train_lstm.ipynb“を開いてみましょう】
train_lstm.ipynb:収集した学習データをもとにしたLSTMモデルの
生成を行なっている
model.pth: 実際に作成したLSTMモデル
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
33
【担当 深澤真愛】
テストデータ取得 test○.csv
・取得した加速度データが入っている
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
34
【担当 深澤真愛】
識別 estimate_lstm.ipynb
【①”estimate_lstm.ipynb”をクリックしてColabで開きましょう】
【②指示に従いプログラムを動かしてみましょう】
学習データ
収集
機械学習
モデル生成
テストデータ
取得
識別
35
【担当 深澤真愛】
識別結果
● 識別できたでしょうか?5つのテストデータは以下の清掃動作の
加速度データでした
36
csvファイル 識別動作
test1 ごしごし
test2 さしこみ
test3 さっさっ
test4 すいすい
test5 そのほか
【担当 深澤真愛】
第2部 深度カメラを用いた機械学習
東京農工大学 中山研究室
37
第2部|内容
• 以下の赤枠の部分について説明します
38
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
39
1. RGBとは?
2. RGBカメラについて
3. RGBカメラの用途
4. RGBカメラのみの問題点
5. 深度とは?
6. 深度情報がある場合
7. 深度カメラについて
目次
40
【担当 中島大輔】
色を表現するための手段
赤、緑、青の光の3原色を混ぜて様々な色を表現できる
R:Red
G:Green
B:Blue
RGBとは?
B
R G
赤 緑
青
マゼンタ シアン
黄 41
【担当 中島大輔】
2D(2次元)のRGB情報を取得できるカメラ
ex)デジタルカメラ,スマートフォンのカメラ
RGBカメラについて
撮影
2DのRGB画像
42
【担当 中島大輔】
RGBカメラはよく物体認識に使用
何が映っているか予測する技術
例)車の自動運転
信号や標識、白線や車など
RGBカメラの用途
信号
車
白線
標識
車に搭載されたRGBカメラの映像
43
【担当 中島大輔】
RGBカメラのみの問題点
前方に赤信号を認識 前方に車を認識
44
【担当 中島大輔】
深度とは?
ある地点を基準とした距離
奥行き
深度
カメラ(基準点)
人
ボール
深度
45
【担当 中島大輔】
深度情報がある場合
前方に赤信号を認識 前方に車を認識
まだ距離があるから
減速しなくて大丈夫
まだ距離があるから
停止しなくて大丈夫
46
【担当 中島大輔】
奥行きの情報を取得して映像で見えるようにしてくれるカメラ
2つのレンズを使用することで奥行きやその形状を取得
人間の目と同じ仕組み
使い道
物を立体的に捉える
物体の大きさを測る
AR,VRへの活用
深度カメラについて
2つで見ることで
立体的に見える
目 レンズ
47
【担当 中島大輔】
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
48
1. 学習用データ,テスト用データの取得
2. 使用する深度カメラ
3. RealSenseカメラで撮影した映像
4. RGBの映像から関節点の2D座標を抽出
5. OpenPoseで取得した関節点を描画,抽出した映像
6. 深度の映像から関節点の3D座標を作成
7. 最終的な学習データ
8. 機械学習モデルの作成
9. 識別
10.まとめ
目次
49
【担当 中島大輔】
データ処理
• 学習用の映像,テスト用の映像の撮影
• RGBと深度の映像から関節点の3D座標を作成
学習モデル
作成
• 機械学習を実行して機械学習モデルの作成
識別
• 作成した機械学習モデルにテストデータを入力して行動を識別
深度カメラを用いた機械学習の流れ
50
【担当 中島大輔】
• 学習用の映像,テスト用の映像を撮影する
学習用データ,テスト用データの取得
データ処理 学習モデル作成 識別
撮影
RGB,深度カメラ モップがけ
51
【担当 中島大輔】
RealSense D455
RGBカメラと深度カメラを搭載
1台でRGB情報と深度情報を取得可能
使用するカメラ
深度カメラ
RGBカメラ
データ処理 学習モデル作成 識別
52
【担当 中島大輔】
RealSenseカメラで撮影した映像
RGB映像 深度映像 遠い
近い
データ処理 学習モデル作成 識別
53
【担当 中島大輔】
関節点の座標を取得
処理が軽くなる
どんな姿勢をしているか推定しやすい
OpenPose
主要な25関節を取得
(肘,膝,手首,足首,胸,腰,肩,目,耳など)
2D(X,Y)座標
RGBの映像から関節点の2D座標を抽出
(X,Y)
データ処理 学習モデル作成 識別
54
【担当 中島大輔】
OpenPoseで取得した関節点を描画,抽出した映像
RGB映像に関節点を描画 関節点のみを抽出した映像
データ処理 学習モデル作成 識別
55
【担当 中島大輔】
関節点の3D化
2D座標と深度の情報を合わせる
深度の映像から関節点の3D座標を作成
(X,Y,Z)
関節点(X,Y座標) 深度情報(Z座標)
データ処理 学習モデル作成 識別
56
【担当 中島大輔】
最終的な学習データ
学習データ
動作名
X座標×2秒分×25関節分
Y座標×2秒分×25関節分
Z座標×2秒分×25関節分
データ処理 学習モデル作成 識別
2秒分
57
【担当 中島大輔】
機械学習の実行
ST-GCN
時間と空間的につながっている関節点の座標を用いて機械学習
機械学習モデルの作成
データ処理 学習モデル作成 識別
58
【担当 中島大輔】
識別
テストデータ
入力 出力
これは
です
ごしごし
データ処理 学習モデル作成 識別
ごしごし
59
【担当 中島大輔】
深度カメラを用いた機械学習
RGBの映像から関節点の2D座標を取得
深度の映像と2D座標を合わせて関節点の3D座標を作成
関節点の3D座標を用いて機械学習モデルを作成
テストデータを入力して何の動作をしているか識別
加速度センサを用いた機械学習との違い
姿勢のコーチングができる
まとめ
60
【担当 中島大輔】
第3部 フィードバック
東京農工大学 中山研究室
61
第3部|内容
• 以下の赤枠の部分について説明します
62
今日の流れ
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう【デモ】
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
63
フィードバックとは?
・入力情報を解析し、その結果を出力すること
【入力情報例】
運動データ
数値データ
言語データ
解析
【出力情報例】
音声 画像・映像
自然データ
触覚
あ
文字
64
【担当 深澤真愛】
今日の流れ
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう【デモ】
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
65
音声フィードバック|概要
認識した行動によって,音声を変更
66
フィードバックロボット
加速度データ
加速度センサ
行動認識
+
流す音声の決定
モップ
使用者
音声フィードバック
(励ます系?)
使用
【担当 八重樫遼】
作成したフィードバックロボット
 Raspberry piというちっちゃいコンピュータを用いて行動認識してます
 スピーカをロボットの中に入れて,音声を流してます
67
Raspberry pi
フィードバックロボット
【担当 八重樫遼】
 20秒ごとにフィードバック
 2秒ごとに行動認識
 きちんと掃除をしている割合を計算して,応じたフィードバックへ
 きちんと掃除しているのであれば,褒める 「いいよ!その調子!」
 してなさそうだったら,掃除するよう促す 「全然掃除してないじゃん!早く掃除してよ!」
音声の決定方法
68
結果が10個出てくるはず!!
時間
20秒
2秒 2秒
すいすい
さっさっ
そのほか
認識結果
フィードバック
フィードバック フィードバック
【担当 八重樫遼】
今日の流れ
【第1部】加速度センサを用いた機械学習
・加速度とは?
・機械学習とは?
・機械学習を体験してみよう
【第2部】深度カメラを用いた機械学習
・深度カメラとは?
・深度カメラでデータをとってみよう
【第3部】フィードバック
・フィードバックとは?
・音声を用いたフィードバック
・プロジェクションマッピングを用いた
フィードバック
69
プロジェクションマッピングによるフィードバック
・十分に掃除した部分に綺麗な画像を、掃除してない部分に汚い画像
を投影する
→まんべんなく掃除ができる!!!
70
【担当 深澤真愛】
プロジェクションマッピングによるフィードバック(仕組み)
機械学習による識別 位置推定
ちゃんと掃除しているか どこを掃除しているか
71
【担当 深澤真愛】
プロジェクションマッピングによるフィードバック(デモ)
72
掃除スタート 1ブロック掃除完了!
掃除完了!!
【担当 深澤真愛】

More Related Content

Similar to お掃除IoT実習@GIYSEクラスステージ

Android & Nui & Physical Computing
Android & Nui & Physical ComputingAndroid & Nui & Physical Computing
Android & Nui & Physical Computing
Takahiro KUREBAYASHI
 

Similar to お掃除IoT実習@GIYSEクラスステージ (9)

第2回環境制御におけるAI技術の活用に関する研究調査委員会 発表資料 スマートライト 中畑隆拓
第2回環境制御におけるAI技術の活用に関する研究調査委員会 発表資料 スマートライト 中畑隆拓第2回環境制御におけるAI技術の活用に関する研究調査委員会 発表資料 スマートライト 中畑隆拓
第2回環境制御におけるAI技術の活用に関する研究調査委員会 発表資料 スマートライト 中畑隆拓
 
Contest 02 presentation (RT-Middleware Contest of SI2017)
Contest 02 presentation (RT-Middleware Contest of SI2017) Contest 02 presentation (RT-Middleware Contest of SI2017)
Contest 02 presentation (RT-Middleware Contest of SI2017)
 
Depth Estimation論文紹介
Depth Estimation論文紹介Depth Estimation論文紹介
Depth Estimation論文紹介
 
Android & Nui & Physical Computing
Android & Nui & Physical ComputingAndroid & Nui & Physical Computing
Android & Nui & Physical Computing
 
DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry ...
DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry ...DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry ...
DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry ...
 
なぜ今OSGiか
なぜ今OSGiかなぜ今OSGiか
なぜ今OSGiか
 
Androidにおける歩数取得とバックグラウンド制限
Androidにおける歩数取得とバックグラウンド制限Androidにおける歩数取得とバックグラウンド制限
Androidにおける歩数取得とバックグラウンド制限
 
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
 
Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版
 

Recently uploaded

Recently uploaded (8)

〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 − 情報科学からのアプローチ −
〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 −	情報科学からのアプローチ −〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 −	情報科学からのアプローチ −
〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 − 情報科学からのアプローチ −
 
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
 
東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け
東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け
東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け
 
To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...
 
ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学
 
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
 
2023年度卒業時成長実感調査 - 上智大学
2023年度卒業時成長実感調査 - 上智大学2023年度卒業時成長実感調査 - 上智大学
2023年度卒業時成長実感調査 - 上智大学
 
modul belajar bagasa jepang pemula -N5.pdf
modul belajar bagasa jepang pemula -N5.pdfmodul belajar bagasa jepang pemula -N5.pdf
modul belajar bagasa jepang pemula -N5.pdf
 

お掃除IoT実習@GIYSEクラスステージ