![$ whoami
{
"name":"ysk",
"tw":"@2matzzz",
"role":"solutions_architect",
"career":[
"infra_engineer",
"web_engineer",
"iot_engineer"
]
}](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-3-320.jpg)
![SORACOM Harvest
― 利用までの手順
グループを作成、グループ設定で
SORACOM Harvest を ON
Harvest が ON になっているグループへ
デバイスを所属
1 2 3
SIM (JP, Global), LoRa, Sigfox すべて同様の手順
表示したいデバイスを選び
[操作] > [データを確認]](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-15-320.jpg)
![SAM によるデータ閲覧制限
https://soracom.zendesk.com/hc/ja/articles/115001241692
{
"statements": [
{
"api": [
"Subscriber:getDataFromSubscriber",
"LoraDevice:getDataFromLoraDevice",
"SigfoxDevice:getDataFromSigfoxDevice",
"DataEntry:getDataEntries",
"DataEntry:getDataEntry"
],
"effect": "allow"
}
]
}
SAM ユーザへ
割り当て
getDataFrom... のみが許可される
→ Harvest のデータのみが閲覧可能](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-28-320.jpg)
![HTTPでのデータ送信
$ curl -v -X POST http://harvest.soracom.io -H 'Content-Type:application/json'
-d "{"time":`date +%s000`,"id":1,"key":"value"}”
soracom subscribers get-data --imsi ${IMSI} | jq '.[0]'
{
"content": "{"time":1541937195000,"id":1,"key":"value"}",
"contentType": "application/json",
"time": 1541937198254
}
コンソールで描画されるdata
POSTしたdata(クライアント側のデータポイント取得時刻を含む)
Harvestがデータを受け取った日時](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-54-320.jpg)
![TCP(UDP)でのデータ送信
$ cat <<. | nc harvest.soracom.io 8514
{"id":1}
.
201
$ soracom subscribers get-data --imsi 44010XXXXXXXXXX | jq '.[0]'
{
"content": "{"payload":"eyJpZCI6MX0K"}",
"contentType": "application/json",
"time": 1541938788318
}](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-55-320.jpg)
![SORACOM Harvestからのデータ取得(1)
取得方法1：
Subscriber(または各種Device)を指定してデータを取得
利用するAPI(Subscriberの場合)：
Subscriber:getDataFromSubscriber API ( GET /subscribers/{imsi}/data )
データはSubscriber(またはDevice)に紐づいていて、取得には2つの方法があ
ります。
$ soracom subscribers get-data --imsi ${IMSI} | jq '.[0]'
{
"content": "{"payload":"eyJpZCI6MX0K"}",
"contentType": "application/json",
"time": 1541938788318
}](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-57-320.jpg)
![SAMユーザでのデータアクセス制御(1)
{
"statements":[
{
"effect":"allow",
"api": "Subscriber:getDataFromSubscriber",
"condition": "pathVariable('imsi') == '44010XXXXXXXXXX'"
}
]
}
例）IMSIが44010XXXXXXXXXXのデータだけを取得できるようにする
SAM権限の例](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-58-320.jpg)
![SORACOM Harvestからのデータ取得(2)
取得方法2：
Dataの取得で対象のリソースを指定する
利用するAPI：
DataEntry:getDataEntries API ( GET /data/{resource_type}/{resource_id} )
$ soracom data get-entries --resource-id ${IMSI}
--resource-type Subscriber | jq '.[0]'
{
"content": "{"payload":"eyJpZCI6MX0K"}",
"contentType": "application/json",
"time": 1541938788318
}](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-59-320.jpg)
![SAMユーザでのデータアクセス制御(2)
{
"statements":[
{
"effect":"allow",
"api": "DataEntry:getDataEntries",
"condition": "pathVariable('resource_id') == '44010XXXXXXXXXX'"
}
]
}
例）IMSIが44010XXXXXXXXXXのデータだけを取得できるようにする
SAM権限の例](https://image.slidesharecdn.com/soracomtechnologycamp2018fbasicharvestlagoonyskfinal-181122083654/85/SORACOM-Technology-Camp-2018-3-60-320.jpg)
Uploaded bySORACOM,INC
SORACOM Technology Camp 2018 ベーシックトラック3 | 今日から始めるセンサーデータの可視化
SORACOM Technology Camp 2018 ベーシックトラック3 今日から始めるセンサーデータの可視化 株式会社ソラコム ソリューションアーキテクト 松本 悠輔 /ysk
More Related Content
Similar to SORACOM Technology Camp 2018 ベーシックトラック3 | 今日から始めるセンサーデータの可視化
SORACOM Technology Camp 2018 ベーシックトラック3 | 今日から始めるセンサーデータの可視化
- 1.
- 2.
- 3.
- 4.
- 5. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestのデータ共有 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 6. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestのデータ共有 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 7.
- 8.
- 9.
- 10. IoT通信プラットフォーム SORACOM SORACOM のグローバルなインフラ 世界中の国・地域で利用可能 ライブラリ&SDKs CLI(Go),Ruby, Swift Web インターフェース User Console データ転送支援 SORACOM Beam クラウドアダプタ SORACOM Funnel データ収集・蓄積 SORACOM Harvest プライベート接続 SORACOM Canal デバイスLAN SORACOM Gate IoT 向けデータ通信 SORACOM Air Cellular (2G, 3G, LTE) / LPWA (LoRaWAN, Sigfox, LTE-M) 専用線接続 SORACOM Direct 仮想専用線 SORACOM Door API Web API, Sandbox データ通信 ネットワーク データ転送 インタフェース SIM認証・証明 SORACOM Endorse デバイス管理 SORACOM Inventory 透過型 トラフィック処理 SORACOM Junction ダッシュボード作成・共有 SORACOM Lagoon セキュアプロビジョニング SORACOM Krypton デバイス支援 アクセス権限管理 SORACOM Access Management アプリケーション データ活用
- 11. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestを利用した開発 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 12. SORACOM Harvest ― データ収集/蓄積/可視化 SORACOMHarvest SORACOM Harvest上にデータ が蓄積 デバイスは harvest.soracom.io へ送信する実装のみでOK • SORACOM Web コンソールで可視化 • APIで蓄積済みデータの取得 =>データのポータビリティが高い システムをセットアップすることなく データ収集・蓄積・可視化を行えるサービス 閉域網
- 13. SORACOM Harvest データ保存期間延長オプション • Harvestのデータ保存期間の延長が可能に •40日 -> 731日に延長可能 • 利用料金 • オプション利用料 • 月額 980円 (日本カバレッジ) • 3GiBまでのデータエクスポート料金を含む • データエクスポート料金 • APIやLagoonへのデータ転送量による課金 • 1GiBあたり 500円(日本カバレッジ)
- 14. お客様とソラコムの役割分担 お客様の作業範囲 ソラコムの提供範囲 • デバイスの用意 •デバイスでのデータ送信機 能の実装 • データ送信方式の決定 • 可視化画面のアクセス管理 • 可視化画面の提供 • データベースの管理 • スケーラビリティの管理 • アクセス管理機能の提供
- 15. SORACOM Harvest ― 利用までの手順 グループを作成、グループ設定で SORACOMHarvest を ON Harvest が ON になっているグループへ デバイスを所属 1 2 3 SIM (JP, Global), LoRa, Sigfox すべて同様の手順 表示したいデバイスを選び [操作] > [データを確認]
- 16. SORACOM Harvest ― データの送信:データ送信先と成否確認 tcp://harvest.soracom.io:8514 udp://harvest.soracom.io:8514 http://harvest.soracom.io(:80) SMS: 901031 USSD: *901031*{DATA}# SIM (セルラー) の場合 成功=201 (Created) 失敗=400 (Bad Request) ※ SMS, USSD エンドポイント は SORACOM Air グローバル SIM で利用可能です LoRa, Sigfox の場合 LoRa#sendData() や Sigfox#sendString() ※送信先アドレスの指定不要 SORACOM に登録済みの LoRa, Sigfox デバイスであれば自動的に SORACOM のサービスが利用可能であるため
- 17. SORACOM Harvest ― データの送信:SORACOM Inventory Publish API SORACOM Harvest SORACOM Inventory これまでは harvest.soracom.io 1. SORACOM Inventory から デバイス ID と キーを入手 curl -X POST -H 'x-device-secret: <キー>' -d '{"temp":20}' https://api.soracom.io/v1/devices/<デバイスID>/publish インターネット 2. デバイス ID と キーを指定 してデータ送信 api.soracom.io
- 18. SORACOM Harvest ― 活用:活用しやすくする機能群 (グラフ種類)
- 19. SORACOM Harvest ― 活用:活用しやすくする機能群 (位置情報) { "data1": "....", "lat": 35.360715, "lng": 138.7273217, "data2": "...." } 対応キー名; lat, latitude lng, lon, long, longitude
- 20. SORACOM Harvest ― 活用:活用しやすくする機能群 (表示系) 複数リソースの同時表示 e.g.) SIM と LoRa のデータをプロット 描画除外項目の デフォルト設定 ポイントした内容の プレビュー機能
- 21. SORACOM Harvest ― 活用:蓄積データの二次活用 CSV, JSON データダウンロード API によるエクスポート $ soracom data get --imsi ${IMSI} --from $(date -d '2018/8/18 5:20:00 +900' '+%s000') { "content": "{"payload":"eyJpZCI6MX0K"}", "contentType": "application/json", "time": 1541938788318 }
- 22.
- 23. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestのデータ共有 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 24.
- 25. SAM (SORACOM AccessManagement) ユーザー オペレーター (Operator) = SORACOM アカウント 最も強い操作権限を持つ (UNIX/Linuxでいう ”root” 相当) SAM ユーザー 一定の権限のみ与えられた SORACOM 操作用のユーザー 利用者や目的ごとに作成できる
- 26.
- 27. SAM (SORACOM AccessManagement) ユーザー オペレーター (Operator) = SORACOM アカウント 最も強い操作権限を持つ (UNIX/Linuxでいう ”root” 相当) SAM ユーザー 一定の権限のみ与えられた SORACOM 操作用のユーザー 利用者や目的ごとに作成できる SORACOM Harvest のみを 閲覧できる権限も設定可能
- 28. SAM によるデータ閲覧制限 https://soracom.zendesk.com/hc/ja/articles/115001241692 { "statements": [ { "api":[ "Subscriber:getDataFromSubscriber", "LoraDevice:getDataFromLoraDevice", "SigfoxDevice:getDataFromSigfoxDevice", "DataEntry:getDataEntries", "DataEntry:getDataEntry" ], "effect": "allow" } ] } SAM ユーザへ 割り当て getDataFrom... のみが許可される → Harvest のデータのみが閲覧可能
- 29. SORACOM Harvest の データ活用における課題 ３ステップでデータが見られる SORACOMHarvest は便利 だが、複雑な可視化を行うには不十分 な場合も・・・。 色々な人からフィードバックをもらい たいが、SAMによる権限の管理だと煩雑 な場合も。
- 30.
- 31. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestのデータ共有 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 32.
- 33. ダッシュボード作成・共有 SORACOM Lagoon データ収集・蓄積 SORACOM Harvest SORACOMLagoon とは？ SORACOM Harvest をデータソース (データの参照元) として グラフなどのダッシュボードを作成と共有に特化したサービス
- 34. SORACOM Lagoon ― データソース SORACOMHarvest に蓄積されたデータであれば SORACOM Lagoon で可視化が可能 • セルラー (SIM) • LoRaWAN • Sigfox • SORACOM Inventory デバイス • SORACOM Harvest Publish API からの入力も SORACOM Lagoon で利用できます
- 36.
- 37. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestのデータ共有 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 38.
- 39. SORACOM Lagoon ― ダッシュボード共有機能 作成したダッシュボードを、第三者に共有 •例えばデバイスの利用者に、ダッシュボードを提供可能 SORACOM ユーザー Lagoonユーザー (閲覧のみ） ユーザー 作成
- 40. SORACOM Lagoon ― アラート機能 設定したしきい値に到達するとアラートで通知 •メール通知、Webhook しきい値をグラフィカルに設定可能 アラート通知
- 41. SORACOM Lagoon ― 利用までの手順 SORACOMWeb コンソールのメニューから 「ダッシュボード作成・共有」を選択 SORACOM Lagoon ユーザを作成
- 42. SORACOM Lagoon ― SORACOMLagoon へのログイン https://jp.lagoon.soracom.io https://g.lagoon.soracom.io ※ SORACOM アカウントや SAM ユーザではないので注意
- 43.
- 44. SORACOM のアプリケーション開発支援 ― 最小工数で最大の効果を マイコンや SBC モデム クラウドアダプタ SORACOMFunnel データ蓄積・可視化 SORACOM Harvest ダッシュボード作成・共有 SORACOM Lagoon HTTP TCP UDP • メガクラウド PaaS / SaaS • パートナー ソリューション 管理者や開発者 運用担当者など 極短期に実現する クイックソリューション 高度な要件に向けた ソリューション アラート データ転送支援 SORACOM Beam プリミティブな プロトコルとペイロード → SDK が不要に クラウドへアクセスする キーは SORACOM に保管 → セキュアエレメントが不要に
- 45. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestのデータ共有 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 46. データ可視化の先へ • 業務にフィットした可視化 の提供 • AI/MLと連動した仕組みづ くり • 複数サービスの同時連携 • 長期・大量にわたる蓄積
- 47. SORACOM Beam -セキュアなプロキシ 専用線 インターネット サーバA サーバB クラウドの潤沢な リソースで暗号化 HTTP → HTTPS MQTT → MQTTS TCP → TCP over SSL UDP→ HTTPS … 交換局 モノ 基地局 本来デバイスに実装するべき接続先設定や暗号化等を SORACOM へオフロード(負荷を移動) SORACOM Beam
- 48. SORACOM Funnel -クラウドアダプタ 認証情報 プロトコル変換 認証ロジック バッファリング エラー処理 SORACOM Funnel Amazon Kinesis Streams Amazon Kinesis Firehose Microsoft Azure EventHubs AWS IoT 専用線 交換局 モノ 基地局 Google Cloud Pub/Sub Amazon Kinesis Video Streams
- 49. SPSパートナーが提供する SORACOM FunnelのPartner HostedAdapter 2018年10月現在 Platio モバイルアプリ開発 MotionBoard Cloud データ可視化BIツール Kii IoTアプリケーション バックエンドサービス Torrentio ストリームデータ処理エンジン DataSpider ノンプログラミングデータ連携 Impulse リアルタイム大規模データ分析基盤 MMCloud デバイス＆データ ライフサイクルマネージメント IntelliCloud データ分析プラットフォーム ArcGIS 地図データ活用基盤
- 50. SORACOM Beam /Funnel / Harvest / Lagoon シーンによる使い分けと発展 SORACOM Harvest SORACOM Lagoon SORACOM Funnel メガクラウド PaaS / SaaS SPS パートナーソリューション 利用するクラウドが 決まっている まだ 決まってない (もしくは開発初期) データを見たい人 社内のみ 社外にも SORACOM Beam
- 51. （税別)SORACOM Beam /Funnel / Harvest / Lagoon 料金 サービス SORACOM Beam SORACOM Funnel SORACOM Harvest SORACOM Lagoon 初期費用 無料 無料 無料 無料 利用料金 基本料金 - - (2000リクエスト/日まで) 5円/回線・日 (SORACOM Harvest 料金に追加して) 980円/月 リクエスト料金 (従量課金) 0.0018円/2リクエスト* 0.0018円/1リクエスト* (2000リクエスト/日以上) 0.004円/リクエスト - 無料利用枠 1アカウントあたり月間 100,000リクエストまで毎月無 料。100,000 リクエストに満 たない場合でも翌月持ち越し 無し。 1アカウントあたり月間 50,000リクエストまで毎月無 料。50,000 リクエストに満た ない場合でも翌月持ち越し無 し。 1 アカウントあたり 1 日 2,000 リクエスト分が毎月無料 リクエスト数が 2,000 リクエ ストに満たない場合でも翌月 持ち越しは無し。 利用開始月と翌月は無料。 (最大2ヶ月無料。) 備考 *エントリーポイント (Beam) へのリクエスト、Beamから転 送先へのリクエスト、それぞ れを個別に 1 リクエストとカ ウント *SORACOMから転送先へのリ クエスト、それぞれを個別に 1 リクエストとカウント データ保存期間延長オプショ ン：980円 データ取り出し料金3GiB含む 以降1GiBごとに500円 - 料金詳細 https://soracom.jp/services/beam/ price/ https://soracom.jp/services/funnel /price/ https://soracom.jp/services/harve st/price/ https://soracom.jp/services/lagoo n/price/
- 52.
- 53. SORACOM Harvestのデータ構造 IMSI:44010XXXXXXXXXX IMSI:44010YYYYYYYYYYDeviceID:d-zzzzzzzzzzz...
- 54. HTTPでのデータ送信 $ curl -v-X POST http://harvest.soracom.io -H 'Content-Type:application/json' -d "{"time":`date +%s000`,"id":1,"key":"value"}” soracom subscribers get-data --imsi ${IMSI} | jq '.[0]' { "content": "{"time":1541937195000,"id":1,"key":"value"}", "contentType": "application/json", "time": 1541937198254 } コンソールで描画されるdata POSTしたdata(クライアント側のデータポイント取得時刻を含む) Harvestがデータを受け取った日時
- 55. TCP(UDP)でのデータ送信 $ cat <<.| nc harvest.soracom.io 8514 {"id":1} . 201 $ soracom subscribers get-data --imsi 44010XXXXXXXXXX | jq '.[0]' { "content": "{"payload":"eyJpZCI6MX0K"}", "contentType": "application/json", "time": 1541938788318 }
- 56. SORACOM Inventory PublishAPIでのデータ送信 SORACOM Inventoryのアクセス情報を使ってSORACOM Harvestにデータ送信する場合、 3つの方法でデータを送信できます。クライアントデバイスでHTTP GETしか使えない場合 にもデータ送信可能です。 ※あらかじめデバイスにSORACOM Inventoryのデバイスクレデンシャルを配備する必要 があります $ curl -X POST --header 'x-device-secret: <シークレットキー>' -d '{"temp":20}' https://api.soracom.io/v1/devices/<デバイスID>/publish HTTP POST $ curl -X GET --header 'x-device-secret: <シークレットキー>' https://api.soracom.io/v1/devices/<デバイスID>/publish?temp=20 HTTP GET(1) $ curl -X GET https://api.soracom.io/v1/devices/<デバイスID>/publish? device_secret=<シークレットキー(URL encoded)>&temp=20 HTTP GET(2)
- 57. SORACOM Harvestからのデータ取得(1) 取得方法1： Subscriber(または各種Device)を指定してデータを取得 利用するAPI(Subscriberの場合)： Subscriber:getDataFromSubscriber API( GET /subscribers/{imsi}/data ) データはSubscriber(またはDevice)に紐づいていて、取得には2つの方法があ ります。 $ soracom subscribers get-data --imsi ${IMSI} | jq '.[0]' { "content": "{"payload":"eyJpZCI6MX0K"}", "contentType": "application/json", "time": 1541938788318 }
- 58. SAMユーザでのデータアクセス制御(1) { "statements":[ { "effect":"allow", "api": "Subscriber:getDataFromSubscriber", "condition": "pathVariable('imsi')== '44010XXXXXXXXXX'" } ] } 例）IMSIが44010XXXXXXXXXXのデータだけを取得できるようにする SAM権限の例
- 59. SORACOM Harvestからのデータ取得(2) 取得方法2： Dataの取得で対象のリソースを指定する 利用するAPI： DataEntry:getDataEntries API( GET /data/{resource_type}/{resource_id} ) $ soracom data get-entries --resource-id ${IMSI} --resource-type Subscriber | jq '.[0]' { "content": "{"payload":"eyJpZCI6MX0K"}", "contentType": "application/json", "time": 1541938788318 }
- 60. SAMユーザでのデータアクセス制御(2) { "statements":[ { "effect":"allow", "api": "DataEntry:getDataEntries", "condition": "pathVariable('resource_id')== '44010XXXXXXXXXX'" } ] } 例）IMSIが44010XXXXXXXXXXのデータだけを取得できるようにする SAM権限の例
- 61. アジェンダ • IoTにおけるデータの可視化のポイント • SORACOMHarvestとは？ • SORACOM Harvestのデータ共有 • SORACOM Lagoonとは？ • SORACOM Lagoonによるデータ活用 • データ可視化の先へ •まとめ
- 62. • 仮説を素早く検証するためにIoTデータの可視化を行う • 仮説の検証が目的なので既にあるものを組み合わせる、 SORACOMHarvestは開発初期から活用できる • 複雑な可視化が必要な場合や多くの人にデータを共有する場 合はSORACOM Lagoonを活用できる • より複雑なデータ分析（AI、ML）が必要な場合はその他の SORACOMサービスが活用できる まとめ
- 63.
- 64. 今日からIoTを始めよう！本日ホワイエで販売中 Grove IoT スターターキットfor SORACOM 7種類のGroveセンサーとSIMが搭載可能なデバイスで 素早くプロトタイピングが可能 （本日販売価格：15,980円）※送料分お得 SORACOM LTE-M Button powered by AWS セルラー通信のLTE-Mを搭載し 購入後すぐに使い始めることが可能 （本日販売価格：3,980円） ※送料分お得
- 65.
- 66. 次のセッション 17:15-18:00 ベーシックトラック SORACOM LTE-M Buttonの始め方 アドバンストラック スモールスタートの次の一手は？成長できるIoTシステムの実例と回 避したいポイント ― IoTシステム開発における試行錯誤の記録
- 67. SORACOMの願い クラウド ⇒ 多くのビジネス、Webサービス SORACOM⇒ 多くのIoTビジネス、システム たくさんの IoTプレイヤーが生まれますように
- 68.