細かすぎて伝わらないSORACOM Funnelのオプション紹介 #soracomug
Report
Masahiro NAKAYAMAFollow
Jul. 5, 2017•0 likes•2,396 views
細かすぎて伝わらないSORACOM Funnelのオプション紹介 #soracomug
Jul. 5, 2017•0 likes•2,396 views
Download to read offline
Report
Technology
2017-07-05 #soracomug LT ～BLE Mesh×クラウドの “裏” 見せます!!～ 細かすぎて伝わらないSORACOM Funnelのオプション紹介
Masahiro NAKAYAMAFollow
Recommended
Lightweight C#将 高野
AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjpMasahiro NAKAYAMA
Can We Prevent Use-after-free Attacks?inaz2
ハッカソンについて(分散アーキテクチャ時代におけるWebシステムの開発と運用) #seccampMasahiro NAKAYAMA
イントロダクション(分散アーキテクチャ時代におけるWebシステムの開発と運用) #seccampMasahiro NAKAYAMA
クラウド時代のものづくり(分散アーキテクチャ時代におけるWebシステムの開発と運用) #seccampMasahiro NAKAYAMA
More Related Content
More from Masahiro NAKAYAMA
#ServerlessDays Tokyo 2019 「サーバーレス」な同人誌の紹介Masahiro NAKAYAMA
サーバーレス時代の システム設計ワークショップMasahiro NAKAYAMA
#ssmjp 2018/12 技術系同人誌を手に入れようMasahiro NAKAYAMA
FaaSのインターフェースに見るサーバーレス #serverlessconf #serverlesstokyo Masahiro NAKAYAMA
クラウドでハンズオンする話 #ssmjpMasahiro NAKAYAMA
SORACOMでデータ上げてクラウドで分析・可視化するハンズオン #SecHack365Masahiro NAKAYAMA
Recently uploaded
CatBoost on GPU のひみつTakuji Tahara
テスト自動化.pdfssuserf8ea02
2023情報処理学会関西支部大会-G12.pdfKoseiShimoda1
MLOps Course Slides_JP（配布用）.pdfYuya Yamamoto
松下研究室紹介_関西大学高槻キャンパスオープンキャンパスMatsushita Laboratory
CCoE実践者コミュニティ#1_CCoEが進めるセキュリティカイゼンの旅.pptxTomoaki Tada
細かすぎて伝わらないSORACOM Funnelのオプション紹介 #soracomug
- 1. ～BLE Mesh×クラウドの “裏” 見せます!!～ 細かすぎて伝わらない SORACOM Funnelのオプション紹介 株式会社WHERE なかやま まさひろ 2017-07-05 SORACOM UG #7
- 2. BLE Mesh×クラウド • 例：従業員や物品の在籍把握システム • iBeaconみたいなBLEビーコンをヒト/モノに持たせる • 弊社EXBeaconで受信し、BLE Meshでゲートウェイに転送 • ゲートウェイからSORACOM Funnel経由でクラウドで分析・表示 （ウフルさんがこのオフィスでやっているのとだいたい一緒） • 例：測位用ビーコンインフラ • iBeaconみたいなBLEビーコンを固定で設置 • BLE Mesh経由で定期的にバッテリー残量等を収集、設定変更 • 同上
- 4. EXBeacon♥SORACOM • ゲートウェイの上位回線にSORACOMを採用 • ゲートウェイの処理量を減らしたい⇒SORACOM Funnel • 各種エンドポイントの管理を一括化⇒SIMグループ • メンテナンス用リモートアクセス ⇒SORACOM Gate/Canal
- 5. システム上の特徴 • 高トラフィック・リアルタイム • たくさんのBLEビーコン情報をたくさんのEXBeaconで受信したログが 際限なく上がり続けて、リアルタイムで処理 • そこまで多くは無いけど、ビッグデータ系技術への入口 • AWSベースのストリーミング処理基盤を採用 • Amazon Kinesis Streams（でっかいパイプ）で収集 • AWS Lambda（サーバーレス実行環境）で逐次集計 • Amazon DynamoDB（ごっついDB）に保存してAPIで最新データを提供 • いわゆるIoTサーバーレスのテンプレ構成
- 8. Kinesis Streams × AWS Lambda • Kinesis StreamsからLambdaへのデータ送信 • 決まった量ごとにLambdaに渡される ⇒ Lambdaの処理能力が足りなくなると詰まる • Lambdaの同時実行数を増やしたい ⇒ Kinesis StreamsのShard数（パイプの本数）を増やす必要がある • Kinesis StreamsのShard数を増やせば良い （2倍/半分にするのはコンパネからぽちぽちできる）
- 10. 落とし穴 • Kinesis StreamsのShardの特性 • 「どのShard」に入るかは「パーティションキー」で決まる • 同じShardに入ったものは、入った順序で出てくる。 （別のShardとの同期はされない） • SORACOM Funnelでパーティションキーはどうなる……？
- 12. 2017-04-18 新規機能発表 • 当初のパーティションキー • IMSI • 新仕様でランダム化に対応 • 要望から一瞬で対応 • 週末消えずに済んだ＼(^o^)／
- 13. 注意事項 • ランダムなパーティションキー＝ランダムなShardに入る • Lambdaに届いたときの前後関係が一切担保されない • 後ろの処理で前後依存がある場合は注意 • SORACOM側で付与されるタイムスタンプ等を利用する • 別のパーティションキーで高速に投げ直す
- 14. で、誰？ • 通称Aki (@nekoruri) • BLEなIoTシステムの クラウド側担当 • ちょろっと執筆も • 「薄い本」も出しています • 最近はすっかり セキュリティ教育畑に…… • セキュリティ・キャンプ プロデューサー • SecHack365 実施協議会委員 • ProjectDIVA Arcade LV.624 / ミリシタはじめました NEW!