5G時代を見据えたIoTプラットフォームSORACOMのアーキテクチャへの挑戦 AWS DevDay Tokyo 2019 株式会社ソラコム エンジニア 川上 大喜 (@moznion)

1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
T O K Y O
2019.10.03-04
5G時代を見据えたIoTプラットフォー
ム
SORACOMのアーキテクチャへの挑戦川上 大喜 (@moznion)
エンジニア
株式会社ソラコム
A - 3

2. 川上 大喜
Taiki Kawakami
(@moznion / moz)
株式会社ソラコム
エンジニア

3. 世界中のヒトとモノをつなげ
共鳴する社会へ

4. 無人コンビニのクラウドと
のリアルタイム
連携にSORACOM
無人コンビニ内の商品の 状
態管理や購買時の決済 およ
び、ソフトウェアの 更新を
実現
お客様事例:600様

5. お客様事例:ふくや様
SORACOM Harvest や
SORACOM Lagoon で
サーバの準備なくデータの
可視化・通知を実現
専用機器で毎日明太子の
消費量を送信、
なくなる前に自動でお届け
※福岡限定でサービス開始
協力パートナー：メカトラックス

6. IoTによるビジネスの変化
視えていなかった “コト” を
視えるように
視えた “コト” を
集めて活かす
• 明太子の残量
• カートリッジの状況
• 在庫状況の把握
• 注文の自動化、最適化
 新たな顧客価値
• 交換管理のサービス化
 既存ビジネスの強化
• ロスの最小化
 労働力の代替

7. IoTによるビジネスの変化
視えていなかった “コト” を
視えるように
視えた “コト” を
集めて活かす
• 明太子の残量
• カートリッジの状況
• 在庫状況の把握
• 注文の自動化、最適化
 新たな顧客価値
• 交換管理のサービス化
 既存ビジネスの強化
• ロスの最小化
 労働力の代替
デバイス
センサー
データ
変換
通信
データ
収集
可視化
通知
デバイス
管理
省電力
セキュ
リティ
クラウド
連携
遠隔
管理

8. SORACOMは「つなぐ」
視えていなかった “コト” を
視えるように
視えた “コト” を
集めて活かす
• 明太子の残量
• カートリッジの状況
• 在庫状況の把握
• 注文の自動化、最適化
 新たな顧客価値
• 交換管理のサービス化
 既存ビジネスの強化
• ロスの最小化
 労働力の代替
IoT 向け通信 クラウド連携
セキュリティ
閉域網

9. あらゆる現場を繋げるコネクティビティ
IoT 向けデータ通信
SORACOM Air
セルラー LPWA
2G / 3G / LTE LTE-M LoRaWANSigfox

10. 130を超える国と地域でつながるIoTSIM

11. SORACOMプラットフォーム概観
SORACOMGlobalPlatform
ライブラリ & SDKs
CLI(Go), Ruby, Swift
Web インターフェース
User Console
データ転送支援
SORACOM Beam
クラウドアダプタ
SORACOM Funnel
データ収集・蓄積
SORACOM Harvest
プライベート接続
SORACOM Canal
IoT向けデータ通信
SORACOM Air
for Cellular (2G, 3G, LTE) / LPWA (LoRaWAN, Sigfox, LTE-M)
専用線接続
SORACOM Direct
仮想専用線
SORACOM Door
API
Web API
Sandbox
コネクティビティ
ネットワーク
インタフェース
SIM認証・証明
SORACOM Endorse
デバイス管理
SORACOM Inventory
透過型トラフィック処理
SORACOM Junction
ダッシュボード作成/共有
SORACOM Lagoon
セキュアプロビジョニング
SORACOM Krypton
アクセス権限管理
SORACOM Access
Management
アプリケーション
デバイスLAN
SORACOM Gate
開発者サポート
Developer Support
USB ドングル / セルラーモジュール / マイコンモジュール / ボタンデバイス
オンデマンドリモートアクセス
SORACOM Napter
クラウドファンクション
SORACOM Funk
エッジプロセッシング
SORACOM Mosaic

12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

13. プラットフォームの構成要素
Dipper
回線・セッション管理
認証
課金
イベント通知
API
コンソール
Polaris
パケット転送
帯域制御
アクセス制御
アプリケーションサービス
Hubble監視・デプロイ

14. IoT
Device
s
Cellula
r
Sessio
n
Mgmt
Authentication
&
Authorization
Billin
g
API
Gateway
API
AP
I
Polaris: 分散システム上に構築
されたセルラーコアインター
フェース
MNO
AWS
Direct
Connect
Dipper: Polarisと連携して動作する
外部向けマイクロサービス郡
HLR/HSS,
SMSC
GGSN/PGW
GTP
SIGTRAN/
Diameter
Amazon
S3
Amazon
CloudFron
t
Devic
e
Mgmt
VPC
VPC
VPC
Amazo
n
SQS
プラットフォームアーキテクチャ

15. AWS上にプラットフォームを構築する利点
スケールアウト・スケールアップ容易な環境
アップデートも容易
かつてはハードウェアを意識した上でのアップグレードが必須だった
高可用な環境構築が容易
複数のAvailability Zoneにサービス展開が可能
AWSの提供するサービスにより高速な開発が可能
必要十分な部品が揃っている
マルチリージョンでのサービス構築が容易
あるAWS拠点にある設備と同一の設備を他の拠点へと複製が簡単にできる
リージョン間の協調動作をさせることもできる
これによるLocal Break Out (LBO) の実現

16. スケールアウト容易な設計
Availability Zone
Availability Zone

17. スケールアウト容易な設計
Availability Zone
Availability Zone
Horizontal Scalability
負荷に応じてサーバ台数を増やす

18. スケールアウト容易な設計
Availability Zone
Availability Zone
Horizontal Scalability
負荷に応じてサーバ台数を増やす
Built-in Resilience
SPOFの無い構成
障害箇所を自動で置き換え
⚡

19. デバイスをクラウドになめらかにつなぐ
Public
Endpoints
SORACOM
Beam
• SORACOMにデータを貯める・可視化する → SORACOM Harvest
• クラウドサービスにデータを届ける→ SORACOM Funnel/Funk
• パブリックなエンドポイントにセキュアにつなぐ→ SORACOM Beam
SORACOM
Harvest
Simple, Low overhead protocols
- TCP / UDP raw socket
- HTTP, MQTT
- LoRaWAN, Sigfox
Secure, Full fledged protocols
- TCP over TLS
- HTTPS, MQTTS
Secure link
SORACOM Air enables
SORACOM
Funnel/Funk
Amazon Kinesis
Family
AWS IoT Core
AWS Lambda

20. Queue +ServerlessArchitecture
data
Service
Compone
nt
Buffer
Processor
ResourceEvent

21. デバイスとサーバを閉域網で接続する
The Internet
VPG IoT backend
AWS VPC
Virtual Private Gateway (VPG) peers with your IoT backend
ソラコムではお客様のAWS VPC, もしくは専用のネットワークと
セルラーネットワークを閉域網で接続することができる。
 デバイスからのデータを完全閉域でお客様サーバーまで伝送可能

22. VirtualPrivateGateway(VPG)
お客様専用の仮想的なゲートウェイ
お客様ネットワークとセルラーネットワークを閉域網でピアリングできるコンポーネント
もちろんAWS上に構築されている
Multi-AZ構成
専用ゲートウェイをクラウドリソースを利用して構築可能
それも必要に応じて即時的に
The Internet
VPG IoT backend
AWS VPC
Virtual Private Gateway (VPG) peers with your IoT backend

23. IoT
Device
s
Cellula
r
Sessio
n
Mgmt
Authentication
&
Authorization
Billin
g
API
Gateway
API
AP
I
Polaris: 分散システム上に構築
されたセルラーコアインター
フェース
MNO
AWS
Direct
Connect
Dipper: Polarisと連携して動作する
外部向けマイクロサービス郡
HLR/HSS,
SMSC
GGSN/PGW
GTP
SIGTRAN/
Diameter
Amazon
S3
Amazon
CloudFron
t
Devic
e
Mgmt
VPC
VPC
VPC
Amazo
n
SQS
プラットフォームアーキテクチャ

24. IoT
Device
s
Cellula
r
Sessio
n
Mgmt
Authentication
&
Authorization
Billin
g
API
Gateway
API
AP
I
Polaris: 分散システム上に構築
されたセルラーコアインター
フェース
MNO
AWS
Direct
Connect
Dipper: Polarisと連携して動作する
外部向けマイクロサービス郡
HLR/HSS,
SMSC
GGSN/PGW
GTP
SIGTRAN/
Diameter
Amazon
S3
Amazon
CloudFron
t
Devic
e
Mgmt
VPC
VPC
VPC
Amazo
n
SQS
プラットフォームアーキテクチャ

25. DynamoDBをHubにしたデータフロー
Service
Compone
nt
DynamoDB Streams
data produce
DynamoDB Streams
…

26. IoT
Device
s
Cellula
r
Sessio
n
Mgmt
Authentication
&
Authorization
Billin
g
API
Gateway
API
AP
I
Polaris: 分散システム上に構築
されたセルラーコアインター
フェース
MNO
AWS
Direct
Connect
Dipper: Polarisと連携して動作する
外部向けマイクロサービス郡
HLR/HSS,
SMSC
GGSN/PGW
GTP
SIGTRAN/
Diameter
Amazon
S3
Amazon
CloudFron
t
Devic
e
Mgmt
VPC
VPC
VPC
Amazo
n
SQS
プラットフォームアーキテクチャ

27. SORACOMプラットフォーム概観
SORACOMGlobalPlatform
ライブラリ & SDKs
CLI(Go), Ruby, Swift
Web インターフェース
User Console
データ転送支援
SORACOM Beam
クラウドアダプタ
SORACOM Funnel
データ収集・蓄積
SORACOM Harvest
プライベート接続
SORACOM Canal
IoT向けデータ通信
SORACOM Air
for Cellular (2G, 3G, LTE) / LPWA (LoRaWAN, Sigfox, LTE-M)
専用線接続
SORACOM Direct
仮想専用線
SORACOM Door
API
Web API
Sandbox
コネクティビティ
ネットワーク
インタフェース
SIM認証・証明
SORACOM Endorse
デバイス管理
SORACOM Inventory
透過型トラフィック処理
SORACOM Junction
ダッシュボード作成/共有
SORACOM Lagoon
セキュアプロビジョニング
SORACOM Krypton
アクセス権限管理
SORACOM Access
Management
アプリケーション
デバイスLAN
SORACOM Gate
開発者サポート
Developer Support
USB ドングル / セルラーモジュール / マイコンモジュール / ボタンデバイス
オンデマンドリモートアクセス
SORACOM Napter
クラウドファンクション
SORACOM Funk
エッジプロセッシング
SORACOM Mosaic

28. APICentricかつmicroservicesな設計
API Centric
コンポーネント間の同期通信はOver HTTPなAPI呼び出しで行う
非同期的な通信は前述のbufferを用いたコミュニケーションを行う
外部 (ユーザ) に提供するAPIと基本的に同じものを使ってシステムを構築
microservices
サービスがコンポーネントレベルで分離している
密結合よりも疎結合を選ぶ
Conwayの法則
「システム設計は組織構造を反映したものになる」
「プライマリオーナー」という考え方

29. 短いリリースサイクルと運用の方針
リリースサイクル
開発の1イテレーションを2週間で回している
1イテレーションに最低1つのリリースを行っている
現在50+イテレーション連続でリリース継続中！
運用
各コンポーネントには「プライマリオーナー」がいる
プライマリオーナーはオーナーシップを持ってコンポーネントに携わる
AWSサービスの組み合わせによる "てこ" を使うことで開発・運用コストを低く
開発者は全員がDevOpsを実践している
開発はもちろん運用の責務も追う
一方で運用寄りのエンジニアもサービス運用には必要 => OpsDev

30. OpsDevの思想
OpsDev?
DevOpsの対となるロール
DevOps: 開発を主としつつオペレーションもする
OpsDev: オペレーションを主としつつオペレーションのための開発もする
オペレーションのための開発
運用作業省力化のための開発
監視の効率化
復旧作業・繰り返し作業の自動化
"開発しっぱなし => 運用でカバー" による負債を貯まらないようにする

31. Development squadの導入
SORACOMの組織はフラットな構造
エンジニアリングチーム中には明確なチームが存在しない
全員がプラットフォームの開発・運用をする
とはいえタスクはある程度似通ってくる
似ているタスクに携わるエンジニアどうしでsquad (分隊) を組織
Squadのうごき
Squad Leaderの方針に従ってマクロな課題の解決方針を立てる
Squadのメンバーは全員でそのタスクに手分けして取り組む
とはいえ頑固なチームとは少し違う
チームどうしで気軽にリソースを融通しあえる
結果として重要なのはチーム全体としての成果 => プラットフォームの進歩

32. アンドン(andon) のアプローチ
なにかおかしいと思ったら
`andon` と呼ばれるSlack channelに書き込む
「XXXの挙動がおかしい気がするんですけど」
andonが引かれたらエンジニアは最優先で現状確認
不具合が確認されたらそのままトラブルシューティングへ移行
内製のchat botによるトラブルシューティングのサポート
障害対応で必要になりがちなオペレーションの自動化
障害報告書の雛形作成
オンライン通話の自動起動
ステータスページの更新とそのリマインド
などなど

33. アンドン(andon) のアプローチ
もちろん機械による監視がある前提
本質的にサービスのヘルスチェックは機械が行うべき
しかし取りこぼしも起きる
=> そういう状況に遭遇した場合は積極的に報告しようという方針
問題解決後は障害報告書を用いた振り返りをする
それに従って監視や運用の改善を行い、今後に備えるという姿勢

34. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

35. ボタンデバイス
LTE-M
push event invoke
LTE-M
push event
SORACOM Beam
SORACOM Funnel
SORACOM
Harvest
SORACOM
Lagoon
transfer
transfer
Visualize
任意のエンドポイント
クラウドサービス

36. ボタンデバイス
低消費電力なLTE-Mを用いたボタンデバイス
ボタンが押されるとそのイベントがLTE-M網を介してソラコムへ送られる
プラットフォームから先は色々な宛先に向けて転送できる
"クラウドネイティブ"なデバイス
クラウド技術を前提にした新しいアプローチ
ソフトウェア先行型のハードウェア
従来の方向とは逆向きの発想

37. PrivateLTE
Private
LTE
Network
Private
LTE
基地局
VPN

38. PrivateLTE
プライベートな基地局 (eNodeB) を所有してデバイスを接続する
デバイスはコアネットワーク側の認証情報 (加入者情報) が利用できる
セキュアな認証方法を利用できる
社内Wi-Fiのオルタナティブとして使える
無線のコネクティビティが無い場所でも利用できる
すでに回線加入していればシームレスに使える

39. Local BreakOut(LBO)
21世紀における問題意識
光の速度には限界がある
神様の実装ミス
地理的な距離の隔たりがそのままレイテンシになる
どのようにセルラーで解決するか？
距離を近づける
基地局とコアネットワーク設備を近づける
例)
日本の基地局からの通信は日本のコアネットワーク設備に向ける
アメリカの基地局からの通信はアメリカのコアネットワーク設備に向ける
CDNなどの文脈で語られることが多くなった話題

40. Local BreakOut(LBO)
ランデブーポイント
ドイツ

41. Local BreakOut(LBO)
ランデブーポイント
米国
ランデブーポイント
日本 日本や米国でIoT SIMを利用しても、
大きな遅延が発生しない！
ランデブーポイント
ドイツ

42. Local BreakOut(LBO)
実現性
AWS上にコアネットワークを構築している強み
AWSの拠点さえあれば技術的には簡単に複製が可能
AWS拠点が増えれば増えるほどうれしい！！
現在
日本のリージョンとアメリカのリージョンにコアネットワークを構築
ドメスティックからのアクセスのネットワークレイテンシが低減

43. 5G！
10年ぶりの新世代通信規格
リッチなユーザー体験
広帯域
低遅延
(それ以外にも色々あるので専門的な資料を参照ください)
これらの特徴を活かしたIoTの適用範囲の広がり
スマートファクトリー
コネクテッドカー
などなど……

44. 5Gサービス状況
各国の動き
日本: 2020年サービス提供開始
アメリカ: 2019年スマートフォンに対するサービス提供開始
中国: 2019年仮商用提供開始，2020年商用化
EU:
イギリス・フランス・イタリア: 2019年商用化
他諸国: 2020年商用化
2019年・2020年がターニングポイント！

45. 既存のLTEと将来の5Gのコアネットワーク像
EPC (LTE) 5GC (5G)
LDAP,
etc
Diamete
r
GTPv2
Diamete
r
GTP
S1AP
NAS
GTPv1
PFCP
NGAP
NAS
GTPv1
PFCP
(出典: TS 23.501)

46. 既存のLTEと将来の5Gのコアネットワーク像
EPC (LTE) 5GC (5G)
LDAP,
etc
Diamete
r
GTPv2
Diamete
r
GTP
S1AP
NAS
GTPv1
PFCP
NGAP
NAS
GTPv1
PFCP
HTTP/2
(QUIC +
UDP?)
(出典: TS 23.501)

47. 既存のLTEと将来の5Gのコアネットワーク像
プロトコル
LTE: 様々なプロトコルが混在
5G: プロトコルは混在しているものの大半はHTTP/2に統一
現在のSORACOMプラットフォーム
LTEネットワークをOver HTTP + AWS nativeに構築している
5Gネットワークのアーキテクチャを先取り！！

48. 5Gのコアネットワークの特徴
4G (EPC) 5G (5GC)
システム構成 Monolithic Microservices
接続トポロジ メッシュ型 バス型
コンテキスト ステートフル ステートレス

49. 5Gのコアネットワークの特徴
4G (EPC) 5G (5GC)
システム構成 Monolithic Microservices
接続トポロジ メッシュ型 バス型
コンテキスト ステートフル ステートレス

50. 5Gの大容量通信とネットワークスライス
5Gといえば？
広帯域
低遅延
*ネットワークスライス*
ネットワークスライス？
回線の用途に合わせて、ネットワークを仮想的に分割し、それぞれに適したキャパシティのネッ
トワークを効率的に提供する機能
例えば:
スマホでTwitterしたい: 既存のブロードバンドスライス
夏フェスの4K映像を配信したい: 今までよりも低遅延かつ広帯域なネットワークのスライス
IoTデバイスからのセンサデータを送信したい: 省機能ながらも高安定性のネットワークスライス
などなど

51. 5Gの大容量通信とネットワークスライス
5Gといえば？
広帯域
低遅延
*ネットワークスライス*
ネットワークスライス？
回線の用途に合わせて、ネットワークを仮想的に分割し、それぞれに適したキャパシティのネッ
トワークを効率的に提供する機能
例えば:
スマホでTwitterしたい: 既存のブロードバンドスライス
夏フェスの4K映像を配信したい: 今までよりも低遅延かつ広帯域なネットワークのスライス
IoTデバイスからのセンサデータを送信したい: 省機能ながらも高安定性のネットワークスライス
などなど

52. 5Gの大容量通信とネットワークスライス
ネットワーク

53. 5Gの大容量通信とネットワークスライス
ネットワーク

54. 5Gの大容量通信とネットワークスライス
ネットワーク

55. 5Gの大容量通信とネットワークスライス
ネットワーク

56. 5GCのアーキテクチャへの挑戦
Well-Knownなプロトコル (HTTP/2) によるステートレスな機器間通信
以下との親和性の高まり
Microservices
コンテナ
クラウド上へのシステム構築に対するアフォーダンス
事実3gpp (標準化団体) もそれを意識している様子

57. 5GCのアーキテクチャへの挑戦
仮想化の機運の高まり
機能要件 (スライス) としての仮想 (コンテナ) 化
明確な「境界づけられたコンテキスト」に基づいたアプリケーションのコンテナ化
コンテナ化によるビルド・デプロイ・開発/本番一致・廃棄容易性の著しい改善
Kubernetesに代表されるContainer Orchestrationシステムの利用可能性
宣言的設定による自律的なコンテナをベースとしたシステム運用
Amazon EKSの活用を模索

58. 5GCのアーキテクチャへの挑戦
5GCの高機能化によるシステムの複雑性の上昇
LTEネットワークの時点で十分複雑だったのだが……
5Gでは更に要求される機能は高度化・複雑化している
一方アーキテクチャやプロトコルを見るとシンプルになっているように見える
モダンなインターネット技術の転用により複雑な機能と戦える
クラウド上へセルラーネットワークを構築するのは今後普通になる
とはいえセルラーの文脈から完全に抜けることは不可能
いわゆるWebアプリケーションのように作れるかというと……
セルラー仕草とクラウド仕草を兼ね備えた設計が求められる
現在までAWS上にLTEネットワークを構築してきた知見を存分に活用

59. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

60. むすび
AWS上にコアネットワークを構築してサービス提供をしてきた
柔軟性・自由度の高いネットワークシステムの構築に成功
クラウド技術を活用した機能がコアコンピタンスに
AWSの提供するサービスの組み合わせによりレバレッジが効く
開発・運用の省力化に寄与
新機能・新技術の開発
5GやPrivate LTEなどセルラー界における新技術は目白押し
実装すべきこと・ものは大量にある
それらは確実にクラウドの文脈に寄ってきている => やってきたことは正解
今後もAWSのパワーを使ってプラットフォームの発展を進めていく
ひいてはプラットフォームの進歩がお客様のIoTビジネスの推進力になるように

61. https://hello.soracom.jp
《午前》
ビジネス向けトラック
• IoT 最新事例
• ビジネス構築の課題と解決策
《午後》
エンジニア向けトラック
• IoT システム基礎と活用方法
• クラウド連携、デバイス管理、
IoT セキュリティ対策
Hello
SORACOM
はじめよう、IoTの第一歩
《東京》神田明神ホール
11/19 (火) 10:00 ~ 18:00
《大阪》阪急うめだホール
10/24 (木) 10:30 ~ 18:00
《参加無料》

62. 世界中のヒトとモノをつなげ
共鳴する社会へ

63. Thank you!
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
川上 大喜 (@moznion)
エンジニア
株式会社ソラコム

64. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.