クラウド時代のスケールアウト型テレメトリングシステムの考察 2015年8月6日 さくらインターネット株式会社/ さくらインターネット研究所 上級研究員松本直人

1. 2015年8月6日
さくらインターネット株式会社 / さくらインターネット研究所
上級研究員 松本直人

2. 高負荷時の
データ取りこぼし
大規模テレメトリングでの性能課題
IP閉域網/IP-VPN
もしくは
インターネット
MQTT/HTTPS
サブスクライバ
ストレージ
MQTT/HTTPS
ブローカ
プロセス
VM
解析プロセス
センサー群
(需要予測が困難)
デバイス・キッティング関係で
MQTT/HTTPSブローカの
IPアドレスが固定
(問題点)
お客様
プライベート/パブリック
クラウド環境
(占有領域)
さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成

3. ポリシーベースルーティングでの改善
IP閉域網/IP-VPN
もしくは
インターネット
BGPルータ
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
サブスクライバ
ポリシールータ
BGPルータ
ストレージ
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
ブローカ
プロセス
VM VM VM VM
VM
解析プロセス
センサー群
(需要予測が困難)
送信元アドレスブロック単位で
ポリシーベースルーティング
BGP/ECMP負荷分散
メッセージバス・ホスト
(2-128台)
冗長化済
ポート番号別QoS
メッセージバス・ホスト
IPアドレス/32をBGPで広報
ポリシールータ
新規増設機材
(事業者)
デバイス・キッティング関係で
MQTT/HTTPSブローカの
IPアドレスが固定
(問題点)
※Intel DPDKもしくはH/W Ofllad機能あり10GbE NIC (高速・低遅延)
要件定義の必要性: サーバロードバランサ導入コストとの比較
お客様
プライベート/パブリック
クラウド環境
(占有領域)
さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成

4. ポート番号識別でのプロセス高集積化
IP閉域網/IP-VPN
もしくは
インターネット
BGPルータ
MQTT/HTTPS
ブローカ
TCP22282
ポリシールータ
BGPルータ
MQTT/HTTPS
ブローカ
TCP22282
MQTT/HTTPS
ブローカ
TCP22282
MQTT/HTTPS
ブローカ
TCP22282
VM VM VM VM
センサー群
(需要予測が困難)
送信元アドレスブロック単位で
ポリシーベースルーティング
BGP/ECMP負荷分散
メッセージバス・ホスト
(2-128台)
冗長化済
メッセージバス・ホスト
IPアドレス/32をBGPで広報
ポリシールータ
新規増設機材
(事業者)
デバイス・キッティング関係で
MQTT/HTTPSブローカの
IPアドレスが固定
(問題点)
※Intel DPDKもしくはH/W Ofllad機能あり10GbE NIC (高速・低遅延)
MQTT/HTTPS
ブローカ
TCP22283
MQTT/HTTPS
ブローカ
TCP22283
MQTT/HTTPS
ブローカ
TCP22283
MQTT/HTTPS
ブローカ
TCP22283
MQTT/HTTPS
ブローカ
TCP22284
MQTT/HTTPS
ブローカ
TCP22284
MQTT/HTTPS
ブローカ
TCP22284
MQTT/HTTPS
ブローカ
TCP22284
←お客様別の占有プロセス群
←お客様別の占有プロセス群
←お客様別の占有プロセス群
←お客様別の占有プロセス群
要件定義の必要性: サーバロードバランサ導入コストとの比較
さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成

5. 送信元IPアドレスブロックの偏り是正
IP閉域網/IP-VPN
もしくは
インターネット
BGPルータ
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
サブスクライバ
ポリシールータ
BGPルータ
ストレージ
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
ブローカ
プロセス
VM VM VM
VM
解析プロセス
センサー群
(需要予測が困難)
ポリシールータ
新規増設機材
(事業者)
デバイス・キッティング関係で
MQTT/HTTPSブローカの
IPアドレスが固定
(問題点)
ポリシールータ
MQTT/HTTPS
ブローカ
プロセス
VM
送信元アドレスブロック単位で
ポリシーベースルーティング
BGP/ECMP負荷分散
メッセージバス・ホスト
IPアドレス/32をBGPで広報 再起型ポリシーベース
ルーティング
(遅延微増)
お客様
プライベート/パブリック
クラウド環境
(占有領域)
さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成

6. サブスクライバのスケールアップ対応
IP閉域網/IP-VPN
もしくは
インターネット
BGPルータ
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
サブスクライバ
ポリシールータ
BGPルータ
ストレージ
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
ブローカ
プロセス
MQTT/HTTPS
ブローカ
プロセス
VM VM VM VM
VM
解析プロセス
センサー群
(需要予測が困難)
送信元アドレスブロック単位で
ポリシーベースルーティング
BGP/ECMP負荷分散
メッセージバス・ホスト
(2-128台)
冗長化済
ポート番号別QoS
メッセージバス・ホスト
IPアドレス/32をBGPで広報
ポリシールータ
新規増設機材
(事業者)
デバイス・キッティング関係で
MQTT/HTTPSブローカの
IPアドレスが固定
(問題点)
※Intel DPDKもしくはH/W Ofllad機能あり10GbE NIC (高速・低遅延)
お客様
プライベート/パブリック
クラウド環境
(占有領域)
MQTT/HTTPS
サブスクライバ
高速ストレージ
VM
解析プロセス
→
スケール
アップ
要件定義の必要性: サーバロードバランサ導入コストとの比較
さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成

7. ご清聴誠にありがとうございました