Enterprise openflow network in China.

1. 中国にOpenflowを入れてきた話
TremaDay#9

2. 自己紹介
 @Clorets8lack
 http://www.slideshare.net/cloretsblack
 某ユーザー企業の国際インフラ担当
 トラブル大好き、パケットキャプチャで白いご飯が3杯
いける
 トラブルシューティング専用パケットレコーダー
「Sonarman ソナーマン」を開発、販売中
 株式会社デベルアップジャパン代表

3. 今日お話する中国ネットワーク
 東京-北京間を3重冗長
 各経路の品質を毎秒Check
 10秒に一回自動判定& 経路
切替
 Web GUI で簡単操作
弊社ではChina Sky Net と呼んでいます

4. 2重 -> 3重冗長に拡張しました
New
手作り感あふれる（温かみのある）Webコンソール

5. 導入の背景とか目的とか
 基幹システムのレスポンス向上を目的にVDIを導入してい
る（従来8秒->1秒）
 VDIシステムが極端に損失に弱いため、経路品質の向上
と維持を目指す
 0.5%のロスでギリ使用に耐えるレベル
 代わりに遅延を無視できる <- ピーキーな特性
 あとBCPとか

6. 国際ネットワークのBCP
 日本から見ると、海外はBCP大丈夫なのかという話にな
りやすい
（ あ、でも予算と具体策は無いんで、そこんとこヨロシク ）
講談社コミックス 疾風伝説 特攻の拓より引用
情シス怒りのSDN

7. 結果（SDN未導入拠点との比較）
（1月に同時発生している停止は日本の計画停電）
北京
成都
武漢
インターネット
VPN拠点への
PINGレイテンシ
（日本にて計測）

8. ネットワーク品質
 遅延に多少ばらつきがあるものの、損失をほぼゼロに出
来た。VDIの使用感も良好
講談社コミックス 疾風伝説 特攻の拓より引用
言葉の意味は
良く分からんが
とにかくすごい自信だ
文字列リテラル多め
職業病なのか、
気になってしまう。。

9. 運用の工夫
 従来のネットワークの形を変えずにアドオン
 FWのホールパンチングを考慮しつつ構築
 Openflowコントロール通信の冗長化
 ゲートウェイのWAN/LANのパケットキャプチャを常時
収集、監視 異常検知
 Sonarmanを使用 （デバッグ前提の環境）
 Flow変更は即座に元に戻せる状態で行う
 冗長系を操作しながら片系ずつ実施する

10. ネットワークの概要
Sonarman
Sonarman
基幹システム
Openflow SWで以下の機能をカバーする
スイッチング
ポートミラーリング
GREトンネル
フラグメンテーション
ARP
上海/シンセン
北京
日本
コントローラ
OFSW冗長
Internet VPN
OFSW
OFSW
持ってこいと言いつつも作る羽目に…
MPLS網

11. 中国のひみつ
 政府の通信規制 ≠ Great Firewall
 13億人のトラフィックを効率的に統制するために彼ら（中
国政府）も頑張っている
① DNSポイズニング
② WEB検索サービスにおける結果操作
③ Great Firewall
④ CPEでの制御
Great Firewallのせいにしてしまいがちだが、
トラブルとしっかり向き合う事が大事

12. 中国は言ったもん勝ち社会
 UDPパケットが戻ってこない
 経路上のMTU値が変わった
 IPSecが通らなくなった 等々
パケットキャプチャで取得したエビデンスと一緒にISPに指摘
すると、案外修正してくれたりする
（CPEに設定を入れているので作業員の凡ミスも多い印象）
※言い方のコツ
「○○だから、××して！ 証拠はコレ」

13. 時には諦めも必要
講談社コミックス 疾風伝説 特攻の拓より引用
結局「無敵のBCP」
などというものは
存在しなかった…

14. Enterprise国際インフラ運用の極意
1. 予算も人手も足りない中、その上で何ができるかを考
える
2. 理不尽な障害は常に起こり得る。原因究明や再発防
止に必要な可視化の仕組みを整える
3. 普段から準備しておくことが大切
4. デバッグ上等

15. [CM] Sonarmanのご紹介
 パケットキャプチャを継続して取得するためのアプライ
アンス（Debianベース）
 Syslogとの連携や機械学習を使用した異常検知& 警
告機能が特徴
 監視項目をユーザー定義できる機能とダッシュボード
を最近追加した
 機械学習や人工知能を導入してSDN連携する野望を
秘めている

16. 告知
 番組で紹介した「SonarmanVM」を無償で使える
「開発者ライセンス」をTremaDay参加者に特別にプレゼン
トします
 開発・検証用途であれば複製OKかつ無期限です
 使ってみたい方は後ほどお声掛けください
 Youtubeでご視聴の方はTwitterまでご連絡ください