BPStudy #88 http://bpstudy.connpass.com/event/10139/

1. 545人のインフラを支えたNOCチーム!
PyConJP2014 NOCチーム
小林正幸
2014/12/15
BPStudy#88

2. 自己紹介
• 小林正幸(Masayuki Kobayashi)
• 社会人1年目23歳
• ISPで接続系サービスを担当
• 自宅ラックな人

3. IPv6_Internet IPv4_Internet
PyCon JP 2014 会場NW
Server
[ DHCP ]
[ DNS ]
[ Monitoring ]
etc....
Conference
Hall
IPv4/IPv6
DualStack
Network
Switch
AP
Switch
AP
Media
Hall
Switch
AP
Conference
Room 1-4
Switch
AP
利用者視点のインターネット
1. ここの話
2. ここの話
3. ここの話

4. NOCって?
• Network Operation Center
• ネットワークを管理、運営する施設のこと
• イベントなどでは、専用のNOCを一時的に設置することがある
• PyConJP2014のNOCチームは8人で構成
• 平均年齢は23歳くらいの若手中心

5. PyConJP2014のネットワーク規模
収容人数機器台数総延長[km]
500 35 1

6. NOCチームのミッション
• 快適なネットワーク接続を提供する
• 空気のように意識されないこと
• 「使えない」とかつぶやかれたら失敗
とあるカンファレンス
来場者のつぶやき

7. IPv6_Internet IPv4_Internet
PyCon JP 2014 会場NW
Server
[ DHCP ]
[ DNS ]
[ Monitoring ]
etc....
Conference
Hall
IPv4/IPv6
DualStack
Network
Switch
AP
Switch
AP
Media
Hall
Switch
AP
Conference
Room 1-4
Switch
AP
利用者視点のインターネット
1. ここの話

8. カンファレンスネットワークでよくある問題
• NATセッション問題
NATセッション数は10,000以上
ルータのスループットを低下させることもある
機種によっては耐えられない可能性も
• フレッツの速度が出ない問題
PPPoE接続では下り速度の上限が概ね200Mbps
※現在は東日本でも下り速度が概ね1Gbpsのギガラインなどがあります。
PPPoEはセッションベースで管理されるため輻輳しやすい
これらを気にしなくて済む方法は？

9. カンファレンスネットワークでよくある問題
• NATセッション問題
NATセッション数は10,000以上
ルータのスループットを低下させることもある
機種によっては耐えられない可能性も
NATするのやめました
• フレッツの速度が出ない問題
NTT東エリアのPPPoE接続では下り速度の上限が概ね200Mbps
PPPoEするのやめました
※現在は下り速度の理論値が概ね1Gbpsのギガファミリーやギガラインがあります。
PPPoEはセッションベースで管理されるため輻輳しやすい
NATもPPPoEもしない方法は？

10. カンファレンスネットワークでよくある問題
• NATセッション問題
NATセッション数は10,000以上
ルータのスループットを低下させることもある
機種によっては耐えられない可能性も
NATの処理はISP(VNE)側に任せました
• フレッツの速度が出ない問題
NTT東エリアのPPPoE接続では下り速度の上限が概ね200Mbps
IPv6 IPoE接続方式にしました
※現在は下り速度の理論値が概ね1Gbpsのギガファミリーやギガラインがあります。
PPPoEはセッションベースで管理されるため輻輳しやすい
IPv6上でIPv4を通すには？

11. DS-Lite

12. DS-Lite
これじゃない・・・

13. DS-Lite(RFC6333)
• Dual-Stack Lite
• IPv4/IPv6 移行・共存技術の一つ
• IPv4 over IPv6 + CGN(NAPT44)
• 枯れた技術の組み合わせ
• ユーザ(会場)側でグローバルIPを持たない
• CPEをB4、ISP側機器をAFTRと呼ぶ
IPv6_Internet IPv4_Internet
NGN IPv6網
ISP side [ DS-Lite AFTR ]
IPv4 over IPv6
CPE [ DS-Lite B4 ]
B4 (Basic Bridging BroadBand)
AFTR (Address Family Transition Router)
CGN
NAPT44変換
IPv4P→IPv4G

14. AFTR側設備はどこが？
• インターネットマルチフィードより先行提供して頂いた
• 2014年10月1日より正式サービスを開始
• 全来場者のDS-Lite収容はPyConJP2014が日本初

15. まとめると
• NATセッション問題
NATセッション数は10,000以上
ルータのスループットを低下させることもある
機種によっては耐えられない可能性も
CGNを使い、会場でNATの面倒を見ない
• フレッツの速度が出ない問題
NTT東エリアのPPPoE接続では下り速度の上限が概ね200Mbps
IPv4もIPv6も下り理論値1Gbps
※現在は下り速度の理論値が概ね1Gbpsのギガファミリーやギガラインがあります。
PPPoEはセッションベースで管理されるため輻輳しやすい
DS-Liteにより無事解決!

16. なぜDS-Liteなのか
• 他にもIPv6網上でIPv4接続を実現する技術はたくさんある
検討項目DS-Lite MAP-E※ 4rd/SAM※ 464XLAT※
NATする場所ISP CPE CPE CPE/ISP
対応事業者MF JPNE BBIX JPIX
サービス名
IPv4インターネット
接続オプションサービス
v6プラス
IPv6 IPoE + IPv4
ハイブリッドサービス
IPv6v4エクスチェンジ
サービス
動作するCPEの種類多い少ない少ないかなり少ない
CPEに必要な機能トンネル終端
MAPルールの解釈
トンネル終端
NAT44 NAT46
※詳細な技術仕様は公表されていない為、サービススペックからの推測です。また一部実験段階のサービスを含みます。
CPEでNAT処理が一切なく、動作する製品も多い

17. 検証
• 初めての試みなので検証は必須
• 使用予定の機器でDS-Lite公式対応のものは無かった
• スポンサーから提供して頂いたRTX5000もRFC6333は非準拠
• RTX810/1200の検証結果から、問題なく使えると予測

18. 検証結果
• B4側機器はIPv4 over IPv6対応ならば、接続できる可能性が高い
• NOCチームの自宅に転がっていた様々なルータで検証した
• DS-Lite接続時のメーカー毎の大まかな傾向を掴む
メーカー型番結果その他
YAMAHA RTX810 ○ 速度も問題なし
RTX1200 ○ 速度も問題なし
Cisco ASR-1001 ○ 速度も問題なし
2811 ○ CPU負荷高め
1812J ○ CPU負荷高め
古河電工F200 ○ CPU負荷高め
メーカー型番結果その他
IIJ SEIL ◎ 公式対応
HITACHI GR2000-1B ○ gw.transix.jpの名前解決が不可
NEC IX3001 ○ gw.transix.jpの名前解決が不可
Juniper
MX80 △ 検証ではうまくいかなかった
M7i △ 検証ではうまくいかなかった
SRX240H ☓ SRX系はFireFlyを含み非対応
何故かAFTRにはなる

19. 最悪の事態にも備える
• 公式提供前のため、ISP側で不測の事態が発生する可能性も
• ISP側ステートフルな技術なので、障害時に対応不可
• 予めPPPoE設定を投入したバックアップルータを用意

20. IPv6_Internet IPv4_Internet
PyCon JP 2014 会場NW
Server
[ DHCP ]
[ DNS ]
[ Monitoring ]
etc....
Conference
Hall
IPv4/IPv6
DualStack
Network
Switch
AP
Switch
AP
Media
Hall
Switch
AP
Conference
Room 1-4
Switch
AP
利用者視点のインターネット
2. ここの話

21. IPv6 IPoEの利用にも課題がある
• prefixの割り当て方式が2種類ある
• ひかり電話契約なしではprefixは/64
• /64では会場内でセグメントを分けられない
• ひかり電話契約をすると/56を割り当てられる
• ONUが「ONU一体型ひかり電話ルーター」になる場合がある
Prefix 64bit Interface ID 64bit
Prefix 56bit Interface ID 64bit subnet
8bit
ひかり電話契約なし
RA
ひかり電話契約あり
DHCPv6-PD + RA

22. PyCon JP 2014 会場NW
来場者
IPv4/IPv6
DualStack
Network 動画配信スタッフ管理
vlan-id 40
フレッツNGN 網
vlan-id 30
ONU
RA
/64 vlan-id 20 vlan-id 10
セグメント分けできない
2409:10:0:504::/64
10.1.0.0/22
2409:10:0:503::/64
10.0.3.0/24
2409:10:0:502::/64
10.0.2.0/24
2409:10:0:501::/64
10.0.1.0/24
ひかり電話契約なし

23. ひかり電話契約あり
PyCon JP 2014 会場NW
来場者
IPv4/IPv6
DualStack
2409:10:0:500::/56
Network 動画配信スタッフ管理
vlan-id 40
フレッツNGN 網
DHCPv6-PD
/56
vlan-id 30
ONU
DHCPv6
/60
vlan-id 20 vlan-id 10
2409:10:0:504::/64
10.1.0.0/22
2409:10:0:503::/64
10.0.3.0/24
2409:10:0:502::/64
10.0.2.0/24
2409:10:0:501::/64
10.0.1.0/24
ONU一体型
ひかり電話ルータ

24. ONU一体型ひかり電話ルーター？
• なかなかのクセモノ
• DHCPv6-PDで/56を網側から受け、/60をLAN側に払出す
• ONUとは異なりForwarding, Switching, Routing機能を持つ
• 「ひかり電話」用にカスタマイズされた、普通のBBルータ
• 安価な家庭用BBルータと同等、もしくはそれ以下の性能

25. PyCon JP 2014 会場NW
フレッツNGN 網
500人以上が同時接続することを
想定している会場ネットワークでは
ここがボトルネックになる恐れ
Server
[ DHCP ]
[ DNS ]
[ Monitoring ]
etc....
CPE
Conference
Hall
IPv4/IPv6
DualStack
Network
Switch
AP
Switch
AP
Media
Hall
Switch
AP
Conference
Room 1-4
Switch
AP

26. ボトルネックを排除する
• ひかり電話契約はするが「ひかり電話ルーター」は使用しない
• Prefix /56をNGN網から受け取るとこが目的
• 「ONU」と「ひかり電話ルーター」が別筐体の分離型を申し込み
• 最低限UNIポートの接続変更(UNI出し)が出来る機種を希望
UNI出し
http://kihhiro.blogspot.jp/2012/04/pr-s300sewhr-g301n.html

27. 設計が固まったら回線を調達する
• カンファレンス会場に既設回線が無かった
• 会場にフレッツ回線を引き込み工事する
• 通常契約を行い2日間のカンファレンス終了後に解約
PPPoEしないので
200M制限は無い

28. IPv6_Internet IPv4_Internet
PyCon JP 2014 会場NW
Server
[ DHCP ]
[ DNS ]
[ Monitoring ]
etc....
Conference
Hall
IPv4/IPv6
DualStack
Network
Switch
AP
Switch
AP
Media
Hall
Switch
AP
Conference
Room 1-4
Switch
AP
利用者視点のインターネット
3. ここの話

29. 無線LANはこれじゃダメ?
• ヨ○バシとかで売ってるアレ

30. 家庭とカンファレンスでは設計が違う
一般家庭カンファレンス
求める速度とにかく高速な通信をしたい皆が快適な速度であれば良い
収容ユーザ数少ない(せいぜい数十台程度)
1台あたりが広範囲をカバー
多い(数百台規模)
1台あたりは狭い範囲をカバー
管理方法運用でカバー
集中管理したい
状況を見える化したい

31. カンファレンスの無線LAN設計
• これらをちゃんと考えないと残念なことになる
チャネル設計
低速レート端末の遮断
野良DHCP/AP対策
APの集中管理
残念な例

32. カンファレンスの無線LAN設計
• 2.4GHzは使えるチャネル数が少ないので極力避ける
• 5GHz帯はDFSなどの影響を受けにくいW52のみ
• 2.4GHzと5GHzでSSIDを分ける
• 24Mbps未満で接続されている端末は強制的に切断
• 電波出力は50%に落とす
• WLCとLuaスクリプトで一括管理
家庭向けの製品でここまで出来るものは少ない

33. ホットステージ
• 本番と同じ環境を作り最終確認をする

34. 会場設営
• 総延長1kmのケーブルを手作業で敷設
• APとスイッチを設置して接続
• 3時間で仕上げる必要があった

39. 最近はこんな道具まであるみたい
• 手作業よりも30倍高速にケーブルを養生できるマシン
• もっと早く知りたかったorz

40. 無事につながりました

41. 来場者へ見えるように
• Network WeathermapとZabbixを展示

42. 来場者へ見えるように
• 希望者をNOCへ案内し機材・技術などを紹介

43. トラフィックデータ
• 来場者数545人
• ユニーク端末数600強

44. トラフィックデータ(AFTR側計測値)
• 最大瞬間セッション数約5000
• ピークトラフィック110Mbps(5分平均値)
• コネクションセットアップレート最大130

45. 利用者の皆様の反応

46. ありがとうございました