Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
545人のインフラを支えたNOCチーム! 
PyConJP2014 NOCチーム 
小林正幸 
2014/12/15 
BPStudy#88
自己紹介 
• 小林正幸(Masayuki Kobayashi) 
• 社会人1年目23歳 
• ISPで接続系サービスを担当 
• 自宅ラックな人
IPv6_Internet IPv4_Internet 
PyCon JP 2014 会場NW 
Server 
[ DHCP ] 
[ DNS ] 
[ Monitoring ] 
etc.... 
Conference 
Hall 
IPv...
NOCって? 
• Network Operation Center 
• ネットワークを管理、運営する施設のこと 
• イベントなどでは、専用のNOCを一時的に設置することがある 
• PyConJP2014のNOCチームは8人で構成 
• ...
PyConJP2014のネットワーク規模 
収容人数機器台数総延長[km] 
500 35 1
NOCチームのミッション 
• 快適なネットワーク接続を提供する 
• 空気のように意識されないこと 
• 「使えない」とかつぶやかれたら失敗 
とあるカンファレンス 
来場者のつぶやき
IPv6_Internet IPv4_Internet 
PyCon JP 2014 会場NW 
Server 
[ DHCP ] 
[ DNS ] 
[ Monitoring ] 
etc.... 
Conference 
Hall 
IPv...
カンファレンスネットワークでよくある問題 
• NATセッション問題 
NATセッション数は10,000以上 
ルータのスループットを低下させることもある 
機種によっては耐えられない可能性も 
• フレッツの速度が出ない問題 
PPP...
カンファレンスネットワークでよくある問題 
• NATセッション問題 
NATセッション数は10,000以上 
ルータのスループットを低下させることもある 
機種によっては耐えられない可能性も 
NATするのやめました 
• フレッツの速...
カンファレンスネットワークでよくある問題 
• NATセッション問題 
NATセッション数は10,000以上 
ルータのスループットを低下させることもある 
機種によっては耐えられない可能性も 
NATの処理はISP(VNE)側に任せまし...
DS-Lite
DS-Lite 
これじゃない・・・
DS-Lite(RFC6333) 
• Dual-Stack Lite 
• IPv4/IPv6 移行・共存技術の一つ 
• IPv4 over IPv6 + CGN(NAPT44) 
• 枯れた技術の組み合わせ 
• ユーザ(会場)側でグロー...
AFTR側設備はどこが? 
• インターネットマルチフィードより先行提供して頂いた 
• 2014年10月1日より正式サービスを開始 
• 全来場者のDS-Lite収容はPyConJP2014が日本初
まとめると 
• NATセッション問題 
NATセッション数は10,000以上 
ルータのスループットを低下させることもある 
機種によっては耐えられない可能性も 
CGNを使い、会場でNATの面倒を見ない 
• フレッツの速度が出ない問...
なぜDS-Liteなのか 
• 他にもIPv6網上でIPv4接続を実現する技術はたくさんある 
検討項目DS-Lite MAP-E※ 4rd/SAM※ 464XLAT※ 
NATする場所ISP CPE CPE CPE/ISP 
対応事業者MF ...
検証 
• 初めての試みなので検証は必須 
• 使用予定の機器でDS-Lite公式対応のものは無かった 
• スポンサーから提供して頂いたRTX5000もRFC6333は非準拠 
• RTX810/1200の検証結果から、問題なく使えると予測
検証結果 
• B4側機器はIPv4 over IPv6対応ならば、接続できる可能性が高い 
• NOCチームの自宅に転がっていた様々なルータで検証した 
• DS-Lite接続時のメーカー毎の大まかな傾向を掴む 
メーカー型番結果その他 
Y...
最悪の事態にも備える 
• 公式提供前のため、ISP側で不測の事態が発生する可能性も 
• ISP側ステートフルな技術なので、障害時に対応不可 
• 予めPPPoE設定を投入したバックアップルータを用意
IPv6_Internet IPv4_Internet 
PyCon JP 2014 会場NW 
Server 
[ DHCP ] 
[ DNS ] 
[ Monitoring ] 
etc.... 
Conference 
Hall 
IPv...
IPv6 IPoEの利用にも課題がある 
• prefixの割り当て方式が2種類ある 
• ひかり電話契約なしではprefixは/64 
• /64では会場内でセグメントを分けられない 
• ひかり電話契約をすると/56を割り当てられる 
• ...
PyCon JP 2014 会場NW 
来場者 
IPv4/IPv6 
DualStack 
Network 動画配信スタッフ管理 
vlan-id 40 
フレッツNGN 網 
vlan-id 30 
ONU 
RA 
/64 vlan-id...
ひかり電話契約あり 
PyCon JP 2014 会場NW 
来場者 
IPv4/IPv6 
DualStack 
2409:10:0:500::/56 
Network 動画配信スタッフ管理 
vlan-id 40 
フレッツNGN 網 
D...
ONU一体型ひかり電話ルーター? 
• なかなかのクセモノ 
• DHCPv6-PDで/56を網側から受け、/60をLAN側に払出す 
• ONUとは異なりForwarding, Switching, Routing機能を持つ 
• 「ひかり電...
PyCon JP 2014 会場NW 
フレッツNGN 網 
500人以上が同時接続することを 
想定している会場ネットワークでは 
ここがボトルネックになる恐れ 
Server 
[ DHCP ] 
[ DNS ] 
[ Monitoring...
ボトルネックを排除する 
• ひかり電話契約はするが「ひかり電話ルーター」は使用しない 
• Prefix /56をNGN網から受け取るとこが目的 
• 「ONU」と「ひかり電話ルーター」が別筐体の分離型を申し込み 
• 最低限UNIポートの接...
設計が固まったら回線を調達する 
• カンファレンス会場に既設回線が無かった 
• 会場にフレッツ回線を引き込み工事する 
• 通常契約を行い2日間のカンファレンス終了後に解約 
PPPoEしないので 
200M制限は無い
IPv6_Internet IPv4_Internet 
PyCon JP 2014 会場NW 
Server 
[ DHCP ] 
[ DNS ] 
[ Monitoring ] 
etc.... 
Conference 
Hall 
IPv...
無線LANはこれじゃダメ? 
• ヨ○バシとかで売ってるアレ
家庭とカンファレンスでは設計が違う 
一般家庭カンファレンス 
求める速度とにかく高速な通信をしたい皆が快適な速度であれば良い 
収容ユーザ数少ない(せいぜい数十台程度) 
1台あたりが広範囲をカバー 
多い(数百台規模) 
1台あたりは狭い範...
カンファレンスの無線LAN設計 
• これらをちゃんと考えないと残念なことになる 
チャネル設計 
低速レート端末の遮断 
野良DHCP/AP対策 
APの集中管理 
残念な例
カンファレンスの無線LAN設計 
• 2.4GHzは使えるチャネル数が少ないので極力避ける 
• 5GHz帯はDFSなどの影響を受けにくいW52のみ 
• 2.4GHzと5GHzでSSIDを分ける 
• 24Mbps未満で接続されている端末は強...
ホットステージ 
• 本番と同じ環境を作り最終確認をする
会場設営 
• 総延長1kmのケーブルを手作業で敷設 
• APとスイッチを設置して接続 
• 3時間で仕上げる必要があった
最近はこんな道具まであるみたい 
• 手作業よりも30倍高速にケーブルを養生できるマシン 
• もっと早く知りたかったorz
無事につながりました
来場者へ見えるように 
• Network WeathermapとZabbixを展示
来場者へ見えるように 
• 希望者をNOCへ案内し機材・技術などを紹介
トラフィックデータ 
• 来場者数545人 
• ユニーク端末数600強
トラフィックデータ(AFTR側計測値) 
• 最大瞬間セッション数約5000 
• ピークトラフィック110Mbps(5分平均値) 
• コネクションセットアップレート最大130
利用者の皆様の反応
ありがとうございました
545人のインフラを支えたNOCチーム!
545人のインフラを支えたNOCチーム!
545人のインフラを支えたNOCチーム!
545人のインフラを支えたNOCチーム!
Upcoming SlideShare
Loading in …5
×

545人のインフラを支えたNOCチーム!

45,252 views

Published on

BPStudy #88
http://bpstudy.connpass.com/event/10139/

Published in: Engineering
  • Be the first to comment

545人のインフラを支えたNOCチーム!

  1. 1. 545人のインフラを支えたNOCチーム! PyConJP2014 NOCチーム 小林正幸 2014/12/15 BPStudy#88
  2. 2. 自己紹介 • 小林正幸(Masayuki Kobayashi) • 社会人1年目23歳 • ISPで接続系サービスを担当 • 自宅ラックな人
  3. 3. IPv6_Internet IPv4_Internet PyCon JP 2014 会場NW Server [ DHCP ] [ DNS ] [ Monitoring ] etc.... Conference Hall IPv4/IPv6 DualStack Network Switch AP Switch AP Media Hall Switch AP Conference Room 1-4 Switch AP 利用者視点のインターネット 1. ここの話 2. ここの話 3. ここの話
  4. 4. NOCって? • Network Operation Center • ネットワークを管理、運営する施設のこと • イベントなどでは、専用のNOCを一時的に設置することがある • PyConJP2014のNOCチームは8人で構成 • 平均年齢は23歳くらいの若手中心
  5. 5. PyConJP2014のネットワーク規模 収容人数機器台数総延長[km] 500 35 1
  6. 6. NOCチームのミッション • 快適なネットワーク接続を提供する • 空気のように意識されないこと • 「使えない」とかつぶやかれたら失敗 とあるカンファレンス 来場者のつぶやき
  7. 7. IPv6_Internet IPv4_Internet PyCon JP 2014 会場NW Server [ DHCP ] [ DNS ] [ Monitoring ] etc.... Conference Hall IPv4/IPv6 DualStack Network Switch AP Switch AP Media Hall Switch AP Conference Room 1-4 Switch AP 利用者視点のインターネット 1. ここの話
  8. 8. カンファレンスネットワークでよくある問題 • NATセッション問題 NATセッション数は10,000以上 ルータのスループットを低下させることもある 機種によっては耐えられない可能性も • フレッツの速度が出ない問題 PPPoE接続では下り速度の上限が概ね200Mbps ※現在は東日本でも下り速度が概ね1Gbpsのギガラインなどがあります。 PPPoEはセッションベースで管理されるため輻輳しやすい これらを気にしなくて済む方法は?
  9. 9. カンファレンスネットワークでよくある問題 • NATセッション問題 NATセッション数は10,000以上 ルータのスループットを低下させることもある 機種によっては耐えられない可能性も NATするのやめました • フレッツの速度が出ない問題 NTT東エリアのPPPoE接続では下り速度の上限が概ね200Mbps PPPoEするのやめました ※現在は下り速度の理論値が概ね1Gbpsのギガファミリーやギガラインがあります。 PPPoEはセッションベースで管理されるため輻輳しやすい NATもPPPoEもしない方法は?
  10. 10. カンファレンスネットワークでよくある問題 • NATセッション問題 NATセッション数は10,000以上 ルータのスループットを低下させることもある 機種によっては耐えられない可能性も NATの処理はISP(VNE)側に任せました • フレッツの速度が出ない問題 NTT東エリアのPPPoE接続では下り速度の上限が概ね200Mbps IPv6 IPoE接続方式にしました ※現在は下り速度の理論値が概ね1Gbpsのギガファミリーやギガラインがあります。 PPPoEはセッションベースで管理されるため輻輳しやすい IPv6上でIPv4を通すには?
  11. 11. DS-Lite
  12. 12. DS-Lite これじゃない・・・
  13. 13. DS-Lite(RFC6333) • Dual-Stack Lite • IPv4/IPv6 移行・共存技術の一つ • IPv4 over IPv6 + CGN(NAPT44) • 枯れた技術の組み合わせ • ユーザ(会場)側でグローバルIPを持たない • CPEをB4、ISP側機器をAFTRと呼ぶ IPv6_Internet IPv4_Internet NGN IPv6網 ISP side [ DS-Lite AFTR ] IPv4 over IPv6 CPE [ DS-Lite B4 ] B4 (Basic Bridging BroadBand) AFTR (Address Family Transition Router) CGN NAPT44変換 IPv4P→IPv4G
  14. 14. AFTR側設備はどこが? • インターネットマルチフィードより先行提供して頂いた • 2014年10月1日より正式サービスを開始 • 全来場者のDS-Lite収容はPyConJP2014が日本初
  15. 15. まとめると • NATセッション問題 NATセッション数は10,000以上 ルータのスループットを低下させることもある 機種によっては耐えられない可能性も CGNを使い、会場でNATの面倒を見ない • フレッツの速度が出ない問題 NTT東エリアのPPPoE接続では下り速度の上限が概ね200Mbps IPv4もIPv6も下り理論値1Gbps ※現在は下り速度の理論値が概ね1Gbpsのギガファミリーやギガラインがあります。 PPPoEはセッションベースで管理されるため輻輳しやすい DS-Liteにより無事解決!
  16. 16. なぜDS-Liteなのか • 他にもIPv6網上でIPv4接続を実現する技術はたくさんある 検討項目DS-Lite MAP-E※ 4rd/SAM※ 464XLAT※ NATする場所ISP CPE CPE CPE/ISP 対応事業者MF JPNE BBIX JPIX サービス名 IPv4インターネット 接続オプションサービス v6プラス IPv6 IPoE + IPv4 ハイブリッドサービス IPv6v4エクスチェンジ サービス 動作するCPEの種類多い少ない少ないかなり少ない CPEに必要な機能トンネル終端 MAPルールの解釈 トンネル終端 NAT44 NAT46 ※詳細な技術仕様は公表されていない為、サービススペックからの推測です。また一部実験段階のサービスを含みます。 CPEでNAT処理が一切なく、動作する製品も多い
  17. 17. 検証 • 初めての試みなので検証は必須 • 使用予定の機器でDS-Lite公式対応のものは無かった • スポンサーから提供して頂いたRTX5000もRFC6333は非準拠 • RTX810/1200の検証結果から、問題なく使えると予測
  18. 18. 検証結果 • B4側機器はIPv4 over IPv6対応ならば、接続できる可能性が高い • NOCチームの自宅に転がっていた様々なルータで検証した • DS-Lite接続時のメーカー毎の大まかな傾向を掴む メーカー型番結果その他 YAMAHA RTX810 ○ 速度も問題なし RTX1200 ○ 速度も問題なし Cisco ASR-1001 ○ 速度も問題なし 2811 ○ CPU負荷高め 1812J ○ CPU負荷高め 古河電工F200 ○ CPU負荷高め メーカー型番結果その他 IIJ SEIL ◎ 公式対応 HITACHI GR2000-1B ○ gw.transix.jpの名前解決が不可 NEC IX3001 ○ gw.transix.jpの名前解決が不可 Juniper MX80 △ 検証ではうまくいかなかった M7i △ 検証ではうまくいかなかった SRX240H ☓ SRX系はFireFlyを含み非対応 何故かAFTRにはなる
  19. 19. 最悪の事態にも備える • 公式提供前のため、ISP側で不測の事態が発生する可能性も • ISP側ステートフルな技術なので、障害時に対応不可 • 予めPPPoE設定を投入したバックアップルータを用意
  20. 20. IPv6_Internet IPv4_Internet PyCon JP 2014 会場NW Server [ DHCP ] [ DNS ] [ Monitoring ] etc.... Conference Hall IPv4/IPv6 DualStack Network Switch AP Switch AP Media Hall Switch AP Conference Room 1-4 Switch AP 利用者視点のインターネット 2. ここの話
  21. 21. IPv6 IPoEの利用にも課題がある • prefixの割り当て方式が2種類ある • ひかり電話契約なしではprefixは/64 • /64では会場内でセグメントを分けられない • ひかり電話契約をすると/56を割り当てられる • ONUが「ONU一体型ひかり電話ルーター」になる場合がある Prefix 64bit Interface ID 64bit Prefix 56bit Interface ID 64bit subnet 8bit ひかり電話契約なし RA ひかり電話契約あり DHCPv6-PD + RA
  22. 22. PyCon JP 2014 会場NW 来場者 IPv4/IPv6 DualStack Network 動画配信スタッフ管理 vlan-id 40 フレッツNGN 網 vlan-id 30 ONU RA /64 vlan-id 20 vlan-id 10 セグメント分けできない 2409:10:0:504::/64 10.1.0.0/22 2409:10:0:503::/64 10.0.3.0/24 2409:10:0:502::/64 10.0.2.0/24 2409:10:0:501::/64 10.0.1.0/24 ひかり電話契約なし
  23. 23. ひかり電話契約あり PyCon JP 2014 会場NW 来場者 IPv4/IPv6 DualStack 2409:10:0:500::/56 Network 動画配信スタッフ管理 vlan-id 40 フレッツNGN 網 DHCPv6-PD /56 vlan-id 30 ONU DHCPv6 /60 vlan-id 20 vlan-id 10 2409:10:0:504::/64 10.1.0.0/22 2409:10:0:503::/64 10.0.3.0/24 2409:10:0:502::/64 10.0.2.0/24 2409:10:0:501::/64 10.0.1.0/24 ONU一体型 ひかり電話ルータ
  24. 24. ONU一体型ひかり電話ルーター? • なかなかのクセモノ • DHCPv6-PDで/56を網側から受け、/60をLAN側に払出す • ONUとは異なりForwarding, Switching, Routing機能を持つ • 「ひかり電話」用にカスタマイズされた、普通のBBルータ • 安価な家庭用BBルータと同等、もしくはそれ以下の性能
  25. 25. PyCon JP 2014 会場NW フレッツNGN 網 500人以上が同時接続することを 想定している会場ネットワークでは ここがボトルネックになる恐れ Server [ DHCP ] [ DNS ] [ Monitoring ] etc.... CPE Conference Hall IPv4/IPv6 DualStack Network Switch AP Switch AP Media Hall Switch AP Conference Room 1-4 Switch AP
  26. 26. ボトルネックを排除する • ひかり電話契約はするが「ひかり電話ルーター」は使用しない • Prefix /56をNGN網から受け取るとこが目的 • 「ONU」と「ひかり電話ルーター」が別筐体の分離型を申し込み • 最低限UNIポートの接続変更(UNI出し)が出来る機種を希望 UNI出し http://kihhiro.blogspot.jp/2012/04/pr-s300sewhr-g301n.html
  27. 27. 設計が固まったら回線を調達する • カンファレンス会場に既設回線が無かった • 会場にフレッツ回線を引き込み工事する • 通常契約を行い2日間のカンファレンス終了後に解約 PPPoEしないので 200M制限は無い
  28. 28. IPv6_Internet IPv4_Internet PyCon JP 2014 会場NW Server [ DHCP ] [ DNS ] [ Monitoring ] etc.... Conference Hall IPv4/IPv6 DualStack Network Switch AP Switch AP Media Hall Switch AP Conference Room 1-4 Switch AP 利用者視点のインターネット 3. ここの話
  29. 29. 無線LANはこれじゃダメ? • ヨ○バシとかで売ってるアレ
  30. 30. 家庭とカンファレンスでは設計が違う 一般家庭カンファレンス 求める速度とにかく高速な通信をしたい皆が快適な速度であれば良い 収容ユーザ数少ない(せいぜい数十台程度) 1台あたりが広範囲をカバー 多い(数百台規模) 1台あたりは狭い範囲をカバー 管理方法運用でカバー 集中管理したい 状況を見える化したい
  31. 31. カンファレンスの無線LAN設計 • これらをちゃんと考えないと残念なことになる チャネル設計 低速レート端末の遮断 野良DHCP/AP対策 APの集中管理 残念な例
  32. 32. カンファレンスの無線LAN設計 • 2.4GHzは使えるチャネル数が少ないので極力避ける • 5GHz帯はDFSなどの影響を受けにくいW52のみ • 2.4GHzと5GHzでSSIDを分ける • 24Mbps未満で接続されている端末は強制的に切断 • 電波出力は50%に落とす • WLCとLuaスクリプトで一括管理 家庭向けの製品でここまで出来るものは少ない
  33. 33. ホットステージ • 本番と同じ環境を作り最終確認をする
  34. 34. 会場設営 • 総延長1kmのケーブルを手作業で敷設 • APとスイッチを設置して接続 • 3時間で仕上げる必要があった
  35. 35. 最近はこんな道具まであるみたい • 手作業よりも30倍高速にケーブルを養生できるマシン • もっと早く知りたかったorz
  36. 36. 無事につながりました
  37. 37. 来場者へ見えるように • Network WeathermapとZabbixを展示
  38. 38. 来場者へ見えるように • 希望者をNOCへ案内し機材・技術などを紹介
  39. 39. トラフィックデータ • 来場者数545人 • ユニーク端末数600強
  40. 40. トラフィックデータ(AFTR側計測値) • 最大瞬間セッション数約5000 • ピークトラフィック110Mbps(5分平均値) • コネクションセットアップレート最大130
  41. 41. 利用者の皆様の反応
  42. 42. ありがとうございました

×