Ia20120118 sayama

1,281 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,281
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
11
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Ia20120118 sayama

  1. 1. SINET4におけるマルチレイヤネットワークの運用 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 佐山純一、青木道宏、鷹野真司 © 2012 National nIstitute of Informatics 1
  2. 2. 説明内容SINET4の概要 • SINETの歩み • 高信頼化機能の紹介アーキテクチャの概要と運用 • アーキテクチャの概要 • マルチレイヤネットワークの運用 • L1オンデマンドサービス L1オンデマンドサ ビス • L2オンデマンドサービス © 2012 National nIstitute of Informatics 2
  3. 3. © 2012 National nIstitute of Informatics 3
  4. 4. SINETの歩み 87 - - - - 92 - - - - - 02 - - - - 07 08 09 10 11 12 13 14 15 16 17 - パケット交換網(X.25) クローズドネットワーク▲1987.1 研究・教育活動を支援する“情報ライフライン”(800以上の利用) SINET(インターネット) S ( タ ネ ) ▲1992.4 先端研究のための“超高速ネットワーク環境” スーパーSINET ▲2002.1 ネットワーク統合とサービスの多様化 SINET3 ▲2007.4 最先端学術情報バックボーン ☆ネットワークの経済的高速化 ☆サ ビスの多様化(継続)と利便性向上 ☆サービスの多様化(継続)と利便性向上 SINET4 ☆エッジノードの高安定化 (5年間) ☆加入機関間の通信環境格差の解消 ▲2011.4 次期学術情報ネットワーク ☆上位レイヤサービスの支援・展開 © 2012 National nIstitute of Informatics 4
  5. 5. ネットワークへの要求条件 ユーザ要望等をベースに、要求条件の徹底的な洗い出しから検討を開始【最先端リソース】 【通信の特徴】 【SINET4への要求条件】最先端大型実験装置 大容量データ転送 高速接続 先端的研究分野の創出・進展をドライブ高度測定装置・センサー 大容量DBアクセス マルチレイヤスーパーコンピューター 任意のレイヤ(IP, Ethernet, L1)をサポート超臨場感メディア装置 高精細映像伝送 マルチVPN 各種 各種VPNにより共同研究を協力サポート より共同研究を協力サポ大容量学術データベース大容量学術デ タベ 共同研究環境形成 リソースオンデマンド最先端学術サービス装置 オンデマンドで帯域やVPN設定を可能に 国際通信 人的リソ ス 人的リソース 柔軟なサービスの高度化 柔軟なサ ビスの高度化 ユーザ要望により特有のサービスを提供 【ユーザからの要望等】 加入機関都合によるノード 加入機関都合によるノ ド 非ノード校も経済的高速化 非ノ ド校も経済的高速化 エッジノードの高安定化 停止の回避 が図れるアーキテクチャ エッジノードの保守性向上 ノード未整備県の解消 学術基盤格差の解消 上位レイヤサービスの展開 上位レイヤサービスの展開 © 2012 National nIstitute of Informatics 5
  6. 6. 海外研究ネットワークとの相互接続 北米、欧州およびアジア向けに回線を用意して、相互接続環境を担保 ISP向けは、国内でトランジット。商用IXとも接続 © 2012 National nIstitute of Informatics 6
  7. 7. ネットワークの高速化・高信頼化 北海道-九州を縦断する40Gbpsベースの超高速・高信頼バックボーン  ノード配備の抜本的な見直しによる高速化と全ノードのデータセンタへの配備  コア・エッジ回線は全て二重化回線 コア回線間はマルチループの冗長化構成 コア・エッジ回線は全て二重化回線、コア回線間はマルチル プの冗長化構成 図は平成23年度末の構成 コア回線 コアノード(8) エッジ回線 ッジ回線 エッジノード(42) アクセス回線 加入機関(≧700) :コア回線 (40Gbps) :コア回線 ア回線 (10Gbps) :エッジ回線 (40Gbps) :エッジ回線 (10Gbps) 米国・欧州 :エッジ回線 (2.4Gbps) :コアノード :エッジノード アジア © 2012 National nIstitute of Informatics 7
  8. 8. SINET4の高信頼化設計 SINET4では、以下のネットワーク設計を実施。 (1) データセンターへの機器配備 (2) 二重化回線(エッジ回線、コア回線) 重化回線( ッジ回線、コア回線) (3) 迂回路設定(コアノード間) (4) 論理サービスネットワーク毎の高信頼化機能 (ルーティング、シグナリング、高信頼プロトコル等) (ル ティング シグナリング 高信頼プロトコル等) (3) 迂回路 データセンター選定基準 (4) 論理サービスネットワーク毎 の高信頼化機能 ①任意のキャリアの回線サービスの利用が可能 ①任意のキャリアの回線サ ビスの利用が可能 ②任意の事業者の各種機器類の設置が可能(2)二重化回線 コア ③計画停電による電源供給休止なし ノード ノ ド ④停電時でも、非常用電源供給装置から10時間 以上継続して給電可能 コア ⑤阪神・淡路大震災クラスに耐える耐震性 ノード ⑥24時間365日セキュアに入退館管理を実施 ⑦申請後2時間以内に担当者の緊急入館が可能 エッジ ジ ノード ⑧各大学等を適切に収容可能な位置(1) データセンタ- 8 © 2012 National nIstitute of Informatics
  9. 9. (参考)SINET4の高信頼性 エッジ回線、コア回線は全て二重化し、かつ、ネットワークとして冗長経路を確保 エッジノード、コアノードは全てDCに設置し、地震や停電への耐性を確保 東日本大震災時にも、上記の設計が功を奏し、バックボーンとしてサービス断は発生しなかった。 東日本大震災時にも、上記の設計が功を奏し、バックボ ンとしてサ ビス断は発生しなかった。 :被災回線 弘前大学 回線は全て異経路二重化東日本大震災時の影響 :両系切断 両系切断 北見工業大学 :停電 山形 弘前 :現用系 弘前(1) 回線 東北大学 北海道大学 北見 :予備系一部切断したが迂回路で持ち堪えた 郡山 金沢 仙台両系切断(両系の回復は1カ月以上) 札幌 仙台 札幌 ・仙台-東京回線 仙台 東京回線 ・仙台-金沢回線片系切断(数日間片系運用) 東京 ・仙台-札幌回線 ・札幌-東京回線 茨城 ・仙台-弘前回線 静岡 ・仙台-山形回線 栃木 ノードは全てDC設置 新潟 ・仙台-郡山回線 長野 弘前 :DC ノード(2) ノ ド 群馬停電したが非常用電源で持ち堪えた 神奈川 ・仙台DC (約96時間) 山梨 仙台 札幌 ・山形DC (約28時間) 埼玉 ・弘前DC (約17時間) 調布 千葉 地震、停電への耐性を確保 © 2012 National nIstitute of Informatics 9
  10. 10. アーキテクチャの概要と運用ア キテクチャの概要と運用 © 2012 National nIstitute of Informatics 10
  11. 11. SINET4の提供サービス一覧 世 最先端 世界最先端のサービス群の提供を継続するとともに、オンデマンドサービスなどを拡張予定。 ビ 群 提供を継続する も オ デ ド ビ などを拡 定 サービスメニュー SINET4 備考 E/FE/GE (T) ◎提供インタフェース GE (LX) ◎ 10GE (LR) ◎ インターネット接続 ◎ IPv6 ◎ native/dual stack/tunnel マルチホーミング ◎ フルルート提供 ◎ IPマルチキャスト ◎L3サービスL3サ ビス L3VPN ◎ アプリケーション毎QoS ◎ IPマルチキャスト (QoS) ◎ L3VPN (Q S) (QoS) ◎ L3VPN (マルチキャスト) 予定 L2VPN/VPLS ◎L2サ ビスL2サービス L2VPN/VPLS (QoS) ◎ L2オンデマンド 予定L1サービス L1オンデマンド ◎ パフォーマンス計測/改善 ◎ スループット/RTT情報提供、性能改善ソフト提供(予定)ユーザ支援サービス トラフィック利用状況 ◎ 個別にSINET利用推進室にお問合せください 商用クラウド接続 ◎ ※ その他のサービスも検討中 © 2012 National nIstitute of Informatics 11
  12. 12. SINET4のアーキテクチャ NWの高速化: ネットワーク構成の見直しやダークファイバ+WDM技術などにより経済的に高速化 サービスの多様化: SINET3のアーキテクチャを継承し、リソースオンデマンド機能等を強化・拡張 エッジ高安定化: エッジノード・コアノードともにデータセンターへ設置 格差の解消: アクセス系の高速化を非ノード校へも展開、ノード未設置県の解消 アクセス系の高速化を非ノ ド校 も展開 ノ ド未設置県の解消 上位レイヤ展開: 上位レイヤサービスを支援するインタフェースやサービス共通プラットフォームを整備 上位レイヤサービス L1オンデマンド機能 リソースオンデマンド機能、サービス共通プラットフォーム、等 SINET3 コアノード コア回線 (エッジ機能含む) コアノード 10G~40G コアノ ド 10G 40G (40Gをベース) (40Gをベ ス) 12 拠点 8拠点 (データセンター) 構造 (データセンター) 広域LAN/ 変更 エッジ回線 光アクセス網等 Bフレッツ ッツ (2.4G~40G) (2 4G~40G) 1G~20G 42拠点 エッジノード (データセンター) エッジノード 62 拠点 H23年度末 (ノード校)ノード ノード ノード ダークファイバ アクセス回線 校 校 校 +WDM技術 (1G~40G) 10M~1G 非 非 非 非 非 630強拠点 加入 加入 加入 加入 加入 加入 加入 加入 約700拠点 ノード ノード ノード ノード ノード 機関 機関 機関 機関 機関 機関 機関 機関 (ユーザ拠点) 校 校 校 校 校 (非ノード校) © 2012 National nIstitute of Informatics 12
  13. 13. バックボーン構成~ネットワーキング方式~ 多様なサービス(VPN、リソースオンデマンド、マルチレイヤ、マルチキャスト等)を単一バックボーン 上で実現するために、SINET3のアーキテクチャを踏襲。 論理ルータ機能やL1スイッチ機能を用いてサービス毎の論理ネットワークを構築。 リソース(帯域、VPN)オンデマンド制御機能などの先端機能に関してはNII独自で開発。 加入機関装置 リソ ス リソース data IP Ether L2SW オンデマンド IPルータ : 論理ルータ IPv4/IPv6 制御サーバ data IP VLAN Ether data IP VLAN EtherL3 data IP Ether IPv4/IPv6 L3VPN data d t IP VLAN Eth Ether data IP MPLS VLAN Ether data Ether L3VPN L2VPN/VPLS data VLAN Ether data VLAN Ether MPLS VLAN EtherL2 L2VPN/VPLS data Ether 帯域は無瞬断 L2オンデマンド data VLAN Ether data VLAN Ether MPLS VLAN Ether で変更可能 変更可能 L2OD L2/L3用パス / パ L2/L3用パス L2/L3用パ L1VPNL1 L1オンデマンド L1SW 40G/10G/2.4Gbps 40G/10G/2 4Gbps L1SW 40G/10Gbps エッジノード コアノード © 2012 National nIstitute of Informatics 13
  14. 14. マルチレイヤネットワークの運用マルチレイヤネットワ クの運用 © 2012 National nIstitute of Informatics 14
  15. 15. マルチレイヤネットワークの運用2 シンプルなネットワーク設計 • 1パターンノードの構成を覚えると、他のノード構成をだいたいイメージできる • ノード単位でネットワーク構成図をvisioにより管理 物理接続単位でのユーザ管理 • ノード毎に内部DB及びExcelを利用して管理 VLAN単位でのサービス管理 • Excelを利用して管理 SINET4の構想、設計から調達まで運用メンバーが関わっている 単一バックボーンで実現しているため、基本IPv4/IPv6でバックボーン管理 © 2012 National nIstitute of Informatics 15
  16. 16. 監視運用方法 監視対象となる機器は次 通り 監視対象となる機器は次の通り IPルータ(GWルータ)、L1SW、L2SW(小型L2SW)、WDM、監視ルータ、サーバ アクセス系 L1OD L2OD NII WDM NE-OpS NE-OpS IPルータ・ 全体監視 サーバ サーバ 監視 監視センタ (サーバ) (クライアント) L2監視 センタ 監視用ルータ 監視用ルータ 監視用ルータ 監視 制御網 監視・制御網 ISDN網 コアDC コアDC エッジDC ISDN回線 監視用ルータ 監視用ルータ 監視用ルータ STM256/64/16 STM256/64 L2/L3用パス L2/L3用パス L2/L3用パス 加入機関 L2 L1SW L1SW SW 小型 L1SW IP WDM WDM L2 ルータ SW IP ルータ GW ルータ L2 SW WDM © 2012 National nIstitute of Informatics 16
  17. 17. IPルータ、L2SWの監視運用 IP IPルータ、L2SWの監視は、通常時はバックボーン経由でpingやsnmpを利用して実施する タ L2SW 監視は 通常時はバ クボ 経由 i や を利用 実施する L1OD L2OD NII NE-OpS NE-OpS IPルータ・ 全体監視 サーバ サーバ (サーバ) (クライアント) L2監視 センタ 監視用ルータ 監視用ルータ 監視 制御網 監視・制御網 ISDN網 コアDC コアDC エッジDC ISDN回線 監視用ルータ 監視用ルータ 監視用ルータ STM256/64/16 STM256/64 L2/L3用パス L2/L3用パス L2/L3用パス 加入機関 L2 L1SW L1SW SW 小型 L1SW IP WDM WDM L2 ルータ SW IP ルータ GW ルータ IPルータ・ L2監視 L2 SW WDM © 2012 National nIstitute of Informatics 17
  18. 18. IPルータ、L2SWの監視運用(障害時) バ クボ バックボーン経由での監視がNGになった場合は、監視・制御網経由でCLIレベルで監視を行い、障 経由 監視がNG な た場合は 監視 制御網経由 CLI ベ 監視を行 障 害対応を実施する。 L1OD L2OD NII NE-OpS NE-OpS IPルータ・ 全体監視 サーバ サーバ (サーバ) (クライアント) L2監視 センタ 監視用ルータ 監視用ルータ 監視 制御網 監視・制御網 ISDN網 コアDC コアDC エッジDC ISDN回線 監視用ルータ 監視用ルータ 監視用ルータ STM256/64/16 STM256/64 L2/L3用パス L2/L3用パス L2/L3用パス 加入機関 L2 L1SW L1SW SW 小型 L1SW IP WDM WDM L2 ルータ SW IP ルータ GW ルータ IPルータ・ L2監視 L2 SW WDM © 2012 National nIstitute of Informatics 18
  19. 19. L1SWの監視運用 L1 イ L1スイッチの監視は、監視・制御網を介してNE-OpSサーバが行う。 監視は 監視 制御網を介 NE O Sサ バが行う L1オンデマンド制御も、監視・制御網を利用して行う。 L1オンデマンドによる障害発生時は、基本、翌営業日の日中帯に対応する。 L1OD NE-OpS NII NE-OpS NE-OpS IPルータ・ 全体監視 サーバ (クライアント) (サーバ) (クライアント) L2監視 センタ 監視用ルータ 監視用ルータ L1オンデマンド制御 監視 制御網 監視・制御網 エッジDC コアDC コアDC 監視用ルータ 監視用ルータ 監視用ルータ STM256/64/16 STM256/64 L2/L3用パス L2/L3用パス L2/L3用パス 加入機関 L2 L1SW L1SW SW 小型 L1SW IP WDM WDM L2 ルータ SW IP ルータ GW ルータ L2 SW WDM © 2012 National nIstitute of Informatics 19
  20. 20. WDM装置の監視運用 WDM装置の監視は、監視・制御網を介してWDM監視クライアントで行う。 装 監視 監視 制御網を介 監視 う 拠点機関のWDM装置は、対向のDC設置WDM装置を介して監視・制御を行う。 WDM アクセス系 系 監視 監視センタ 監視用ルータ 監視・制御 監視・制御網 ISDN網 エッジDC コアDC コアDC 監視用ルータ 監視用ルータ 監視用ルータ STM256/64/16 STM256/64 L2/L3用パス L2/L3用パス L2/L3用パス 加入機関 L2 L1SW L1SW SW 小型 L1SW IP WDM W WDM M L2 ルータ タ SW IP ルータ GW ルータ 加入機関 中継局 L2 SW 小型 WDM WDM WDM WDM L2 SW © 2012 National nIstitute of Informatics 20
  21. 21. 監視制御網のバックアップ体制 監視用ルータ間は、OSPFによる動的ルーティングを実施 広域LANの計画作業・障害時は、自動的にISDN網を利用した監視・制御を用いる アクセス系 L1OD L2OD NII WDM NE-OpS NE-OpS IPルータ・ 全体監視 サーバ サーバ 監視 監視センタ (サーバ) (クライアント) L2監視 センタ 監視用ルータ 監視用ルータ 監視用ルータ ISDN網 監視・制御網(広域Ether網) 御 広 コアDC エッジDC 監視用router 監視用router L1SW-1 L2SW MX960 L1SW-1 L2SW WDM WDM WDM 中継局 拠点機関 WDM 拠点機関 WDM 小型L2 WDM 小型L2 © 2012 National nIstitute of Informatics 21
  22. 22. オンデマンドサービス等オンデマンドサ ビス等 © 2012 National nIstitute of Informatics 22
  23. 23. L1オンデマンドサービス オンデマンドでレイヤ1のエンドツーエンドパス(臨時専用線)を提供するサービス ユーザは、シンプルなWeb画面で、接続対地、開始・終了時間、帯域、経路オプション等を指定して、 L1パスの予約を要求 要 L1オンデマンドサーバは、ユーザからの予約受付、パスの経路計算、等を行い、指定時間にNE-OpS に対してパス設定・開放を要求 (必要に応じて、L2/L3サービス用パスの帯域を変更) NE-OpSはL1SWにパス設定を要求し、L1SW間の通信(GMPLS利用)によりL1パスが確立 NE OpSはL1SWにパス設定を要求し、L1SW間の通信(GMPLS利用)によりL1パスが確立 接続対地、開始・終了時間、 帯域等を指定 L1オンデマンド サーバ ゙ ユーザ NE-OpS L1パス設定・開放要求 CORBA L2/L3サービス用パスの帯域変更要求 L1SWに対して指示 TL1 監視・制御網 GMPLSで LCASで L2SW L1パス設定 帯域変更 L2SW IPルータ IPルータ On-demand L2/L3サービス用パス (10GE) L1SW L1SW L1SW L1SW L1パス © 2012 National nIstitute of Informatics 23
  24. 24. L1OD用バックボーン帯域設定 L1ODサービスでは、リンク毎に下記の2つのパラメータを設定し、帯域を調整している。 • デフォルト帯域: 常に利用可能な帯域、即日利用は事前予約分を引いた範囲で利用可能 • 利用可能最大帯域: 事前予約すれば利用可能な最大の帯域 (定めた時間帯注)で異なる) 実際の割り当て帯域は、ユーザからの事前予約要求(要求総帯域)に基づき、以下の通りとなる。 • 要求総帯域がデフォルト帯域を超えない場合: デフォルト帯域を割り当て • 要求総帯域がデフォルト帯域を超える場合: 定めた時間帯における最大の要求帯域を割り当て LCASは、定められた時間帯の始点と終点でのみ動作させる。 注)定めた時間帯 :L1OD用のデフォルト帯域 用 デ ォ 帯域 • 平日08:00~22:00 • 平日22 00 08 00 平日22:00~08:00 :L1OD用に利用可能な最大帯域 • 土日・祝日 :実際のL1OD用割り当て帯域 • イベント日 : LCAS起動 L1ODユーザからの事前予約要求(要求総帯域) L1ODサービス用帯域 L2/L3サ ビス用帯域 L2/L3サービス用帯域 L2/L3 サービストラフィック 月 火 水 木 金 土 日 © 2012 National nIstitute of Informatics 24
  25. 25. L1ODユーザ予約画面例(a) 対象VPN選択(b) 対象ノード選択 プルダウンで選択(c) 時間指定 5分単位で指定 帯域: 150Mbps単位(d) 物理ポート 帯域 物理ポ ト、帯域、 経路オプション選択 経路: •最小遅延経路 •最大帯域経路 •同時経路制約 (複数パスの場合)(e) 確認画面 © 2012 National nIstitute of Informatics 25
  26. 26. L2オンデマンドサービス(トライアル実施予定)  オンデマンドでレイヤ2のVPN(多対地のメリットを有するVPLS)を提供するサービス。  ユーザは、Web画面で、接続対地、開始・終了時間、帯域等を指定して、VPNを予約。  ネットワーク側ではパスの経路計算等を行い、指定時間にVPN設定を実施。  ユーザポートとユーザVLAN-IDはユーザが選択し、ネットワーク内で付与するVLAN-IDはネットワー ク側で自動的に選択。 接続対地、(ユーザVLAN-ID)、開始・終了時間、 帯域等を指定 • 機器設定情報取得 VLAN :ユーザVLANタグ ユーザ端末 L2VPNオンデマンド • L2パス設定 VLAN-W :NW内VLANタグ • QoS指定 サーバ • NW内VLANタグを付与 NETCONF インバンド制御 インバンド制御 • ユーザVLANタグは置換 VLAN多重 L2OD-LS L2OD-LS間MPLSパス L2OD-LS data VLAN Ether data VLAN-W Ether VPN-W RSVP C VLAN13 Ether data VLAN-W Ether data VLAN Ether サービス多重 data VLAN Ether data VLAN-X Ether data VLAN-X Ether VPN-X RSVP C VLAN13 Ether data VLAN-X Ether data VLAN Etherサービス非多重 data Ether data VLAN-Y Ether data VLAN-Y Ether data VLAN-Y Ether VPN-Y RSVP C VLAN13 Ether data VLAN-Y Ether data VLAN-Y Ether data Etherサービス多重data VLAN Ether data VLAN-Z Ether data VLAN-Z Ether data VLAN-Z Ether VPN-Z RSVP C VLAN13 Ether data VLAN-Z Ether data VLAN-Z Ether data Ether 小型L2SW L2SW IPルータ IPルータ L2SW 小型L2SW © 2012 National nIstitute of Informatics 26
  27. 27. 商用クラウドサービスを活用した大学等の プライベートクラウド構築へのサポート SINET VPN(L2)サービスを活用し、商用クラウドサービスを用いたセキュアなプライベートクラウドの 構築をより便利に実現。 • クラウドサービス(メールサービス、ストレージサービス等)提供業者がSINETへ直接接続できる 枠組みを新たに構築(ただし、業者のSINETへの接続申請手続きが必要)。 枠組 を新た 構築(ただ 業者 SINET 接続申請手続きが必要) • 加入機関の契約したクラウドサービスと加入機関をVPN(L2)接続し、セキュアサービスを実現。 参考URL:http://www.sinet.ad.jp/service/other/cloud_services クラウドサ ビス提供業者の クラウドサービス提供業者の A大学 商用データセンター SINETのVPN(L2)で接続 (学内LANと同等の扱い A大学が契約して が可能) いる業者のクラウド 業 ラ サービス B大学が契約して いる業者のクラウB大学 ドサービス SINETのVPN(L2)で接続 © 2012 National nIstitute of Informatics 27
  28. 28. ご清聴ありがとうございました © 2012 National nIstitute of Informatics 28

×