Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

AWS Black Belt Techシリーズ AWS Direct Connect

34,782 views

Published on

AWS Black Belt Tech Webinar 2014
(旧マイスターシリーズ)

AWS Direct Connect

Published in: Technology
  • Be the first to comment

AWS Black Belt Techシリーズ AWS Direct Connect

  1. 1. AWS Direct Connect AWS Black Belt Tech Webinar 2015 (旧マイスターシリーズ) アマゾンデータサービスジャパン株式会社 ソリューションアーキテクト 吉⽥英世 2015.01.28 (2017/01/27 Renewed)
  2. 2. AWS Black Belt Tech Webinar へようこそ! • 参加者は、⾃動的にミュートになっています • 質問を投げることができます! – GoToWebinarの仕組みを使って、書き込んでください – ただし環境によっては、⽇本語の直接⼊⼒ができないので、 お⼿数ですが、テキストエディタ等に打ち込んでから、 コピペしてください – 最後のQ&Aの時間で、できるだけ回答させて頂きます – 書き込んだ質問は、主催者にしか⾒えません • Twitterのハッシュタグは#jawsugでどうぞ
  3. 3. Agenda • Direct Connect 概要 • Direct Connectの接続構成 • Direct Connectのオペレーション • 冗⻑構成 • 注意事項 • ハイブリッド構成事例 • まとめ
  4. 4. AWS Direct Connect 概要
  5. 5. AWS Direct Connectとは? お客様 AWS Cloud EC2, S3などの Public サービス Amazon VPC 相互接続ポイント 専⽤線 サービス AWSとお客様設備(データセンター、オフィス、またはコロケーション) の間に専⽤線を利⽤したプライベート接続を提供するサービス
  6. 6. 接続イメージ:東京リージョンの例 AWS機器 東京リージョン お客様機器 もしくは キャリア様機器 お客様 お客様のダークファイバ もしくは キャリア様回線 エクイニクス様 TY2,TY6,TY7(東京)/OS1(⼤阪) ポート接続を提供 (1Gbps or 10Gbps) 相互接続ポイントがある リージョンに接続
  7. 7. 相互接続ポイントの主要なロケーション Region Location US East(Virginia) CoreSite NY1 & NY2 Equinix DC1 – DC6 & DC10 US West (Northen Calfornia) CoreSite One Wilshire & 900 North Alameda, CA Equinix SV1 & SV5 US West (Oregon) Equinix SE2 & SE3 Switch SUPERNAP 8 EU (Frankfurt) Equinix FR5 EU (Ireland) Eircom Clonshaugh TelecityGroup, London Docklands’ Asia Pacific (Singapore) Equinix SG2 China(北京) CIDS JIACHUANG IDC SINNET JIUXIANQIAO IDC Asia Pasific (Tokyo) Equinix TY2 Equinix OS1 South America (San Paulo) Terremark NAP do Brasil https://aws.amazon.com/jp/directconnect/details/その他のロケーションはこちらを参照
  8. 8. 東京リージョンにおける Direct ConnectをサポートするAPNパートナー様 http://aws.amazon.com/jp/directconnect/partners/ ・CFN Services ・Equinix, Inc. ・Hibernia Networks ・KVH株式会社 ・Level3 Communications, Inc. ・野村総合研究所(NRI) ・NTTコミュニケーションズ株式会社 ・Pacnet ・ソフトバンクテレコム株式会社 ・Tata Communications ・Verizon リストに掲載されていないパートナー様も いらっしゃるため、詳細は営業・SAに お問い合わせください。
  9. 9. ConnectionとVirtual Interface VLAN200 VLAN100 VLAN300 Connection Virtual Interface Virtual Interface Virtual Interface Connectionは物理インタフェース、 Virtual InterfaceはConnection中の論理インタフェースを表す。 Virtual InterfaceはそれぞれユニークなVLAN IDをもつ。
  10. 10. クロスアカウント利⽤ Connection Virtual Interface Connectionを保持しているAWSアカウントから、他のAWSアカウントに対し Virtual Interfaceを提供することが可能。 情報システム部 AWSID:123456789012 関連会社Z AWSID:999999999999 情報システム部 AWSID:123456789012 開発部 AWSID:000000000000 関連会社ネットワーク 開発ネットワーク 社内基幹ネットワーク
  11. 11. AWS Direct Connect導⼊のメリット • 帯域スループット向上 • インターネットベースの接続よりも⼀貫性がある • ネットワークコスト削減 $0.042 $0.042 $0.042 $0.042 $0.140 $0.135 $0.130 $0.120 $0.020 $0.040 $0.060 $0.080 $0.100 $0.120 $0.140 $0.160 First 10TB Next 40TB Next 100TB Next 350TB Direct Connect Internet 東京リージョン、 2015年1⽉28⽇現在 データ転送料⾦(Out)
  12. 12. インターネットVPN vs 専⽤線 インターネットVPN 専⽤線 コスト 安価なベストエフォート 回線も利⽤可能 キャリアの専⽤線サービス の契約が必要 リードタイム 即時~ 数週間~ 帯域 暗号化のオーバーヘッドに より制限あり ~10Gbps 品質 インターネットベースの ため経路上のネットワーク 状態の影響を受ける キャリアにより⾼い品質が 保証されている 障害時の切り分け インターネットベースの ため⾃社で保持している 範囲以外での切り分けが 難しい エンドツーエンドでどの 経路を利⽤しているか把握 できているため⽐較的容易
  13. 13. 課⾦体系 AWS Direct Connectの⽉額利⽤料 ① ポート使⽤料 + ② データ転送料 データ転送料⾦は ・Virtual Interfaceを利⽤しているVPCのオーナーアカウントに課⾦ ・パブリック接続の場合、パブリック上のリソースを所有している オーナーアカウントに課⾦
  14. 14. Direct Connectの接続構成
  15. 15. 2種類の接続メニュー(Virtual Interfaceの種別) お客様 AWS Cloud EC2, S3などの Public サービス Amazon VPC 相互接続ポイント 専⽤線 サービス
  16. 16. プライベート接続 オフィス/データセンター VPC subnet VPC subnet 192.168.0.0/24 10.0.0.0/16 BGPによる ルーティング 192.168.0.0/24宛の 通信をVGWに設定 192.168.0.0/24を広告 10.0.0.0/16の VPC CIDRを広告 Virtual Gateway
  17. 17. パブリック接続(⾃前のパブリックIPを利⽤) オフィス/データセンター 203.0.113.0/28 BGPによる ルーティング パブリックIPである 203.0.113.240/28を広告 接続先リージョンの AWSクラウドの ネットワークアドレスを広告 192.168.0.0/24 AWSとの通信は パブリックIPでとなるため NAT(NAPT)が必要
  18. 18. パブリック接続(AWSからパブリックIPをアサイン) オフィス/データセンター BGPによる ルーティング パブリックIPである 203.0.113.100/31を広告 接続先リージョンの AWS Cloudの ネットワークアドレスを広告 192.168.0.0/24 AWSとの通信は パブリックIPでとなるため NAT(NAPT)が必要
  19. 19. 論理接続 VPC 1 Private Virtual Interface 1 VLAN Tag 101 BGP ASN 10124 BGP Announce 10.1.0.0/16 Interface IP 169.254.251.1/30 10.1.0.0/16 VGW 1 Customer Switch + Router Customer Interface 0/1.101 VLAN Tag 101 BGP ASN 65001 BGP Announce Customer Internal Interface IP 169.254.251.2/30 VLAN 101 VLAN 102 VLAN 103 VGW 2 VGW 3 Route Table Destination Target 10.1.0.0/16 PVI 1 10.2.0.0/16 PVI 2 10.3.0.0/16 PVI 3 AWS Cloud PVI 5 Customer Internal Network VPC 2 10.2.0.0/16 VPC 3 10.3.0.0/16 VLAN 501 Public AWS Region NAT / PAT Security Layer Connection Virtual Interface
  20. 20. 物理接続 ルータ Patch Panel Patch Panel Patch Panel ルータ Patch Panel クロスコネクト 相互接続ポイント拠点 AWSラックパートナー様/ お客様ラック Meet-Me Room お客様拠点 AWS お客様/ パートナー様 それぞれのリージョン
  21. 21. APNパートナーにより拡張されたDirect Connect • 相互接続ポイントにおける接続装置等の設置場所 – 専⽤線とのパッケージ提供する場合も • 10Mbps, 100Mbps等1Gbps よりも狭帯域のサービス • お客様指定の場所から相互接続ポイントまでのアクセス • 広域WANで複数拠点からAWSへの接続
  22. 22. パートナー様の提供サービス(占有型・共有型) • Direct Connect(占有型) – Connectionをお客様へ提供 – Virtual Interfaceはお客様側で⾃由に設定可能 • Direct Connect(共有型) – Connectionはパートナー様のアカウントで持つ – Virtual Interfaceはお客様のリクエストベースでパートナー様が設 定
  23. 23. パートナー様のサービス提供形態例 キャリア様閉域網 パートナー様閉域網サイト間ポイントツーポイント
  24. 24. Sub-1G • AWSがAPNパートナーに対して無償で物理ポートを提供 • シェーピングをしたVLANで分離された論理ポート • エンドユーザが利⽤料をAWSに⽀払い – 500M, 400M, 300M, 200M, 100M, 50M • http://aws.amazon.com/directconnect/pricing/
  25. 25. パートナー様とのサービスとの組み合わせ データセンター 本社 モバイル網 ⽀社/店舗 モバイル端末 VPC キャリア様閉域網
  26. 26. Direct Connectのオペレーション
  27. 27. Direct Connect利⽤開始⼿順フロー (Conncectionの作成) 利⽤ユーザ AWS APNパートナー 相互接続ポイントの事業者 ①利⽤申請 (マネージメントコンソールから) ②追加情報の確認(オプション) ③追加情報の返信(オプション) ④LOA-CFA取得 (マネージメントコンソールから) ⑤LOA-CFA転送・物理配線依頼 ⑥配線完了 AWS側配線作業 事業者側配線 Virtual Interface の作成
  28. 28. ①Direct Connect利⽤申請 AWSマネージメントコンソールにログインし、”Tokyo”リージョンを選択。 [Services]-[Networking]-[Direct Connect]をクリック。 “Connections”の”Create Connection”をクリック。
  29. 29. ①Direct Connect利⽤申請 (cont) 必要な項⽬を⼊⼒し、”Create”をクリック。 Connection Name コネクション名(任意の⽂字列) Location Equinix TY2, TY6 & TY7, Tokyo / Equinix OS1, Osaka Port Speed: 1Gbps / 10Gbps
  30. 30. ①Direct Connect利⽤申請 (cont) Connectionsのリストに作成したConnectionが表⽰される。 Statusは”requested”
  31. 31. ②追加情報の確認および③追加情報の返信(オプション) 追加の情報が必要な場合、AWSマネージメントコンソールの メールアドレス宛にAWSから確認メールが送信されます。 7⽇以内に必要情報返信してください。 (7⽇以内に返信が無い場合、前の⼿順で作成したDirect Connectの Connectionは⾃動的に削除されます。)
  32. 32. ④物理配線情報(LOA-CFA)送付、 ⑤LOA-CFA転送・物理配線依頼 AWS側の物理配線が完了し、72時間以内に相互接続ポイントの物理配線情報: LOA-CFA(Letter of Authorizationand Connecting Facility Assignment)が マネージメントコンソールからダウンロード可能になります。 LOA-CFAの情報をパートナー様もしくは相互接続ポイントのデータセンター事業者 へ送付し、構内の物理配線を依頼してください。 注意:配線完了後のメール連絡はありませんので、ご⾃⾝でご確認ください。 72時間以内にLOA-CFAができない場合、AWSサポートまでご連絡ください。
  33. 33. ⑥配線完了 配線が完了すると、AWSマネージメントコンソールの[Direct Connect]- [Connections]から回線を確認することができます。
  34. 34. Virtual Interfaceの作成(プライベート接続)
  35. 35. Virtual Interfaceの作成(パブリック接続)
  36. 36. クロスアカウントでのVirtual Interface利⽤ Virtual Interfaceを作成 Virtual InterfaceのリクエストをAccept “Connections”を保持しているアカウント “Virtual Interface”を利⽤するアカウント
  37. 37. VPCのRouteTable設定 オンプレミスのネットワークを宛先、 vgwをターゲットとしてルーティングの エントリを追加。 “Propagate”を設定することでvgwで 受信したルートを⾃動的に反映。
  38. 38. オンプレミス拠点側ルータの要件 • BGP対応であること – MD5認証対応 • IEEE 802.1q VLANが利⽤できること – スイッチングハブでタグVLANを終端するなら必要なし • RFC 3021 (/31サブネット)対応であること – パブリック接続でAWSからパブリックIPアドレスを利⽤する場合のみ
  39. 39. BGPとは? BGP(Border Gateway Protocol)とは、インターネット上でプロバイダ同⼠の 相互接続において、お互いの経路情報をやり取りするために使われるルーティング プロトコルの⼀つです。 ISP-A ISP-B ネットワークP ネットワークQ ネットワークPのアドレスを広告 ネットワークQのアドレスを広告 AS65000 AS65001
  40. 40. ルータ設定 interface GigabitEthernet0/1 no ip address speed 1000 full-duplex interface GigabitEthernet0/1.VLAN_NUMBER description direct connect to aws encapsulation dot1Q VLAN_NUMBER ip address IP_ADDRESS router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS remote-as 7224 neighbor NEIGHBOR_IP_ADDRESS password "MD5_key" network 0.0.0.0 exit edit interfaces ge-0/0/1 set description " AWS Direct Connect " set flexible-vlan-tagging set mtu 1522 edit unit 0 set vlan-id VLAN_ID set family inet mtu 1500 set family inet address IP_ADDRESS exit exit edit protocols bgp group ebgp set type external set authentication-key "MD5_KEY" set peer-as 7224 set neighbor NEIGHBOR IP ADDRESS Cisco Juniper
  41. 41. サンプルコンフィグのダウンロード 作成したVirtual Interfaceの設定値を元にしたサンプルコンフィグが ダウンロード可能。 ただし、Connectionsを保持しているアカウントからのみ。 [Direct Connect]-[Virtual Interfaces]を選択し、リストから該当のVirtual Interfaceを選択。
  42. 42. サンプルコンフィグ
  43. 43. 冗⻑構成
  44. 44. 冗⻑構成の考え⽅ eBGPeBGP iBGP iBGPにより同AS内の隣接ルータ にBGPのパス属性値を伝達し、 どちらの経路を選択するかAS内 で総合的に判断 論理的には⼀つのオブジェクトに⾒えるが、 実際には物理的に冗⻑化されている VPC上のVGW(Virtual Private Gateway)に複数のDirect Connect またはVPN接続を終端可能。 AWS上の設定ではなく、お客様ルータの設定により経路制御を⾏う。 経路制御はBGPの⼀般的な考え⽅を適⽤。 オンプレミス
  45. 45. BGPパス属性 BGPで経路交換している複数の経路から、ベストな経路を選択するために 評価する属性値。今回はLP(Local Preference)とAS-Path Prependを 使った構成を利⽤。 LP:100 Prepend:2つ LP:200 Prepend:1つ LP:300 Prepend:なし ベストパス オンプレミス ルータ 送信ルートにAS-Path Prependを付与し、 受信トラフィックを制御 (隣接ルータに情報を与え ている) VGW 受信ルートにLPを付与し、 送信トラフィックを制御
  46. 46. 冗⻑構成(Direct Connect x2, Active/Active) ActiveActive トラフィックを ロードバランス Direct Connect2本の間で トラフィックをロードバランス し、Active/Activeとして利⽤。 障害時は⽚⽅の回線に迂回する ため、回線の輻輳がおきない ように帯域に注意が必要。 このとき、2つの経路のBGP属 性値(LP, ASパス⻑)は等価で ある必要がある。
  47. 47. 冗⻑構成(Direct Connect x2, Active/Standby) StandbyActive 障害時にStandby へ切り替え Direct Connect2本のどちらか を通常利⽤とし、障害時は⽚⽅ の回線へ⾃動切り替えを⾏う。 それぞれのルータのBGP属性値 により、Active/Standbyを判断 するように設定。 LP=200 Prependなし LP=100 Prependあり
  48. 48. 冗⻑構成(Direct Connect/VPN) StandbyActive Standby⽤に インターネットVPN を利⽤ Direct Connect障害時のバック アップ回線としてインターネット VPNを利⽤。 異なる回線種別のため、フェール オーバー時にはパフォーマンスに 影響が出る場合があるため注意。 LP=200 Prependなし LP=100 Prependあり
  49. 49. 障害時のフェールオーバーに関する注意点 AS1 AS2 スイッチ スイッチ リンク断のタイミングで 障害検知! スイッチの向こうの リンク断は検知できない すぐに切り替わる Hold timerの間 切り替わらない 切断発⽣〜フェールオーバー までの時間に発⽣した トラフィックは到達できない。
  50. 50. 障害時のフェールオーバーは、 BGPピア上の障害を いかに早く検知するかがカギ!
  51. 51. KeepaliveとHold Timer 隣接するルータはお互いにKeepaliveを予め決められたインターバルで 定期的に送信。 HoldDown Timer(待機時間)はKeepaliveの3倍が設定されており、 Keepaliveを受信すると0にリセットされる。 設定されたHold Timerを超過すると障害と認定。 隣接ルータ間ではそれぞれの時間が短い⽅を利⽤する。 反映にはBGPピアのsoftリセットが必要。 Keepalive Hold Timer Keepalive 60秒 0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・ ・・・180 Keepaliveが到達すると Hold Timerをリセット Hold Timerのカウンタが超 過するとBGPピアを切断 Keepaliveが到達しないので Hold Timerはカウントアップ Keepalive=60 Hold Timer=180 の場合 Keepalive 60秒
  52. 52. 対策1: keepalive/Hold Timerのチューニング router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS timers 10 30 お客様ルータのKeepaliveとHold Timerを短く設定することで、 フェールオーバーを検知する時間を短縮。 以下の例はKeepaliveを10秒、Hold Timerを30秒に設定。 edit protocols bgp group ebgp set hold-time 30 Cisco Juniper デフォルト値 Keepalive 60秒 Hold Timer 180秒 デフォルト値 Keepalive 30秒 Hold Timer 90秒
  53. 53. 対策2: BFD(Bidirectional Forwarding Direction) 経路上の障害を⾼速に検知し、ルーティングプロトコル(今回はBGP) に通知する機能。 隣接ルータ同⼠でパケットをミリ秒単位で送受信する。 例は50ミリ秒でBFDパケットを送信、3度受け取れない場合は障害と みなす。 bfd interval 50 min_rx 50 multiplier 3 router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS fall-over bfd edit interfaces ge-0/0/1 edit bfd-liveness-detection set minimum-inverval 50 set multiplier 3 Cisco Juniper
  54. 54. オンプレミス内部のルーティング Direct ConnectのBGP接続から受 信したルートをOSPFに再配布 VRRP/HSRPなどでLAN上の ゲートウェイを冗⻑ コアスイッチ コアスイッチ OSPF VRRP コアスイッチはOSPFにより AWSへの経路を選択
  55. 55. 注意事項
  56. 56. VPC Peering利⽤時の注意 オンプレミス オンプレミスのネットワーク を広告できない VPC Peeringはオンプレミスのルートを広告できないため、VPC をまたいだ通信はできない。
  57. 57. 経路集約の必要性 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.0.0/24 + 192.168.1.0/24 + 192.168.2.0/24 =192.168.0.0/16 お客様ルータから広告できるネットワーク数は100まで。 普段から経路集約を意識する設計を! デフォルトルートの広告も有効な場合もあり。
  58. 58. ⾮対称ルーティング時の注意 ⾮対称ルーティング⾃体は問題 なく通信可能。 Active/Standbyの場合、 StandbyがVPNを利⽤している と通信に影響が出る可能性あり。 ファイアウォール利⽤時には ⾮対称ルーティングに対応して いないクラスタを利⽤すると パケットが破棄されるので注意。
  59. 59. Direct Connectを利⽤した ハイブリッド構成の事例
  60. 60. マルチVPC接続 営業⽀援 会計 BI ⽂書管理 利⽤者 保守業者 管理者 AD 監視ソフト DNS Direct Connect 接続⼝ 1 VPC 1 VPC 1 VPC 1 VPC 1 VPC I G W V G W V G W V G W I G W V G W V G W Router#1 Router#2 Router#1 Router#2 Router#1 Router#2 FW SSO NTP 既存環境 OracleWIN ⼈事 WIN WIN Oracle BI DB WIN Proxy 専⽤線 専⽤線また はVPN
  61. 61. 3層構造 Webシステム APPサーバ Webサーバデータベース データベースアクセス
  62. 62. クローズドWorkSpaces お客様拠点 プライベートネットワーク WorksSpaces 接続エンドポイント AWS Cloud AS65000 AS10124 x.x.x.x/31 or 32 y.y.y.y/30 グローバルIPであること! お客様準備 もしくは AWS提供 S3 プライベートIPで OK AS65001 インターネット 外部ネットワーク/DMZ 内部ネットワーク AWS Cloudとの 通信はルータで NAT プライベートAS でもOK
  63. 63. オンプレミス環境のWebサーバオフロード ロードバランサ
  64. 64. 東京/⼤阪での⾼可⽤性Direct Connect接続 Equinix TY2 (東京) Equinix OS1(⼤阪) 相互接続ポイント⾃体を冗⻑化することが可能 ポート料⾦、トラフィック料⾦は東阪どちらも同じ
  65. 65. まとめ
  66. 66. まとめ • AWS Direct Connectを利⽤することで、オンプレミスとAWS間の ネットワークにおいて、帯域のスループット向上、⼀貫性のある ネットワーク接続、データ転送量コスト削減が実現できる • APNパートナー様の各種サービスにより、多様なネットワークを構 成することができる • 要件に応じていろいろな冗⻑構成を選択することが可能
  67. 67. AWS専⽤線アクセス体験ラボ sponsored by Intel http://aws.amazon.com/jp/dx_labo/ ■事前に設定を確認したい ■フェイルオーバー時の動作を確認したい ■スループットがどれだけなのか実際に試してみたい ■⾃前のルータがDirect Connectに接続できるか確認したい ・・・などなど お問い合わせは営業・SAまで!
  68. 68. Q&A
  69. 69. Webinar資料の配置場所 • AWS クラウドサービス活⽤資料集 – http://aws.amazon.com/jp/aws-jp-introduction/
  70. 70. 公式Twitter/Facebook AWSの最新情報をお届けします @awscloud_jp 検索 最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを 日々更新しています! もしくは http://on.fb.me/1vR8yWm
  71. 71. 次回のAWS Black Belt Tech Webinar は、 2⽉4⽇(⽔) 18:00〜 ~ AWS Key Management Service(KMS)~
  72. 72. ご参加ありがとうございました。

×