Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

18,755 views

Published on

AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

Published in: Technology
  • Be the first to comment

AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

  1. 1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト ネットワークスペシャリスト 菊池 之裕 2017.10.03 【AWS Black Belt Online Seminar】 AWSへのネットワーク接続とAWS上のネットワーク 内部設計
  2. 2. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 自己紹介 名前:菊池 之裕(きくち ゆきひろ) 所属:アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト ネットワークスペシャリスト ロール: Network系サービスについてのご支援 経歴: ISP,IXP,VPN運用、開発を経てネットワーク機器、仮想ルータ販売 会社のプリセールス、プロダクトSEからAWSへ 好きな AWS サービス: Direct Connect,VPC,Market Place
  3. 3. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 内容についての注意点 • 本資料では2017年10月3日時点のサービス内容および価格についてご説明しています。最新 の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に 相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。 • 価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途 消費税をご請求させていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.
  4. 4. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Direct Connectの冗長化 • Direct Connect の提供形態とパートナー • AWS内部ネットワークの設計(大規模) • Transit VPC • Hub-Spoke VPC peering & Proxy. • まとめ Direct Connect及びVPCに関する基本的な説明は割愛します
  5. 5. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Direct Connect 特徴 (http://aws.amazon.com/jp/directconnect/) • 各リージョンへの専用線接続口 • 複数のVPCをのせられる • キャリアは自由に選択可能 提携キャリアも存在 価格体系 (http://aws.amazon.com/jp/directconnect/pricing/) • ポート利用時間 • データ転送量(OUT) はインターネットの3分の1 AWSへの専用線接続サービス $0.000 $0.020 $0.040 $0.060 $0.080 $0.100 $0.120 First 10TB Next 40TB Next 100TB Next 350TB Direct Connect
  6. 6. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. • 各リージョンへの専用線接続口 • 複数のVPCまたは、複数のパブリック接続 インターフェースをのせられる • インターネットに比べて – 安価なアウトバウンドトラフィック料金(インは同じく 無料) – 安定したパフォーマンス • 複数のアカウントで共有可能 • 冗長接続を選択可能 AWS Direct Connect
  7. 7. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Direct Connectの冗長化 • Direct Connectは専用線サービス • 1本の接続では冗長性がない • 複数接続を利用し、冗長を取るのがベストプラクティス • 複数パートナーからの契約、拠点冗長、パートナー内での回 線冗長などパートナー経由の冗長化も可能
  8. 8. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 冗長構成の考え方 eBGPeBGP iBGP iBGPにより同AS内の隣接ルータ にBGPのパス属性値を伝達し、 どちらの経路を選択するかAS内 で総合的に判断 論理的には一つのオブジェクトに見えるが、 実際には物理的に冗長化されている VPC上のVGW(Virtual Private Gateway)に複数のDirect Connect またはVPN接続を終端可能 AWS上の設定ではなく、お客様ルータの設定により経路制御を行う 経路制御はBGPの一般的な考え方を適用 オンプレミス
  9. 9. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. BGPパス属性 BGPで経路交換している複数の経路から、ベストな経路を選択するために 評価する属性値DXではLP(Local Preference)とAS-Path Prependが有効 ※MEDはサポートしていない LP:100 Prepend:2つ LP:200 Prepend:1つ LP:300 Prepend:なし ベストパス オンプレミス ルータ 送信ルートにAS-Path Prependを付与し、 受信トラフィックを制御 (隣接ルータに情報を与え ている) VGW 受信ルートにLPを付与し、 送信トラフィックを制御
  10. 10. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 冗長構成(Direct Connect x2, Active/Active) ActiveActive トラフィックを ロードバランス Direct Connect2本の間で トラフィックをロードバランス し、Active/Activeとして利用 障害時は片方の回線に迂回する ため、回線の輻輳がおきない ように帯域に注意が必要 ※CloudWatchの利用やルータ の帯域を可視化して監視する このとき、2つの経路のBGP属 性値(LP, ASパス長)は等価で ある必要がある
  11. 11. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 冗長構成(Direct Connect x2, Active/Standby) StandbyActive 障害時にStandby へ切り替え Direct Connect2本のどちらか を通常利用とし、障害時は片方 の回線へ自動切り替えを行う それぞれのルータのBGP属性値 により、Active/Standbyを判断 するように設定 LP=200 Prependなし LP=100 Prependあり
  12. 12. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 冗長構成(Direct Connect/VPN) StandbyActive Standby用に インターネットVPN を利用 Direct Connect障害時のバック アップ回線としてインターネット VPNを利用 異なる回線種別のため、フェール オーバー時にはパフォーマンスに 影響が出る場合があるため注意 LP=200 Prependなし LP=100 Prependあり
  13. 13. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 障害時のフェールオーバーに関する注意点 AS1 AS2 スイッチ スイッチ リンク断のタイミングで 障害検知! スイッチの向こうの リンク断は検知できない すぐに切り替わる Hold timerの間 切り替わらない 切断発生〜フェールオーバー までの時間に発生した トラフィックは到達できない
  14. 14. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 障害時のフェールオーバーは、 BGPピア上の障害を いかに早く検知するかがカギ!
  15. 15. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. KeepaliveとHold Timer 隣接するルータはお互いにKeepaliveを予め決められたインターバルで 定期的に送信 Hold Timer(待機時間)はKeepaliveの3倍が設定されており、 Keepaliveを受信すると0にリセットされる 設定されたHold Timerを超過すると障害と認定 隣接ルータ間ではそれぞれの時間が短い方を利用する 反映にはBGPピアのsoftリセットが必要 Keepalive Hold Timer Keepalive 60秒 0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・ ・・・180 Keepaliveが到達すると Hold Timerをリセット Hold Timerのカウンタが超 過するとBGPピアを切断 Keepaliveが到達しないので Hold Timerはカウントアップ Keepalive=60 Hold Timer=180 の場合 Keepalive 60秒
  16. 16. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 対策1: keepalive/Hold Timerのチューニング router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS timers 10 30 お客様ルータのKeepaliveとHold Timerを短く設定することで、 フェールオーバーを検知する時間を短縮 以下の例はKeepaliveを10秒、Hold Timerを30秒に設定 edit protocols bgp group ebgp set hold-time 30 Cisco Juniper デフォルト値 Keepalive 60秒 Hold Timer 180秒 デフォルト値 Keepalive 30秒 Hold Timer 90秒
  17. 17. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 対策2: BFD(Bidirectional Forwarding Direction) 経路上の障害を高速に検知し、ルーティングプロトコル(今回はBGP) に通知する機能 隣接ルータ同士でパケットをミリ秒単位で送受信する 例は50ミリ秒でBFDパケットを送信、3度受け取れない場合は障害と みなす bfd interval 50 min_rx 50 multiplier 3 router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS fall-over bfd edit interfaces ge-0/0/1 edit bfd-liveness-detection set minimum-inverval 50 set multiplier 3 Cisco Juniper
  18. 18. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. オンプレミス内部のルーティング Direct ConnectのBGP接続から受 信したルートをOSPFに再配布 VRRP/HSRPなどでLAN上の ゲートウェイを冗長 コアスイッチ コアスイッチ OSPF VRRP コアスイッチはOSPFにより AWSへの経路を選択
  19. 19. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Direct Connect の提供形態と パートナー
  20. 20. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. パートナー様の提供サービス(占有型・共有型) Direct Connect(占有型) • Connectionをお客様へ提供 • Virtual Interfaceはお客様側で自由に 設定可能 Direct Connect(共有型) • Connectionはパートナー様のアカウン トで持つ • Virtual Interfaceはお客様のリクエスト ベースでパートナー様が設定 Connection (1Gまたは10G) Virtual Interface VLAN:101 お客様アカウント Connection (1Gまたは10G) Virtual Interface VLAN:101 アカウント:お客様A パートナーアカウント Virtual Interface VLAN:102 アカウント:お客様B Virtual Interface VLAN:102 お客様権限で自由に追加可能 リクエストに応じて パートナーが設定 お客様アカウント
  21. 21. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. パートナー様の提供サービス(共有型 Sub 1G) Direct Connect(共有型 Sub 1G) • Connectionはパートナー様のアカウントで持つ • Hosted Connectionと呼ぶ仮想的なConnectionをお客様へ提供 • Virtual InterfaceはHosted Connectionに紐付けされ追加可能 • このモデルの場合、ポート時間料金はお客様に課金される Connection (1Gまたは10G) Hosted Connection VLAN:101 Speed 100Mbps パートナーアカウント お客様アカウント Hosted Connection VLAN:102 Speed 200Mbps リクエストに応じて パートナーが設定 Virtual Interface VLAN:101 Speed 100Mbps Hosted Connection VLAN:103 Speed 100Mbps Virtual Interface VLAN:102 Speed 200Mbps Hosted ConnectionとVirtual Interfaceは1:1 お客様権限で自由に割り当て
  22. 22. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. パートナーにより拡張されたAWS Direct Connectサービス 相互接続ポイントにおける接続装置等の設置場所 • 専用線とのパッケージ提供する場合も 10Mbps, 100Mbps等1Gbps よりも狭帯域のサービス お客様指定の場所から相互接続ポイントまでのアクセス 広域WANで複数拠点からAWSへの接続
  23. 23. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. パートナーの提供サービス • DXが使えるDCの提供 • 相互接続ポイントにおけるコロケーション提供 • 相互接続ポイント込みの専用線サービス提供 • 相互接続ポイント込みの広域ネットワークサービス提供 • 相互接続ポイント込みのモバイル網への接続 ルータレンタル、マネージドサービスなど各社により提供 https://aws.amazon.com/jp/directconnect/partners/#apac
  24. 24. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. パートナー経由のDirect Connect • 共有モデル • 1契約あたり1バーチャルインターフェイスが基本 • 冗長化では2バーチャルインターフェイスが必要 • ベストエフォートとギャランティ • 通信料固定のものと従量のものがある (別途パートナーへご確認ください) • Sub1Gでは従量課金になる • 専有モデル • 1契約で複数のバーチャルインターフェイスへの接続が可能(最大50) • 1Gもしくは10G • 接続料金は従量でAWSアカウントに請求される
  25. 25. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. パートナー経由のDirect Connect 相互接続ポイント VRF-1 VRF-2 パートナー DX集約ルータ 経路はパートナーのサービス集約 ルータから広報される。 0.0.0.0/0 モバイル サービス 広域イーサネット サービス フレッツなど VPNサービス 専用線接続サービス パートナー レンタルルータ お客様 パートナー レンタルルータ 自社所有 ルータ モバイル機器 お客様から 広告された経路 お客様申告の経路 172.16.0.0/16
  26. 26. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. パートナー経由のDirect Connectの注意点 • VPCへの経路広報のタイプが異なる • エッジルータからの経路情報をVPCへそのままフォワードせず、 ある程度の集約がかかるサービスがある • デフォルトが広報されるもの • 申告した経路が集約されるもの 冗長を取る場合、経路の偏りの原因となるので、サービスの確認を
  27. 27. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Direct ConnectとVPCの上限について • BGP経路数はVPCあたり100以下(Hard Limit) • 経路集約をおねがいします • VPNの接続数はVPCあたり50まで • Direct Connect あたりVLANは50まで(Hard Limit) ※申請により上限緩和可能なパラメータもあります。最新は下記URL参照 http://docs.aws.amazon.com/ja_jp/general/latest/gr/aws_service_limits.html
  28. 28. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Direct Connectを利用したユースケース
  29. 29. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. マルチVPC接続 営業支援 会計 BI 文書管理 利用者 保守業者 管理者 AD 監視ソフト DNS Direct Connect 接続口 Router#1 Router#2 Router#1 Router#2 Router#1 Router#2 FW SSO NTP 既存環境 人事 専用線 専用線また はVPN Win Win Win Win Win Proxy
  30. 30. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. クローズドWorkSpaces AS65000 AS65001 外部ネットワーク/DMZ 内部ネットワーク プライベートネットワーク WorksSpaces 接続エンドポイント 画面転送用 AS10124 S3 パブリック接続 プライベート接続 AD等認証はプライ ベート接続経由 画面転送のみパブリック接続 またはインターネット経由
  31. 31. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. オンプレミス環境のWebサーバオフロード ロードバランサ オンプレミスのロードバランサーからEC2上のサービスを ターゲットに加えることが可能(Proxyモード)
  32. 32. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. オンプレミス環境のWebサーバオフロード ロードバランサ ALB,NLBではオンプレミスのサーバがターゲティング可能に → シームレスな移行が可能
  33. 33. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 東京/大阪での高可用性Direct Connect接続 Equinix TY2 (東京) Equinix OS1(大阪) 相互接続ポイント自体を冗長化することが可能 ポート料金、トラフィック料金は東阪どちらも同じ
  34. 34. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS内部ネットワークの設計
  35. 35. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS内部ネットワークの設計 • Transit VPC • Hub-Spoke VPC peering & Proxy.
  36. 36. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Transit VPC
  37. 37. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Transit VPCとは https://aws.amazon.com/jp/blogs/news/aws-solution-transit-vpc/ • リージョン内、リージョン間のVPC 接続を自動化するソリューション • 他アカウント、Direct Connectとの 接続も可能 • ハブ・スポークモデルで各拠点を 接続
  38. 38. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Transit VPCの構成 • CloudFormationでテンプレートからインストール • Transit VPC内にマルチAZでCSR100Vを2台起動 • 設定情報を蓄積するS3 • VPCの追加、削除を監視する LambdaPoller • 設定を行うLambda Configurator
  39. 39. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Transit VPCの構築 • CloudFormationでテンプレートからインストール • HubのVPCを作成 • VGWを作成し、CloudFormation作成時に設定したタグをVGW に設定 • 自動でHubにあるCSR1000vとトンネルが張られる • CSRへログイン不要
  40. 40. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Hub Spork VPC Peering & Proxy
  41. 41. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Hub Spork VPC Peering & Proxyとは • Transit VPCのモデルをVPC Peeringで実現する設計 • VPC PeeringはとなりのVPCのみ疎通が可能なので Hub VPCにProxy Serverを置く • 各VPCからHub VPCのProxyを経由することにより すべてのVPC間で通信が可能
  42. 42. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Hub-Spork VPCのメリット • VPC Peeringにより完全閉域網が実現できるため、よりセ キュアなネットワークを構築可能 Transit VPCはVPC間にVPNを利用する
  43. 43. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. HUB & Spoke VPC & Proxy Proxy Proxy
  44. 44. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. HUB & Spoke VPC & Proxy Proxy Proxy HUB VPC上のProxyインスタンス にSpoke VPCからアクセスすることに より、相互のVPCの通信が可能
  45. 45. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. まとめ • Direct Connectの冗長化について解説 • APNパートナー経由のDirect Connect の注意点の解説 • AWS内部ネットワークの設計例についてご紹介 • Transit VPC • HUB-Spoke VPC & Proxy
  46. 46. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 参考資料 AWS Black Belt Online Seminar 2017 Amazon VPC • https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online- seminar-2017-amazon-vpc AWS Black Belt Online Seminar AWS DirectConnect • https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-aws- direct-connect AWS ソリューション – Transit VPC • https://aws.amazon.com/jp/blogs/news/aws-solution-transit-vpc/ 46
  47. 47. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 • http://aws.amazon.com/jp/aws-jp-introduction/ AWS Solutions Architect ブログ • 最新の情報、セミナー中のQ&A等が掲載されています • http://aws.typepad.com/sajp/
  48. 48. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 公式Twitter/Facebook AWSの最新情報をお届けします @awscloud_jp 検索 最新技術情報、イベント情報、お役立ち情報、 お得なキャンペーン情報などを日々更新しています! もしくは http://on.fb.me/1vR8yWm
  49. 49. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWSの導入、お問い合わせのご相談 AWSクラウド導入に関するご質問、お見積り、資料請求を ご希望のお客様は以下のリンクよりお気軽にご相談ください https://aws.amazon.com/jp/contact-us/aws-sales/ ※「AWS 問い合わせ」で検索してください
  50. 50. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

×