AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
アマゾンウェブサービスジャパン株式会社
ソリューションアーキテクトネットワークスペシャリスト
菊池之裕
2017.10.03
【AWS Black Belt Online Seminar】
AWSへのネットワーク接続とAWS上のネットワーク
内部設計

自己紹介
名前：菊池之裕(きくちゆきひろ)
所属：アマゾンウェブサービスジャパン株式会社
ソリューションアーキテクトネットワークスペシャリスト
ロール： Network系サービスについてのご支援
経歴： ISP,IXP,VPN運用、開発を経てネットワーク機器、仮想ルータ販売
会社のプリセールス、プロダクトSEからAWSへ
好きな AWS サービス: Direct Connect,VPC,Market Place

内容についての注意点
• 本資料では2017年10月3日時点のサービス内容および価格についてご説明しています。最新
の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
• 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に
相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。
• 価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途
消費税をご請求させていただきます。
• AWS does not offer binding price quotes. AWS pricing is publicly available and is
subject to change in accordance with the AWS Customer Agreement available at
http://aws.amazon.com/agreement/. Any pricing information included in this
document is provided only as an estimate of usage charges for AWS services based
on certain information that you have provided. Monthly charges will be based on
your actual use of AWS services, and may vary from the estimates provided.

Agenda
• Direct Connectの冗長化
• Direct Connect の提供形態とパートナー
• AWS内部ネットワークの設計(大規模）
• Transit VPC
• Hub-Spoke VPC peering & Proxy.
• まとめ
Direct Connect及びVPCに関する基本的な説明は割愛します

AWS Direct Connect
特徴 (http://aws.amazon.com/jp/directconnect/)
• 各リージョンへの専用線接続口
• 複数のVPCをのせられる
• キャリアは自由に選択可能提携キャリアも存在
価格体系 (http://aws.amazon.com/jp/directconnect/pricing/)
• ポート利用時間
• データ転送量(OUT) はインターネットの３分の１
AWSへの専用線接続サービス
$0.000
$0.020
$0.040
$0.060
$0.080
$0.100
$0.120
First
10TB
Next
40TB
Next
100TB
Next
350TB
Direct Connect

• 各リージョンへの専用線接続口
• 複数のVPCまたは、複数のパブリック接続
インターフェースをのせられる
• インターネットに比べて
– 安価なアウトバウンドトラフィック料金（インは同じく
無料）
– 安定したパフォーマンス
• 複数のアカウントで共有可能
• 冗長接続を選択可能
AWS Direct Connect

Direct Connectの冗長化
• Direct Connectは専用線サービス
• 1本の接続では冗長性がない
• 複数接続を利用し、冗長を取るのがベストプラクティス
• 複数パートナーからの契約、拠点冗長、パートナー内での回
線冗長などパートナー経由の冗長化も可能

冗長構成の考え方
eBGPeBGP
iBGP
iBGPにより同AS内の隣接ルータ
にBGPのパス属性値を伝達し、
どちらの経路を選択するかAS内
で総合的に判断
論理的には一つのオブジェクトに見えるが、
実際には物理的に冗長化されている
VPC上のVGW(Virtual Private Gateway)に複数のDirect Connect
またはVPN接続を終端可能
AWS上の設定ではなく、お客様ルータの設定により経路制御を行う
経路制御はBGPの一般的な考え方を適用
オンプレミス

BGPパス属性
BGPで経路交換している複数の経路から、ベストな経路を選択するために
評価する属性値DXではLP(Local Preference)とAS-Path Prependが有効
※MEDはサポートしていない
LP:100
Prepend:2つ
LP:200
Prepend:1つ
LP:300
Prepend:なし
ベストパス
オンプレミス
ルータ
送信ルートにAS-Path
Prependを付与し、
受信トラフィックを制御
（隣接ルータに情報を与え
ている）
VGW
受信ルートにLPを付与し、
送信トラフィックを制御

冗長構成(Direct Connect x2, Active/Active)
ActiveActive
トラフィックを
ロードバランス
Direct Connect２本の間で
トラフィックをロードバランス
し、Active/Activeとして利用
障害時は片方の回線に迂回する
ため、回線の輻輳がおきない
ように帯域に注意が必要
※CloudWatchの利用やルータ
の帯域を可視化して監視する
このとき、２つの経路のBGP属
性値(LP, ASパス長)は等価で
ある必要がある

冗長構成(Direct Connect x2, Active/Standby)
StandbyActive
障害時にStandby
へ切り替え
Direct Connect２本のどちらか
を通常利用とし、障害時は片方
の回線へ自動切り替えを行う
それぞれのルータのBGP属性値
により、Active/Standbyを判断
するように設定
LP=200
Prependなし LP=100
Prependあり

冗長構成(Direct Connect/VPN)
StandbyActive
Standby用に
インターネットVPN
を利用
Direct Connect障害時のバック
アップ回線としてインターネット
VPNを利用
異なる回線種別のため、フェール
オーバー時にはパフォーマンスに
影響が出る場合があるため注意
LP=200
Prependなし LP=100
Prependあり

障害時のフェールオーバーに関する注意点
AS1 AS2
スイッチ
スイッチ
リンク断のタイミングで
障害検知！
スイッチの向こうの
リンク断は検知できない
すぐに切り替わる
Hold timerの間
切り替わらない
切断発生〜フェールオーバー
までの時間に発生した
トラフィックは到達できない

障害時のフェールオーバーは、
BGPピア上の障害を
いかに早く検知するかがカギ！

KeepaliveとHold Timer
隣接するルータはお互いにKeepaliveを予め決められたインターバルで
定期的に送信
Hold Timer(待機時間)はKeepaliveの3倍が設定されており、
Keepaliveを受信すると0にリセットされる
設定されたHold Timerを超過すると障害と認定
隣接ルータ間ではそれぞれの時間が短い方を利用する
反映にはBGPピアのsoftリセットが必要
Keepalive
Hold Timer
Keepalive
60秒
0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・・・・180
Keepaliveが到達すると
Hold Timerをリセット
Hold Timerのカウンタが超
過するとBGPピアを切断
Keepaliveが到達しないので
Hold Timerはカウントアップ
Keepalive=60
Hold Timer=180
の場合
Keepalive
60秒

対策1: keepalive/Hold Timerのチューニング
router bgp CUSTOMER_BGP_ASN
neighbor NEIGHBOR_IP_ADDRESS timers 10 30
お客様ルータのKeepaliveとHold Timerを短く設定することで、
フェールオーバーを検知する時間を短縮
以下の例はKeepaliveを10秒、Hold Timerを30秒に設定
edit protocols bgp group ebgp
set hold-time 30
Cisco Juniper
デフォルト値
Keepalive 60秒
Hold Timer 180秒
デフォルト値
Keepalive 30秒
Hold Timer 90秒

対策２: BFD(Bidirectional Forwarding Direction)
経路上の障害を高速に検知し、ルーティングプロトコル(今回はBGP)
に通知する機能
隣接ルータ同士でパケットをミリ秒単位で送受信する
例は50ミリ秒でBFDパケットを送信、3度受け取れない場合は障害と
みなす
bfd interval 50 min_rx 50 multiplier 3
router bgp CUSTOMER_BGP_ASN
neighbor NEIGHBOR_IP_ADDRESS fall-over bfd
edit interfaces ge-0/0/1
edit bfd-liveness-detection
set minimum-inverval 50
set multiplier 3
Cisco Juniper

オンプレミス内部のルーティング
Direct ConnectのBGP接続から受
信したルートをOSPFに再配布
VRRP/HSRPなどでLAN上の
ゲートウェイを冗長
コアスイッチコアスイッチ
OSPF
VRRP コアスイッチはOSPFにより
AWSへの経路を選択

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Direct Connect の提供形態と
パートナー

パートナー様の提供サービス(占有型・共有型）
Direct Connect(占有型)
• Connectionをお客様へ提供
• Virtual Interfaceはお客様側で自由に
設定可能
Direct Connect(共有型)
• Connectionはパートナー様のアカウン
トで持つ
• Virtual Interfaceはお客様のリクエスト
ベースでパートナー様が設定
Connection
(1Gまたは10G)
Virtual Interface
VLAN:101
お客様アカウント
Connection
(1Gまたは10G)
Virtual Interface
VLAN:101
アカウント：お客様A
パートナーアカウント
Virtual Interface
VLAN:102
アカウント：お客様B
Virtual Interface
VLAN:102
お客様権限で自由に追加可能
リクエストに応じて
パートナーが設定
お客様アカウント

パートナー様の提供サービス(共有型 Sub 1G）
Direct Connect(共有型 Sub 1G)
• Connectionはパートナー様のアカウントで持つ
• Hosted Connectionと呼ぶ仮想的なConnectionをお客様へ提供
• Virtual InterfaceはHosted Connectionに紐付けされ追加可能
• このモデルの場合、ポート時間料金はお客様に課金される
Connection
(1Gまたは10G)
Hosted Connection
VLAN:101 Speed 100Mbps
パートナーアカウントお客様アカウント
Hosted Connection
リクエストに応じて
パートナーが設定
Virtual Interface
Hosted Connection
Virtual Interface
Hosted ConnectionとVirtual Interfaceは1:1
お客様権限で自由に割り当て

パートナーにより拡張されたAWS Direct Connectサービス
相互接続ポイントにおける接続装置等の設置場所
• 専用線とのパッケージ提供する場合も
10Mbps, 100Mbps等1Gbps よりも狭帯域のサービス
お客様指定の場所から相互接続ポイントまでのアクセス
広域WANで複数拠点からAWSへの接続

パートナーの提供サービス
• DXが使えるDCの提供
• 相互接続ポイントにおけるコロケーション提供
• 相互接続ポイント込みの専用線サービス提供
• 相互接続ポイント込みの広域ネットワークサービス提供
• 相互接続ポイント込みのモバイル網への接続
ルータレンタル、マネージドサービスなど各社により提供
https://aws.amazon.com/jp/directconnect/partners/#apac

パートナー経由のDirect Connect
• 共有モデル
• 1契約あたり1バーチャルインターフェイスが基本
• 冗長化では2バーチャルインターフェイスが必要
• ベストエフォートとギャランティ
• 通信料固定のものと従量のものがある
（別途パートナーへご確認ください）
• Sub1Gでは従量課金になる
• 専有モデル
• 1契約で複数のバーチャルインターフェイスへの接続が可能（最大50）
• 1Gもしくは10G
• 接続料金は従量でAWSアカウントに請求される

パートナー経由のDirect Connect
相互接続ポイント
VRF-1
VRF-2
パートナー
DX集約ルータ
経路はパートナーのサービス集約
ルータから広報される。
0.0.0.0/0
モバイル
サービス
広域イーサネット
サービス
フレッツなど
VPNサービス
専用線接続サービス
パートナー
レンタルルータ
お客様
パートナー
レンタルルータ
自社所有
ルータ
モバイル機器
お客様から
広告された経路
お客様申告の経路
172.16.0.0/16

パートナー経由のDirect Connectの注意点
• VPCへの経路広報のタイプが異なる
• エッジルータからの経路情報をVPCへそのままフォワードせず、
ある程度の集約がかかるサービスがある
• デフォルトが広報されるもの
• 申告した経路が集約されるもの
冗長を取る場合、経路の偏りの原因となるので、サービスの確認を

Direct ConnectとVPCの上限について
• BGP経路数はVPCあたり100以下(Hard Limit)
• 経路集約をおねがいします
• VPNの接続数はVPCあたり50まで
• Direct Connect あたりVLANは50まで(Hard Limit)
※申請により上限緩和可能なパラメータもあります。最新は下記URL参照
http://docs.aws.amazon.com/ja_jp/general/latest/gr/aws_service_limits.html

Direct Connectを利用したユースケース

マルチVPC接続
営業支援
会計
BI
文書管理
利用者
保守業者
管理者
AD
監視ソフト
DNS
Direct
Connect
接続口
Router#1
Router#2
Router#1
Router#2
Router#1 Router#2
FW
SSO
NTP
既存環境
人事
専用線
専用線また
はVPN
Win
Win
Win
Win
Win Proxy

クローズドWorkSpaces
AS65000
AS65001
外部ネットワーク/DMZ
内部ネットワーク
プライベートネットワーク
WorksSpaces
接続エンドポイント
画面転送用
AS10124
S3
パブリック接続
プライベート接続
AD等認証はプライ
ベート接続経由
画面転送のみパブリック接続
またはインターネット経由

オンプレミス環境のWebサーバオフロード
ロードバランサ
オンプレミスのロードバランサーからEC2上のサービスを
ターゲットに加えることが可能（Proxyモード）

オンプレミス環境のWebサーバオフロード
ロードバランサ
ALB,NLBではオンプレミスのサーバがターゲティング可能に
→ シームレスな移行が可能

東京/大阪での高可用性Direct Connect接続
Equinix
TY2
(東京)
Equinix
OS1(大阪)
相互接続ポイント自体を冗長化することが可能
ポート料金、トラフィック料金は東阪どちらも同じ

AWS内部ネットワークの設計

AWS内部ネットワークの設計
• Transit VPC
• Hub-Spoke VPC peering & Proxy.

Transit VPC

Transit VPCとは
https://aws.amazon.com/jp/blogs/news/aws-solution-transit-vpc/
• リージョン内、リージョン間のVPC
接続を自動化するソリューション
• 他アカウント、Direct Connectとの
接続も可能
• ハブ・スポークモデルで各拠点を
接続

Transit VPCの構成
• CloudFormationでテンプレートからインストール
• Transit VPC内にマルチAZでCSR100Vを2台起動
• 設定情報を蓄積するS3
• VPCの追加、削除を監視する
LambdaPoller
• 設定を行うLambda Configurator

Transit VPCの構築
• CloudFormationでテンプレートからインストール
• HubのVPCを作成
• VGWを作成し、CloudFormation作成時に設定したタグをVGW
に設定
• 自動でHubにあるCSR1000vとトンネルが張られる
• CSRへログイン不要

Hub Spork VPC Peering & Proxy

Hub Spork VPC Peering & Proxyとは
• Transit VPCのモデルをVPC Peeringで実現する設計
• VPC PeeringはとなりのVPCのみ疎通が可能なので
Hub VPCにProxy Serverを置く
• 各VPCからHub VPCのProxyを経由することにより
すべてのVPC間で通信が可能

Hub-Spork VPCのメリット
• VPC Peeringにより完全閉域網が実現できるため、よりセ
キュアなネットワークを構築可能
Transit VPCはVPC間にVPNを利用する

HUB & Spoke VPC & Proxy
Proxy Proxy

HUB & Spoke VPC & Proxy
Proxy Proxy
HUB VPC上のProxyインスタンス
にSpoke VPCからアクセスすることに
より、相互のVPCの通信が可能

まとめ
• Direct Connectの冗長化について解説
• APNパートナー経由のDirect Connect の注意点の解説
• AWS内部ネットワークの設計例についてご紹介
• Transit VPC
• HUB-Spoke VPC & Proxy

参考資料
AWS Black Belt Online Seminar 2017 Amazon VPC
• https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-
seminar-2017-amazon-vpc
AWS Black Belt Online Seminar AWS DirectConnect
• https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-aws-
direct-connect
AWS ソリューション – Transit VPC
• https://aws.amazon.com/jp/blogs/news/aws-solution-transit-vpc/
46

オンラインセミナー資料の配置場所
AWS クラウドサービス活用資料集
• http://aws.amazon.com/jp/aws-jp-introduction/
AWS Solutions Architect ブログ
• 最新の情報、セミナー中のQ&A等が掲載されています
• http://aws.typepad.com/sajp/

公式Twitter/Facebook
AWSの最新情報をお届けします
@awscloud_jp
検索
最新技術情報、イベント情報、お役立ち情報、
お得なキャンペーン情報などを日々更新しています！
もしくは
http://on.fb.me/1vR8yWm

AWSの導入、お問い合わせのご相談
AWSクラウド導入に関するご質問、お見積り、資料請求を
ご希望のお客様は以下のリンクよりお気軽にご相談ください
https://aws.amazon.com/jp/contact-us/aws-sales/
※「AWS 問い合わせ」で検索してください

AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

More Related Content

What's hot

Viewers also liked

Similar to AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

More from Amazon Web Services Japan

AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計