AWS Black Belt Techシリーズ AWS Direct Connect

AWS Direct Connect
AWS Black Belt Tech Webinar 2015 (旧マイスターシリーズ）
アマゾンデータサービスジャパン株式会社
ソリューションアーキテクト吉⽥英世
2015.01.28 (2017/01/27 Renewed)

AWS Black Belt Tech Webinar へようこそ！
• 参加者は、⾃動的にミュートになっています
• 質問を投げることができます！
– GoToWebinarの仕組みを使って、書き込んでください
– ただし環境によっては、⽇本語の直接⼊⼒ができないので、
お⼿数ですが、テキストエディタ等に打ち込んでから、
コピペしてください
– 最後のＱ＆Ａの時間で、できるだけ回答させて頂きます
– 書き込んだ質問は、主催者にしか⾒えません
• Twitterのハッシュタグは#jawsugでどうぞ

Agenda
• Direct Connect 概要
• Direct Connectの接続構成
• Direct Connectのオペレーション
• 冗⻑構成
• 注意事項
• ハイブリッド構成事例
• まとめ

AWS Direct Connectとは？
お客様
AWS Cloud
EC2, S3などの
Public サービス
Amazon VPC
相互接続ポイント
専⽤線
サービス
AWSとお客様設備（データセンター、オフィス、またはコロケーション）
の間に専⽤線を利⽤したプライベート接続を提供するサービス

接続イメージ：東京リージョンの例
AWS機器
東京リージョン
お客様機器
もしくは
キャリア様機器
お客様
お客様のダークファイバ
もしくは
キャリア様回線エクイニクス様 TY2,TY6,TY7(東京)/OS1(⼤阪)
ポート接続を提供
(1Gbps or 10Gbps)
相互接続ポイントがある
リージョンに接続

相互接続ポイントの主要なロケーション
Region Location
US East(Virginia) CoreSite NY1 & NY2
Equinix DC1 – DC6 & DC10
US West (Northen Calfornia) CoreSite One Wilshire & 900 North Alameda, CA
Equinix SV1 & SV5
US West (Oregon) Equinix SE2 & SE3
Switch SUPERNAP 8
EU (Frankfurt) Equinix FR5
EU (Ireland) Eircom Clonshaugh
TelecityGroup, London Docklands’
Asia Pacific (Singapore) Equinix SG2
China(北京) CIDS JIACHUANG IDC
SINNET JIUXIANQIAO IDC
Asia Pasific (Tokyo) Equinix TY2
Equinix OS1
South America (San Paulo) Terremark NAP do Brasil
https://aws.amazon.com/jp/directconnect/details/その他のロケーションはこちらを参照

東京リージョンにおける
Direct ConnectをサポートするAPNパートナー様
http://aws.amazon.com/jp/directconnect/partners/
・CFN Services
・Equinix, Inc.
・Hibernia Networks
・KVH株式会社
・Level3 Communications, Inc.
・野村総合研究所(NRI)
・NTTコミュニケーションズ株式会社
・Pacnet
・ソフトバンクテレコム株式会社
・Tata Communications
・Verizon
リストに掲載されていないパートナー様も
いらっしゃるため、詳細は営業・SAに
お問い合わせください。

ConnectionとVirtual Interface
VLAN200
VLAN100
VLAN300
Connection
Virtual Interface
Virtual Interface
Virtual Interface
Connectionは物理インタフェース、
Virtual InterfaceはConnection中の論理インタフェースを表す。
Virtual InterfaceはそれぞれユニークなVLAN IDをもつ。

クロスアカウント利⽤
Connection
Virtual Interface
Connectionを保持しているAWSアカウントから、他のAWSアカウントに対し
Virtual Interfaceを提供することが可能。
情報システム部
AWSID:123456789012
関連会社Z
AWSID:999999999999
情報システム部
AWSID:123456789012
開発部
AWSID:000000000000
関連会社ネットワーク
開発ネットワーク
社内基幹ネットワーク

AWS Direct Connect導⼊のメリット
• 帯域スループット向上
• インターネットベースの接続よりも⼀貫性がある
• ネットワークコスト削減
$0.042 $0.042 $0.042 $0.042
$0.140 $0.135 $0.130
$0.120
$0.020
$0.040
$0.060
$0.080
$0.100
$0.120
$0.140
$0.160
First
10TB
Next
40TB
Next
100TB
Next
350TB
Direct Connect
Internet
東京リージョン、
2015年1⽉28⽇現在
データ転送料⾦(Out)

インターネットVPN vs 専⽤線
インターネットVPN 専⽤線
コスト安価なベストエフォート
回線も利⽤可能
キャリアの専⽤線サービス
の契約が必要
リードタイム即時~ 数週間~
帯域暗号化のオーバーヘッドに
より制限あり
~10Gbps
品質インターネットベースの
ため経路上のネットワーク
状態の影響を受ける
キャリアにより⾼い品質が
保証されている
障害時の切り分けインターネットベースの
ため⾃社で保持している
範囲以外での切り分けが
難しい
エンドツーエンドでどの
経路を利⽤しているか把握
できているため⽐較的容易

課⾦体系
AWS Direct Connectの⽉額利⽤料
① ポート使⽤料
＋
② データ転送料
データ転送料⾦は
・Virtual Interfaceを利⽤しているVPCのオーナーアカウントに課⾦
・パブリック接続の場合、パブリック上のリソースを所有している
オーナーアカウントに課⾦

２種類の接続メニュー(Virtual Interfaceの種別)
お客様
AWS Cloud
EC2, S3などの
Public サービス
Amazon VPC
相互接続ポイント
専⽤線
サービス

プライベート接続
オフィス/データセンター
VPC subnet
VPC subnet
192.168.0.0/24
10.0.0.0/16
BGPによる
ルーティング
192.168.0.0/24宛の
通信をVGWに設定
192.168.0.0/24を広告
10.0.0.0/16の
VPC CIDRを広告
Virtual
Gateway

パブリック接続（⾃前のパブリックIPを利⽤）
203.0.113.0/28
BGPによる
ルーティング
パブリックIPである
203.0.113.240/28を広告
接続先リージョンの
AWSクラウドの
ネットワークアドレスを広告
192.168.0.0/24
AWSとの通信は
パブリックIPでとなるため
NAT(NAPT)が必要

パブリック接続（AWSからパブリックIPをアサイン）
BGPによる
ルーティング
パブリックIPである
203.0.113.100/31を広告
接続先リージョンの
AWS Cloudの
ネットワークアドレスを広告
192.168.0.0/24
AWSとの通信は
パブリックIPでとなるため
NAT(NAPT)が必要

論理接続
VPC 1
Private Virtual Interface 1
VLAN Tag 101
BGP ASN 10124
BGP Announce 10.1.0.0/16
Interface IP 169.254.251.1/30
10.1.0.0/16
VGW 1
Customer
Switch + Router
Customer Interface 0/1.101
VLAN Tag 101
BGP ASN 65001
BGP Announce Customer Internal
Interface IP 169.254.251.2/30
VLAN 101
VLAN 102
VLAN 103
VGW 2
VGW 3
Route Table
Destination Target
10.1.0.0/16 PVI 1
10.2.0.0/16 PVI 2
10.3.0.0/16 PVI 3
AWS Cloud PVI 5
Customer Internal
Network
VPC 2
10.2.0.0/16
VPC 3
10.3.0.0/16
VLAN 501
Public AWS
Region
NAT / PAT
Security Layer
Connection
Virtual Interface

物理接続
ルータ
Patch Panel
Patch Panel
Patch Panel
ルータ
Patch Panel
クロスコネクト
相互接続ポイント拠点
AWSラックパートナー様/
お客様ラック
Meet-Me Room
お客様拠点
AWS
お客様/
パートナー様
それぞれのリージョン

APNパートナーにより拡張されたDirect Connect
• 相互接続ポイントにおける接続装置等の設置場所
– 専⽤線とのパッケージ提供する場合も
• 10Mbps, 100Mbps等1Gbps よりも狭帯域のサービス
• お客様指定の場所から相互接続ポイントまでのアクセス
• 広域WANで複数拠点からAWSへの接続

パートナー様の提供サービス(占有型・共有型）
• Direct Connect(占有型)
– Connectionをお客様へ提供
– Virtual Interfaceはお客様側で⾃由に設定可能
• Direct Connect(共有型)
– Connectionはパートナー様のアカウントで持つ
– Virtual Interfaceはお客様のリクエストベースでパートナー様が設
定

パートナー様のサービス提供形態例
キャリア様閉域網
パートナー様閉域網サイト間ポイントツーポイント

Sub-1G
• AWSがAPNパートナーに対して無償で物理ポートを提供
• シェーピングをしたVLANで分離された論理ポート
• エンドユーザが利⽤料をAWSに⽀払い
– 500M, 400M, 300M, 200M, 100M, 50M
• http://aws.amazon.com/directconnect/pricing/

パートナー様とのサービスとの組み合わせ
データセンター
本社
モバイル網
⽀社/店舗モバイル端末
VPC
キャリア様閉域網

Direct Connectのオペレーション

Direct Connect利⽤開始⼿順フロー
(Conncectionの作成）
利⽤ユーザ AWS
APNパートナー
相互接続ポイントの事業者
①利⽤申請
(マネージメントコンソールから)
②追加情報の確認(オプション)
③追加情報の返信(オプション)
④LOA-CFA取得
(マネージメントコンソールから)
⑤LOA-CFA転送・物理配線依頼
⑥配線完了
AWS側配線作業
事業者側配線
Virtual Interface
の作成

①Direct Connect利⽤申請
AWSマネージメントコンソールにログインし、”Tokyo”リージョンを選択。
[Services]-[Networking]-[Direct Connect]をクリック。
“Connections”の”Create Connection”をクリック。

①Direct Connect利⽤申請 (cont)
必要な項⽬を⼊⼒し、”Create”をクリック。
Connection Name コネクション名(任意の⽂字列)
Location Equinix TY2, TY6 & TY7, Tokyo / Equinix OS1, Osaka
Port Speed: 1Gbps / 10Gbps

①Direct Connect利⽤申請 (cont)
Connectionsのリストに作成したConnectionが表⽰される。
Statusは”requested”

②追加情報の確認および③追加情報の返信(オプション)
追加の情報が必要な場合、AWSマネージメントコンソールの
メールアドレス宛にAWSから確認メールが送信されます。
7⽇以内に必要情報返信してください。
(7⽇以内に返信が無い場合、前の⼿順で作成したDirect Connectの
Connectionは⾃動的に削除されます。)

④物理配線情報(LOA-CFA)送付、
⑤LOA-CFA転送・物理配線依頼
AWS側の物理配線が完了し、72時間以内に相互接続ポイントの物理配線情報:
LOA-CFA(Letter of Authorizationand Connecting Facility Assignment)が
マネージメントコンソールからダウンロード可能になります。
LOA-CFAの情報をパートナー様もしくは相互接続ポイントのデータセンター事業者
へ送付し、構内の物理配線を依頼してください。
注意：配線完了後のメール連絡はありませんので、ご⾃⾝でご確認ください。
72時間以内にLOA-CFAができない場合、AWSサポートまでご連絡ください。

⑥配線完了
配線が完了すると、AWSマネージメントコンソールの[Direct Connect]-
[Connections]から回線を確認することができます。

Virtual Interfaceの作成(プライベート接続)

Virtual Interfaceの作成(パブリック接続)

クロスアカウントでのVirtual Interface利⽤
Virtual Interfaceを作成
Virtual InterfaceのリクエストをAccept
“Connections”を保持しているアカウント
“Virtual Interface”を利⽤するアカウント

VPCのRouteTable設定
オンプレミスのネットワークを宛先、
vgwをターゲットとしてルーティングの
エントリを追加。
“Propagate”を設定することでvgwで
受信したルートを⾃動的に反映。

オンプレミス拠点側ルータの要件
• BGP対応であること
– MD5認証対応
• IEEE 802.1q VLANが利⽤できること
– スイッチングハブでタグVLANを終端するなら必要なし
• RFC 3021 (/31サブネット)対応であること
– パブリック接続でAWSからパブリックIPアドレスを利⽤する場合のみ

BGPとは？
BGP(Border Gateway Protocol)とは、インターネット上でプロバイダ同⼠の
相互接続において、お互いの経路情報をやり取りするために使われるルーティング
プロトコルの⼀つです。
ISP-A ISP-B
ネットワークP ネットワークQ
ネットワークPのアドレスを広告
ネットワークQのアドレスを広告
AS65000 AS65001

ルータ設定
interface GigabitEthernet0/1
no ip address
speed 1000
full-duplex
interface GigabitEthernet0/1.VLAN_NUMBER
description direct connect to aws
encapsulation dot1Q VLAN_NUMBER
ip address IP_ADDRESS
router bgp CUSTOMER_BGP_ASN
neighbor NEIGHBOR_IP_ADDRESS remote-as 7224
neighbor NEIGHBOR_IP_ADDRESS password "MD5_key"
network 0.0.0.0
exit
edit interfaces ge-0/0/1
set description " AWS Direct Connect "
set flexible-vlan-tagging
set mtu 1522
edit unit 0
set vlan-id VLAN_ID
set family inet mtu 1500
set family inet address IP_ADDRESS
exit
exit
edit protocols bgp group ebgp
set type external
set authentication-key "MD5_KEY"
set peer-as 7224
set neighbor NEIGHBOR IP ADDRESS
Cisco
Juniper

サンプルコンフィグのダウンロード
作成したVirtual Interfaceの設定値を元にしたサンプルコンフィグが
ダウンロード可能。
ただし、Connectionsを保持しているアカウントからのみ。
[Direct Connect]-[Virtual Interfaces]を選択し、リストから該当のVirtual
Interfaceを選択。

冗⻑構成の考え⽅
eBGPeBGP
iBGP
iBGPにより同AS内の隣接ルータ
にBGPのパス属性値を伝達し、
どちらの経路を選択するかAS内
で総合的に判断
論理的には⼀つのオブジェクトに⾒えるが、
実際には物理的に冗⻑化されている
VPC上のVGW(Virtual Private Gateway)に複数のDirect Connect
またはVPN接続を終端可能。
AWS上の設定ではなく、お客様ルータの設定により経路制御を⾏う。
経路制御はBGPの⼀般的な考え⽅を適⽤。
オンプレミス

BGPパス属性
BGPで経路交換している複数の経路から、ベストな経路を選択するために
評価する属性値。今回はLP(Local Preference)とAS-Path Prependを
使った構成を利⽤。
LP:100
Prepend:2つ
LP:200
Prepend:1つ
LP:300
Prepend:なし
ベストパス
オンプレミス
ルータ
送信ルートにAS-Path
Prependを付与し、
受信トラフィックを制御
（隣接ルータに情報を与え
ている）
VGW
受信ルートにLPを付与し、
送信トラフィックを制御

冗⻑構成(Direct Connect x2, Active/Active)
ActiveActive
トラフィックを
ロードバランス
Direct Connect２本の間で
トラフィックをロードバランス
し、Active/Activeとして利⽤。
障害時は⽚⽅の回線に迂回する
ため、回線の輻輳がおきない
ように帯域に注意が必要。
このとき、２つの経路のBGP属
性値(LP, ASパス⻑)は等価で
ある必要がある。

冗⻑構成(Direct Connect x2, Active/Standby)
StandbyActive
障害時にStandby
へ切り替え
Direct Connect２本のどちらか
を通常利⽤とし、障害時は⽚⽅
の回線へ⾃動切り替えを⾏う。
それぞれのルータのBGP属性値
により、Active/Standbyを判断
するように設定。
LP=200
Prependなし LP=100
Prependあり

冗⻑構成(Direct Connect/VPN)
StandbyActive
Standby⽤に
インターネットVPN
を利⽤
Direct Connect障害時のバック
アップ回線としてインターネット
VPNを利⽤。
異なる回線種別のため、フェール
オーバー時にはパフォーマンスに
影響が出る場合があるため注意。
LP=200
Prependなし LP=100
Prependあり

障害時のフェールオーバーに関する注意点
AS1 AS2
スイッチ
スイッチ
リンク断のタイミングで
障害検知！
スイッチの向こうの
リンク断は検知できない
すぐに切り替わる
Hold timerの間
切り替わらない
切断発⽣〜フェールオーバー
までの時間に発⽣した
トラフィックは到達できない。

障害時のフェールオーバーは、
BGPピア上の障害を
いかに早く検知するかがカギ！

KeepaliveとHold Timer
隣接するルータはお互いにKeepaliveを予め決められたインターバルで
定期的に送信。
HoldDown Timer(待機時間)はKeepaliveの3倍が設定されており、
Keepaliveを受信すると0にリセットされる。
設定されたHold Timerを超過すると障害と認定。
隣接ルータ間ではそれぞれの時間が短い⽅を利⽤する。
反映にはBGPピアのsoftリセットが必要。
Keepalive
Hold Timer
Keepalive
60秒
0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・・・・180
Keepaliveが到達すると
Hold Timerをリセット
Hold Timerのカウンタが超
過するとBGPピアを切断
Keepaliveが到達しないので
Hold Timerはカウントアップ
Keepalive=60
Hold Timer=180
の場合
Keepalive
60秒

対策1: keepalive/Hold Timerのチューニング
neighbor NEIGHBOR_IP_ADDRESS timers 10 30
お客様ルータのKeepaliveとHold Timerを短く設定することで、
フェールオーバーを検知する時間を短縮。
以下の例はKeepaliveを10秒、Hold Timerを30秒に設定。
edit protocols bgp group ebgp
set hold-time 30
Cisco Juniper
デフォルト値
Keepalive 60秒
Hold Timer 180秒
デフォルト値
Keepalive 30秒
Hold Timer 90秒

対策２: BFD(Bidirectional Forwarding Direction)
経路上の障害を⾼速に検知し、ルーティングプロトコル(今回はBGP)
に通知する機能。
隣接ルータ同⼠でパケットをミリ秒単位で送受信する。
例は50ミリ秒でBFDパケットを送信、3度受け取れない場合は障害と
みなす。
bfd interval 50 min_rx 50 multiplier 3
neighbor NEIGHBOR_IP_ADDRESS fall-over bfd
edit interfaces ge-0/0/1
edit bfd-liveness-detection
set minimum-inverval 50
set multiplier 3
Cisco Juniper

オンプレミス内部のルーティング
Direct ConnectのBGP接続から受
信したルートをOSPFに再配布
VRRP/HSRPなどでLAN上の
ゲートウェイを冗⻑
コアスイッチコアスイッチ
OSPF
VRRP コアスイッチはOSPFにより
AWSへの経路を選択

VPC Peering利⽤時の注意
オンプレミス
オンプレミスのネットワーク
を広告できない
VPC Peeringはオンプレミスのルートを広告できないため、VPC
をまたいだ通信はできない。

経路集約の必要性
192.168.0.0/24
192.168.1.0/24
192.168.2.0/24
192.168.0.0/24
+
192.168.1.0/24
+
192.168.2.0/24
=192.168.0.0/16
お客様ルータから広告できるネットワーク数は100まで。
普段から経路集約を意識する設計を！
デフォルトルートの広告も有効な場合もあり。

⾮対称ルーティング時の注意
⾮対称ルーティング⾃体は問題
なく通信可能。
Active/Standbyの場合、
StandbyがVPNを利⽤している
と通信に影響が出る可能性あり。
ファイアウォール利⽤時には
⾮対称ルーティングに対応して
いないクラスタを利⽤すると
パケットが破棄されるので注意。

Direct Connectを利⽤した
ハイブリッド構成の事例

マルチVPC接続
営業⽀援
会計
BI
⽂書管理
利⽤者
保守業者
管理者
AD
監視ソフト
DNS
Direct
Connect
接続⼝
1 VPC
1 VPC
1 VPC
1 VPC
1 VPC
I
G
W
V
G
W
V
G
W
V
G
W
I
G
W
V
G
W
V
G
W
Router#1
Router#2
Router#1
Router#2
Router#1 Router#2
FW
SSO
NTP
既存環境
OracleWIN
⼈事
WIN
WIN Oracle
BI DB
WIN Proxy
専⽤線
専⽤線また
はVPN

３層構造 Webシステム
APPサーバ Webサーバデータベース
データベースアクセス

クローズドWorkSpaces
お客様拠点
プライベートネットワーク
WorksSpaces
接続エンドポイント
AWS Cloud
AS65000
AS10124
x.x.x.x/31 or 32
y.y.y.y/30
グローバルIPであること！
お客様準備
もしくは
AWS提供
S3
プライベートIPで
OK
AS65001
インターネット
外部ネットワーク/DMZ
内部ネットワーク
AWS Cloudとの
通信はルータで
NAT
プライベートAS
でもOK

オンプレミス環境のWebサーバオフロード
ロードバランサ

東京/⼤阪での⾼可⽤性Direct Connect接続
Equinix
TY2
(東京)
Equinix
OS1(⼤阪)
相互接続ポイント⾃体を冗⻑化することが可能
ポート料⾦、トラフィック料⾦は東阪どちらも同じ

まとめ
• AWS Direct Connectを利⽤することで、オンプレミスとAWS間の
ネットワークにおいて、帯域のスループット向上、⼀貫性のある
ネットワーク接続、データ転送量コスト削減が実現できる
• APNパートナー様の各種サービスにより、多様なネットワークを構
成することができる
• 要件に応じていろいろな冗⻑構成を選択することが可能

AWS専⽤線アクセス体験ラボ sponsored by Intel
http://aws.amazon.com/jp/dx_labo/
■事前に設定を確認したい
■フェイルオーバー時の動作を確認したい
■スループットがどれだけなのか実際に試してみたい
■⾃前のルータがDirect Connectに接続できるか確認したい
・・・などなど
お問い合わせは営業・SAまで！

Webinar資料の配置場所
• AWS クラウドサービス活⽤資料集
– http://aws.amazon.com/jp/aws-jp-introduction/

公式Twitter/Facebook
AWSの最新情報をお届けします
@awscloud_jp
検索
最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを
日々更新しています！
もしくは
http://on.fb.me/1vR8yWm

次回のAWS Black Belt Tech Webinar は、
2⽉4⽇(⽔) 18:00〜
~ AWS Key Management Service(KMS)~

ご参加ありがとうございました。

AWS Black Belt Techシリーズ AWS Direct Connect

AWS Black Belt Techシリーズ AWS Direct Connect

More Related Content

What's hot

Viewers also liked

Similar to AWS Black Belt Techシリーズ AWS Direct Connect

More from Amazon Web Services Japan

AWS Black Belt Techシリーズ AWS Direct Connect