コンペに勝てる必勝アイテムソフトレイヤー

© 2015 IBM Corporation
コンペに勝てる必勝アイテム
SOFTLAYER
2015年6月8日
日本アイ・ビー・エム株式会社
クラウド事業統括高良真穂
本書に含まれる情報は、貴社内部のご検討、評価の目的のために提供されるものです。貴社内での
ご使用,複製、開示はこの目的のために必要な範囲でのみお願いいたします。貴社との間で正式な契
約が成立した場合には、それに従ってこれをお取り扱い願います。なお、貴社にて既に取得されている
情報については、これらの制限は及びません。

© 2014 IBM Corporation2
コンペに勝てる必勝アイテムとは？
「Ａ社のクラウドは、使えてあたりまえ
、他社との差別化にはならない！
ＳｏｆｔＬａｙｅｒを使いこなせる事は、他
社との差別化になり、コンペより有
利に戦える」
スマホアプリ開発会社の社長談

コンペに勝てる必勝アイテムとは？
なぜ「ソフトレイヤー」なのか？
これから、
その理由を見ていきましょう

SoftLayer のリアルなプライベート環境
インターネットと内部ネットをケーブル色で完全分離、ユーザー間も隔離するリアル・プライベート
ユーザー専用のファイアウォール、ロードバランサーを保有可能
ユーザー
モバイル
管理者
Virtual Servers
Public Network Private NetworkInternet
Management Network
ユーザーA専用
パブリックVLAN
ユーザーA専用
プライベートVLAN
Virtual Servers
ユーザーB専用
パブリックVLAN
ユーザーB専用
プライベートVLAN
Baremetal Servers
VPN Edge
Router
サービスVLAN
Client
Client
VPN Client
アクセス制御
アクセス制御アクセス制御
一般ユーザー
シスオペ

India
Shanghai
Singapore
Sydney
Tokyo
Seattle
San Jose
Los Angeles
Mexico City
Houston
Denver
Dallas
Miami
Atlanta
Washington D.C.
Montreal
Toronto
Chicago
London
Frankfurt
Paris
Amsterdam
Sao Paulo
New York
Dubai
Melbourne
既存データセンター
既存PoP
新規データセンター（2014-2015年開設予定）
新規PoP （2014-2015年開設予定）
新規データセンター（2014年開設）
グローバルなネットワークをプライベートに利用可能
東京DC ロンドンDC
他のユーザーから隔離された
専用の国際通信が無料で提供
プライベートVLAN同士のみ通信
Hong Kong

物理サーバーとアプライアンスの提供
Router
Client
Client
VPN Client
Local
Load Balancer
Firewall
Firewall
Baremetal Servers
Virtual Servers
Router
iSCSI /NAS
Object Storage
VPN Edge
Router
OS Update
Router
Security
API Server
SSL / PPTP / IPSEC
Public Network Private NetworkInternet
Out-of-Band Management
物理サーバー
高機能アプライアンス
仮想サーバー
 高機能で実績のあるアプライアンスとして、ロードバランサーのNetScaler, ファイアウォールの
Forigateを契約ユーザー専用に利用出来ます。注文も管理ポータルからクリックするだけで、数
十分後に利用を開始できます。
 物理サーバーは、仮想サーバーと同様に管理ポータルから、オーダーするだけで数十分後には、
利用でます。

豊富なAPIで運用を自動化
7
Chef レシピ
Chef レシピ
パブリック / プライベート / OS
イメージ・テンプレート
SoftLayer
API Endpoint
起動
Chef-Solo
Knife-Solo
仮想サーバー物理サーバー
①SLコマンドから
サーバーを注文
③レシピによって
サーバーを設定する
②レシピの
テンプレートを利用、
必要に応じ編集する
管理サーバー
 物理サーバーであっても、シェル、Ruby、Pythonなどからオーダー、キャンセル、設定コマンドの
実行ができる。
 ソフトレイヤーは、物理サーバーも含め基盤をコードで構築することができるクラウドの世界をリー
ドするIaaSです。
物理的なセットアップのタイムトライアル

本資料では、
ゲームやスマホアプリ基盤
を想定して、
SoftLayerの特徴をご紹
介します

ご紹介の概要（目次）
• 1 インターネット環境
• 2 ロードバランサー
• 3 ファイアウォール
• 6 保守ネットワーク接続
• 7 オブジェクトストレージ＆CDN
• 4 アプリサーバー
• 5 DB&ストレージ

ゲームサーバーの想定構成
インターネット
接続回線
10GB x3
Local
Load Balancer Virtual Servers
Baremetal Servers
MySQL 専用レプリカ
サーバー
Baremetal Servers
MySQL
マスタサーバー
HA構成
アプリケーション
サーバー
Virtual Servers
KVSキャッシュ
サーバー
Object Storage
画像・動画ダウンロード
ログ保管ストレージ
HA構成
Firewall
リクエストの流れ
データの流れ
ソーシャル・ゲーム
プレイヤー
Vyatta
シスオペ
オンプレ
サーバー
企業LAN
CDN
Auto
Scale
ユーザー数規模
数万人～数百万人

最強のインターネット環境
 1 インターネット環境
 2 ロードバランサー
 3 ファイアウォール

東京ＤＣ周辺のネットワーク構成概要
10G
BBIX
Hong Kong
Singapore
Sydney
San Jose
10G
10G
インターネット
接続
10G 10G 10G 10G
SoftLayer
グローバルネットワーク
Tokyo
PoP
TOK01
Tokyo
Datacenter
TOK02
Equinix
JPNAP
プレイヤー
• インターネットからのアクセスは、東京PoPを経由して東京DCへアクセスする。
• 他地域DCへのアクセスは、東京PoPからSoftLayerの専用経路を通じて直行する。
• 各IXとPoPは、BGPで経路情報を交換するPeer接続であり、ISP同等である。
出典 http://www.softlayer.com/network

東京PoPとIX間のトラフィック
3.0G
1.4G
120M
SoftLayerカスタマ・ポータル（クラウドの管理画面）で、トラフィックを確認できます。
https://control.softlayer.com/network/status/global
①PoP主要機器、各回線のステータス ②インターネット回線の帯域使用率
（2015/1/20現在）
DDOS対策機器

SoftLayerのDDOS攻撃対策
異なるIX3社とピア接続に加えて、DDOSからの保護機能を２４時間提供しています。
この保護機能は、DDOS攻撃を自動的に検知して影響を緩和します。さらに、SoftLayerの他のお客
様への影響が懸念される状態になった場合、SoftLayerからお客様へ連絡させていただきます。
出典 DDoS 攻撃の軽減対策
http://www.cisco.com/web/JP/product/hs/security/gdma/tech/gdda_wp.html
DDOS攻撃対策の詳細は、非公開で
すから、この図は対策として採用してい
るCisco社のGuard DDOS説明資料
の引用です。
この図のISP Backbone部分が、
SoftLayerのPoPに相当します。
Enterprise部分が東京DCに相当しま
す。
ピアリングポイントに Cisco Guard XT を配置することで、コアルータ、下流側のエッ
ジデバイス、リンク、および、サーバーを保護できます
PoPに相当
Tokyo DCに相当
IX IX
IX

東京PoP周辺のネットワーク構成
 SOFTLAYERは、PoPと各地IXをピアリンクしてインターネットの一部をグローバルに形成
 ユーザーからDCへの通信は、PoPに入り専用ネットワークを通過してDCへ、PoPがDCの入り口
 アカマイの様な高速配信ネットワークとしての機能、ユーザーに近いPoPから送信
 各PoPでDDOS攻撃パケットをフィルターして小さなトラフィックの内に通さない
15
Hong Kong
Tokyo
Singapore
Frankfurt
San José
Sydney
Seattle
Denver
Los Angeles
20Gx3
10Gx110Gx3
PoP
PoP
PoP
PoP
/DC
PoP
PoP
PoP
PoP
DC
DC
DC
DC
DC
10Gx1
20Gx1
30Gx1
10G
10G
10G
10G
10G
10G
20G
20G
20G
PoP

UDPパケットのロスが少ないSoftLayer
16
https://www.youtube.com/watch?v=otZllR538zU
Unityを使ったアクションゲームの適合性を検
証するプログラムを開発しました。SoftLayer
東京データセンターで実行したビデオで性能
の差をお確かめください。
パケット損失の少ない高品質なネットワークは、
海外のアクションゲームで評価されています。

SoftLayer上で稼働する海外のゲーム

SoftLayerのロードバランサー

LBは３つ方式から選択可能
ウェブ・サーバー
共用型／専用型
NetScaler
N+1構成
LVS
N+1構成
NetScaler
DNS
①ローカル・ロードバランサー
（共用型と専用型）及び、NetScaler ③グローバル・ロードバランサー
②Linux Virtual Server
VIP
VIP
Virtual Servers
Virtual Servers
Virtual Servers
Virtual Servers
Virtual Servers
NetScaler
出典ソフトレイヤー活用技術情報デザインパターン
2.1 ロードバランサーによるサーバーの冗長化
https://gg-web.jp/document/DesignPattern/02001/index.html
2.2 データセンターレベルの冗長化
https://gg-web.jp/document/DesignPattern/02002/index.html

利用できる各LBの特徴
特徴
LVS
(Linux Virtual
Server)
ローカル
ロードバランサー
（共用型）
ローカル
（専用型）
Citrix
NetScaler VPX
グローバル・サーバー
ロードバランス GSLB
NetScaler VPX
適用範囲 DC内 DC内 DC内 DC内 DC間
共用/専用専用共用専用共用共用
VIP数
Public アドレス
1,2,4,8,16
から選択
Publicアドレス
1
Public アドレス
1,2,4,8,16
から選択
Public アドレス
1,2,4,8,16
から選択
Public アドレス
1,2,4,8,16
から選択
HA構成可能なし可能可能可能
SSLオフロード不可可能可能可能可能
オートスケール
との連動
不可可能可能不可不可
能力
仮想サーバー
に依存
同時250〜
2500接続
同時15000〜
150000接続
10Mbps〜
1000Mbps
10Mbps〜
1000Mbps
費用
OSSのため
サーバー費のみ
$50〜
$2500
$999〜
$3998
$299〜
$1999
$499〜
$1999
その他
特徴
サーバー間の
負荷分散に適用可
低価格
AutoScale連動
高負荷対応
AutoScale連動
WAF, GSLBなども利
用可
SLB,WAFなども
利用可

ローカルLBとAutoScaleの組合わせ例
ローカル
（共用型・専用型）
パブリック / プライベート
イメージ・テンプレート
Auto
Scale
監視
CPU,帯域
起動
仮想サーバー
負荷分散
対象の
自動追加
追加
出典ソフトレイヤー活用技術情報デザインパターン
3.1 サーバー数の動的増減 https://gg-web.jp/document/DesignPattern/03001/index.html

SoftLayerで利用できるFW
• 1 インターネット環境
• 2 ロードバランサー
• 3 ファイアウォール

SoftLayerのFWの選択肢
BCR
トランク接続
Network
Gateway
Appliance
Webサーバー
APサーバー
DBサーバー
Publicゾーン
APゾーン
DBゾーン
FCR
Private
VLAN
#1
Private
VLAN
#2
Public VLAN
仮想リンク
OS
ファイアウォール
ハードウェア
(共用型）
Public
VLAN
Public
VLAN
ハードウェア・ファイアウォール (専用型）
Fortigate Security Appliance
NetScaler
Premium
WAF
Web/AP
Web/AP
Private
VLAN
①インターネットから保護するパターン ②内部のゾーン間で保護するパターン
出典ソフトレイヤー活用技術コンフィグレーションガイド
2.1 ファイアウォールでサーバーを保護するには? https://gg-web.jp/document/ConfigGuide/02001/index.html
6.7 DMZ、APサーバー、DBサーバーなどのゾーンを作るには？ https://gg-web.jp/document/ConfigGuide/06007/index.html

SoftLayerの各FWの特徴
特徴 OS
ハードウェア
（共用型）
ハードウェア
（専用型）
Fortigate
Security
Appliance
Vyatta
Gateway
Appliance
WAF
NetScaler
VPX
Premium
適用範囲 OS
サーバーの
IPアドレス１個
パブリック
VLAN x1個
パブリック
VLAN x1個
パブリック,
プライベート
VLAN x N個
パブリック,
プライベート
VLAN x 1個
共通／専用専用共用専用専用専用専用
HA構成不可不可可能可能可能可能
管理ユーザー
インタフェース
CLI
カスタマー
ポータル
カスタマー
ポータル
Web-GUI
とCLI
主としてCLI,
Web-GUIも可
Web-GUI
とCLI
保護対象
レイヤー
L4 (TCP) L4 (TCP) L4 (TCP) L4 (TCP) L4 (TCP) L7(アプリ）
ゾーニング適用不可不可不可不可可能不可
性能
サーバー能力に
依存
10Mbps〜
2000Mbps
1Gbps
（NICリンク速
度）
1Gbps
(NICリンク速
度）
10Mbps〜
10Gbps
10Mbps〜
1Gbps
費用無料 $49〜$399 $999〜$1998 $999〜$1998
$418〜
$1856
$499〜
$1999
その他
OSにバンドルされ
るFWまたはAPF
サーバー単位 VLAN単位 VPN機能
VPN,NAT,VLA
Nトランク対応
有償版Vyatta
アプリ脆弱制対
応

高負荷に耐えるアプリサーバー

Dom-0負荷集中で
俺のサーバの稼働
が抑えられる
Xenの共存影響の一例
Xen Hypervisor
NIC Local Disk
Dom-0
Virtual Servers
VLAN
仮想サーバーの裏側で起
こっている状況
膨大なHTTP
アクセス
共存サーバー
が動作開始
稼働率が抑えられる
俺の
サーバー
他人の
サーバー
俺の
他人の
Dom-0のCPU使用率
が高く、VMの要求
に十分答えられない
大量のショートパケット
が発生する
テスト環境で状況を再現しまし
た

SoftLayerの高い負荷対策
Local
Load Balancer
膨大なユーザー数
ゲームサーバー群
DBサーバー群
遅い！
Xeon CPUの
性能を生かせない
膨大な仮想サーバー数
低効率！
シングルテナントの
専用仮想サーバー (Private VSI)
専用物理サーバー(ベアメタル）
Baremetal Servers
Xen Hypervisor
NIC Local Disk
Dom-
0
Virtual Servers
俺だけ
俺だけ
Private VSIは
最大コア数
は８コアまで
Public VSIは
16コアまで
仮想環境と同様の
完全なコントロール
この様な課題に対するSoftLayerの対策は次の２通りです！
共有部分なし
素のサーバー
注文から２時間で利用可
世界のゲーム会社から支持される
迅速な対応、豊富な在庫量

仮想化のオーバーヘッドの無い物理サーバー
28
サーバーの条件 Xeon E3-1270 CPU 4コア
仮想化環境 Linux + Xen
性能測定ツール Unixbench
4コアの同一条件で、Xenの仮想サーバー、ハイパーバイザー無しの物理サーバーでUnixbenchを
使って比較したところ、仮想サーバーの性能は６０％以上劣化している結果を得ました
注意：Unixbenchによる結果であり
仮想サーバーの全ての性能を代表
するわけではありません。

高負荷に耐えるDBサーバー

スケール可能なRDB構成
 データベースの負荷を減らしてスケールするための工夫として、更新用マスターと、参照専用のリードレ
プリカのMySQLを物理サーバーで構成する
 キーで取得できる項目はMemcachedなどのKVSにキャッシュ
 更新処理だけをマスターDBやアプリ内課金の決済DBへ書き込む
マスター
DB
読み専用
レプリカ
Web/AP
Web/AP
Web/AP
Web/AP
アプリサーバー
キャッシュサーバー
決済サーバー
アプリ内
課金決済
Local
Load Balancer
引当iSCSI
マスター
DB
DRBD
レプリカ
HeartBeatによる
HA構成
読み専用
レプリカ
プレイヤー
ゲームDBレプリカ
読取り専用
ゲームDBマスタ
参照
参照
更新
RDBの
更新性能
が全体の
ボトルネック
出典ソフトレイヤー活用技術資料デザインパターン
6.2 読み込み専用レプリカによる負荷分散 https://gg-web.jp/document/DesignPattern/06002/index.html
課題は
ストレージ性能＆
CPUの処理パワー

物理サーバー+高性能ストレージの効果
31
MySQLサーバーに１８億件のデータ生成して、サーバー上のバッファプール(48G)の10倍
相当のデータを使って、SysbenchのOLTPテストを実施した比較結果
CPUコアを増やしても、ストレージの
性能を高くしてもトランザクション性
能は簡単に改善しない
ベアメタル（物理サーバー）＋
Fusion ioMemory
ベアメタル＋SSD
ベアメタル＋SATA

物理サーバーにチケットから注文して
Fusion ioMemoryを実装可能
32
または
2Uサーバー
4Uサーバー
+
Fusion ioMemory SX-300
電源と冷却の関係で
1Uサーバーには実装
できないので注意
FIO SX-300 3.2Tは
SSDの10倍、
SATAの300倍の性能
東京DCのベアメタルは
SanDiskカタログ比
105%の書込み性能

MySQLをSysbenchでFusionの性能を再確認
33
サーバー Xeon 2650 v3 x 2 (10core x 2) 、64Gメモリ
Sysbench条件対象データ18億レコード、８スレッド、バッファプール 48G
企業向け、読み出し多用負荷用途向け
ポータルのチケットから注文
iSCSI ストレージ
デフォルトのストレージ
（ポータルから注文）
ソーシャル・アプリやスマホ・ゲームなどの高負荷を想定したテストでも、他を引き離す結果を得ました。

エンデュランス・ストレージ (2015/3 提供開始）
34
 容量性能比例型のiSCSIブロック・ストレージ、NFSサーバーのサービス
 ３種類の性能タイプと容量単価が設定され、SATA〜SSD並みの性能域までを提供
 物理サーバーにホットスワップ機構がない課題や、仮想から物理に替えたい場合の対策
プライベート
VLAN
仮想サーバー
物理サーバー
エンデュランス
ストレージ
同一DCのプライベートVLANから接続
仮想、物理の両方から接続可能
1G,10Gのリンク速度にも対応
スナップショット、レプリカも追加可能
ブロックサイズ１６Kで
IOPS性能を提供

SoftLayer東京DCで使えるCPU
 東京DCで物理サーバーを注文した場合、黄色網掛けが割当られるCPUです。
 現在インテル社から出荷中のXeonのプロセッサーから割当られます。
Model GHz Core Thread Cache Art Memory Bandwidth
Xeon E3-1270 3.4 4 8 8M Sandy Bridge 21 GB/s
Xeon E3-1270 V2 3.5 4 8 8M Ivy Bridge 25.6 GB/s
Xeon E3-1270 V3 3.5 4 8 8M Haswell 25.6 GB/s
Xeon E5-2620 2.0 6 12 15M Sandy Bridge EP 42.6 GB/s
Xeon E5-2620 V2 2.1 6 12 15M Ivy Bridge EP 51.2 GB/s
Xeon E5-2620 V3 2.4 6 12 15M Haswell EP 59 GB/s
Xeon E5-2650 2.0 8 16 20MB Sandy Bridge EP 51.2 GB/s
Xeon E5-2650 V2 2.6 8 16 20MB Ivy Bridge EP 59.7 GB/s
Xeon E5-2650 V3 2.3 10 20 25MB Haswell EP 68 GB/s
Xeon E5-2690 2.9 8 16 20MB Sandy Bridge EP 51.2 GB/s
Xeon E5-2690 V2 3.0 10 20 25MB Ivy Bridge EP 59.7 GB/s
Xeon E5-2690 V3 2.6 12 24 30MB Haswell EP 68 GB/s
Xeon E7-4820 2 8 16 18MB Westmere EX -
Xeon E7-4820 V2 2 8 16 16MB IvyBridgeEX 68 GB/s
4CPU専用
1CPU用
1〜2CPU用

安心の保守ネットワーク
• 5 DBサーバー

安心の保守経路
• VPNクライアント、拠点接続インターネットVPNが利用可能
• サーバーには、標準でパブリックとプライベートのIPアドレスが付与される
• パブリック側のSSHのアクセスを禁止して、VPN接続して安全に保守できる
• プライベート・ネットワークのリポジトリから更新や追加が可能
パブリックVLAN プライベートVLAN
パブリック
プライマリ・サブネット
プライベート
プライマリ・サブネット
プライベート
サブネット
企業ネットワーク
共用
VPNルーター
VPNルーター
利用者機器
管理用PC
サーバーインターネット
VPNクライアント
サービス用
プライベート
ネットワーク
ソフトウェア
リポジトリ
アップデート、パッケージ追加
SSHSSH
SSH
出典ソフトレイヤー活用技術資料デザインパターン
8.9 管理用ネットワークの配置 https://gg-web.jp/document/DesignPattern/08009/index.html

オブジェクト・ストレージ
• 5 DBサーバー

ユーザーの物理的に近い位置へデータ配置
(キャッシュ・サーバーを利用)
オブジェクト
ストレージ
Web/AP
仮想サーバー
CDN
CDN
CDNにマッピングされた
URLへアクセスして、
近くのキャッシュから
コンテンツを受け取る mpg
mpg
mpg
オリジン・サーバー
キャッシュされた
コンテンツ
キャッシュされた
コンテンツ
大阪
東京
ムービー、音源、高精細画像、プログラムコードの配信など、一定期間にアクセス負
荷が集中するものは、
オブジェクト・ストレージ＋CDNが利用可能
出典
ソフトレイヤー活用技術資料デザインパターン
4.1 可用性の高いオブジェクト・ストレージの活用 https://gg-web.jp/document/DesignPattern/04001/index.html
ソフトレイヤー活用技術資料コンフィグレーションガイド
5.1 動画や画像などの大容量ファイルを配信するには？ https://gg-web.jp/document/ConfigGuide/05001/index.html

40
まとめ
SoftLayer東京データセンター 2014年12月22日オープン
– 日本語サポート開始
– IXとピア接続ｘ３ DDOS対策
ロードバランサーは５種、ファイアウォールは６種から選択可能
高負荷に耐えるアプリサーバー対策
– プライベート仮想サーバー、物理サーバー
– UDPパケットロスの少ないサーバー・ネットワーク
高負荷に耐えるＤＢサーバー構成
–物理サーバー＋Fusion ioMemoryがチケットから注文可能
–高性能エンタープライズ向けSSD、RAID化利用は要注意
–SSDの性能に匹敵するIOPSのエンデュランス・ストレージ
安心の保守ネットワーク
–クライアントソフト＆拠点接続
可用性の高いオブジェクトストレージ＆ＣＤＮ

41
もっと、まとめ
 ソフトレイヤーは、仮想化を使って安く早く始められます
 ビジネスが拡大したら、物理サーバーに移行して、仮想サ
ーバーが増えすぎない様にできます。
 Fusion ioMemoryは、高負荷ＤＢ対策としてチューニング
のコストを削減します。
 通信費まで含めると、大きく差がでます。
 つまり「オーナーの運用コストを削減できる」、
という強みになります。

その他情報源

ソフトレイヤー活用ガイド
必要な事を即解決できる実践的な逆
引きの構成ガイド
デザイン
パターン
コンフィグ
レーション
ガイド
ユースケース
Knowledge Layer
Manuals
Vyatta, Fortigate, NetScaler, Object Storage
Linux, Windows, TCP/IP, etc.
課題解決策実現（実装）の指南
詳細な技術知識
実ビジネスへの適用法
ソリューション
設計パターン
構成ガイド実践ガイド
ビジネスの発展で変化する課題を
解決するシナリオ
読みやすく簡潔な文と図で
解説する設計パターン
更に技術的に深く知りたい場合
https://gg-web.jp/document/index.html
基盤設計、構築、運用に関するSoftLayer活用のノウハウを提供するサイト

コンペに勝てる必勝アイテムソフトレイヤー

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to コンペに勝てる必勝アイテムソフトレイヤー

Similar to コンペに勝てる必勝アイテムソフトレイヤー (20)

More from Maho Takara

More from Maho Takara (10)