Copyright IDC Frontier Inc. All rights reserved.
1
実話!
実は IDCFクラウドって ○○ なんです
IDCFクラウドMeetUP! in Osaka
株式会社IDCフロンティア
ソリューションアーキテクト
藤城 拓哉 @tafujish
2016年3月9日
2
(C) IDC Frontier Inc. All Rights
Reserved.
自己紹介
■業務
クラウド前
Unix/Linuxシステム管理者
クラウド後
プラットフォームの
設計、構築、運用
テクニカルサポート
ソリューションアーキテクト今ココ
■趣味
自宅サーバー/自宅HPC
ベンチマーク(SDで連載など)
72cores/128GBmem
3
(C) IDC Frontier Inc. All Rights
Reserved.
IDCフロンティアとは
Yahoo! JAPAN、100%資本の子会社で、
主にデータセンターやクラウドなどの
インフラ事業を行っております。
【データセンター】
国内9拠点のデータセンター群
【クラウド】
東日本リージョン/西日本リージョン
4
(C) IDC Frontier Inc. All Rights
Reserved.
5
(C) IDC Frontier Inc. All Rights
Reserved.
①
マニアック度 ★☆☆
6
(C) IDC Frontier Inc. All Rights
Reserved.
①
UG参加者「IDCFクラウドの500円サーバー、
安いのにパワフルで良いですね」
藤城「500円でも性能にはこだわって作りましたからね!
うまくやれば、500円以下で使えますし!!」
後輩「それ、大々的に言って良いんですか?」
藤城「・・・、でもほらポータル上にも200円って書いてるし」
7
(C) IDC Frontier Inc. All Rights
Reserved.
①ワンコインサーバー
実はIDCFクラウド、
300円くらいでも十分使えます
ISOからインストール
すると、ルートディスク
のサイズを指定でき
ます。
サーバー費用S1 200円 + ボリューム費用15GB 300円 = 500円
→ ボリューム8GBだと(160円) = 360円
→ ボリューム4GBだと(80円) = 280円
8
(C) IDC Frontier Inc. All Rights
Reserved.
Some Tips
 ブラウザ上でKVMコンソールが使えます
 ISOからのOSインストール
 ネットワークの設定ミスしたとき
 カーネルパニックも見えます
 Windowsでも、Xでも
 VMware Toolsをインストールしよう
 ISO用意してます
 マウスドライバ
 仮想環境に最適化
9
(C) IDC Frontier Inc. All Rights
Reserved.
②
マニアック度 ★☆☆
10
(C) IDC Frontier Inc. All Rights
Reserved.
②
お客さん「●●●クラウドを使ってるけど、
転送量の従量課金が高くって」
藤城「IDCFクラウドなら3240GBまで無償ですよ、
しかもロードバランサーの料金も無償」
お客さん「おお、ロードバランサー何使ってるんですか?」
藤城「中身はHAProxy使って仮想アプライアンスになってます」
後輩「それ、大々的に言って良いんですか?」
藤城「・・・、でもほらStats見れば書いてるし」
11
(C) IDC Frontier Inc. All Rights
Reserved.
②ロードバランサー
実はIDCFクラウド、
無料でロードバランサーがあり、それなりに使えます
Active-Standbyの冗長構成(セッションも維持)
ヘルスチェックあります(ポート監視/2秒間隔/失敗3回)
パーシステンスあります(クッキー、ソースIPハッシング)
レポート情報も見れます(Statistics Report for Loadbalancing)
ソースIPのファイアウォールで
TCP23451を開けてください。
12
(C) IDC Frontier Inc. All Rights
Reserved.
Some Tips
ノード
同時セッション数
標準だと2000
CurのTotalの値がLimitを超えない
ヘルスチェックの結果
 Statistics Report for Loadbalancingのポイント
 Mackerelで性能監視
 CPU使用率
 トラフィック(2Gbps)
①
②
13
(C) IDC Frontier Inc. All Rights
Reserved.
Some Tips
 標準のロードバランサーでは足りない
 性能不足
 同時セッション数
 SSL終端、クライアントのIPアドレス
 ヘルスチェック方式
 対策方法あります
 標準のロードバランサー(仮想ルーター)をスペックアップ
 ネットワークサービス(物理ロードバランサー)
 iLB(仮)、リリース予定
14
(C) IDC Frontier Inc. All Rights
Reserved.
③
マニアック度 ★★☆
15
(C) IDC Frontier Inc. All Rights
Reserved.
③
某セミナーにて
参加者「以前に使っていたクラウドで、他ユーザーに対する攻撃で
自分のサービスも巻き添えでサービス長時間止まりました」
藤城「最近、攻撃多いですものね。
ちなみに、IDCFクラウドなら標準でDDoS対策ついてますよ。
なので、他ユーザーの巻き添えも最小限にできます。」
お客さん「標準でDDoS対策ついているとは珍しいですね」
後輩「それ、大々的に言って良いんですか?
逆に狙われるという話も」
藤城「・・・、でもほらサービスサイトにも載ってるし」
16
(C) IDC Frontier Inc. All Rights
Reserved.
③DDoS対策
実はIDCFクラウド、
バックボーン上に標準でDDoS対策されています
国内最大級のバックボーン
標準で全ユーザーに対しDDoS対策
巻き添え防止
このサービスの利用するための
操作は何も必要ありません
17
(C) IDC Frontier Inc. All Rights
Reserved.
Some Tips
実際に攻撃されたり、攻撃される可能性がある場合、
有償プランもあります
 レポーティング
 コンサルティング+チューニング
18
(C) IDC Frontier Inc. All Rights
Reserved.
④
マニアック度 ★★☆
19
(C) IDC Frontier Inc. All Rights
Reserved.
④
去年11月
IDCF「西日本リージョンでオールフラッシュストレージ採用しました」
ユーザー「東日本リージョンまだぁ~」
藤城「ストレージの一新なので、今後新しいゾーンはオールフラッシュです」
後輩「それ、もう言っちゃって良いんですか?」
藤城「・・・、もうリリースしたから大丈夫(3/3)」
20
(C) IDC Frontier Inc. All Rights
Reserved.
④オールフラッシュ
実はIDCFクラウド、
オールフラッシュストレージ利用でI/O超高速
≪値段据え置き≫
東日本リージョン Radian
西日本リージョン Augusta
を選択ください
 従来のストレージも結構速い
21
(C) IDC Frontier Inc. All Rights
Reserved.
Some Tips
既存のゾーンでは、
HDD/SSD階層型ストレージを採用によりまずまず速かった
SSDが利用されるケース:IOが多い部分はSSDへ
 毎日午前2時から24時間のトータルのIO数をカウント
 IOが多い順に1GByteブロックの単位でSSDに配置
 午前2時から順に切り替え開始
22
(C) IDC Frontier Inc. All Rights
Reserved.
ここまでのまとめ
Internet
VR
VM ・・・VM
500円300円から
はじめられる仮想マシン
標準でついている
DDoS防御
無償でついている
ロードバランサー
ファイアウォール
3TB転送量
オールフラッシュストレージに
よる超高速なディスクI/O性能
23
(C) IDC Frontier Inc. All Rights
Reserved.
⑤
マニアック度 ★★☆
24
(C) IDC Frontier Inc. All Rights
Reserved.
⑤
お客様「古くからIDCフロンティアのクラウドサービス使ってます。
IDCFクラウド、かなり良くなりましたね。
UIも日本人にやさしいですし。」
藤城「IDCFクラウドの開発がんばってますから。
サーバー起動した状態でスペックアップできるのは
今回の目玉機能なんですよー」
お客さん「そんなことできるのですね、知りませんでした」
藤城「目玉機能なのですが、あまり知られてない・・・」
後輩「それ、もっと言った方が良いのでは?」
25
(C) IDC Frontier Inc. All Rights
Reserved.
⑤ダイナミックスケール
実はIDCFクラウド、
サーバー無停止で、CPU、メモリ、ディスクがアップできます
そのままリサイズを選ぶだけ
ダイナミックスケール と言います
 スペックダウンが伴う場合は使えません
 Lightタイプから別のタイプへの変更には使えません
 CentOS5系など古いOSには使えません
 RHELでも使えません
→詳細はFAQで
 必要に応じてミドルウェアを再設定
26
(C) IDC Frontier Inc. All Rights
Reserved.
Some Tips
 リサイズしても、OS上で認識されない
 CentOS7やUbuntu
TechBlog http://blog.idcf.jp/entry/cloud/specup/
 ディスク
TechBlog http://blog.idcf.jp/entry/cloud/diskcapacity/
 増えたCPUコアが利用されにくい
 RSSが増えた分のCPUコアを利用できません
 OS再起動するまではRPS/RFSで代替
RPS/RFSの実行例(NIC1つのVMで8コアにスペックアップしたとき)
# echo ff > /sys/class/net/eth0/queues/rx-0/rps_cpus
# echo 32768 > /proc/sys/net/core/rps_sock_flow_entries
# echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt
# echo ff > /sys/class/net/eth0/queues/tx-0/xps_cpus
27
(C) IDC Frontier Inc. All Rights
Reserved.
⑥
マニアック度 ★★★
28
(C) IDC Frontier Inc. All Rights
Reserved.
⑥
藤城「IDCFクラウドでもメタデータサーバーあるの知ってた?」
後輩「メタデーターサーバーって何ですか?」
藤城「仮想マシンにセットされてる情報がAPI使わずにとれるの。
例えば、VM-IDとか公開鍵の情報とか
ほら(デモ)」
後輩「何でこれまで教えてくれなかったんですか!」
29
(C) IDC Frontier Inc. All Rights
Reserved.
⑥メタデータ
実はIDCFクラウド、
メタデータサーバーあります
 仮想マシン上からリクエスト
 APIキー不要
 問い合わせしている仮想マシンの情報を返す
 data-server = 仮想ルーター
$ curl http://data-server/latest/vm-id
e17a5712-4593-4074-****-************
$ curl http://data-server/latest/availability-zone
Augusta
$ curl http://data-server/latest/public-keys
ssh-rsa AAAA・・・・
30
(C) IDC Frontier Inc. All Rights
Reserved.
Some Tips
 その他とれる情報
service-offering: 仮想マシンスペック(ダイナミックスケール非対応)
availability-zone: 稼働しているゾーン名
local-ipv4: 仮想マシンについているプライベートIP
local-hostname: 仮想マシンのホスト名(作成時の名前) ≠ディスプレイネーム
public-ipv4: ソースNATのグローバルIPアドレス
public-hostname:使わない(public-ipv4が返る)
instance-id: 仮想マシンID(vm-idと同じ)
vm-id: 仮想マシンID(instance-idと同じ)
public-keys: セットした公開鍵
cloud-identifier: 使わない
$ curl http://data-server/latest/meta-data
service-offering
availability-zone
local-ipv4
local-hostname
public-ipv4
public-hostname
instance-id
vm-id
public-keys
cloud-identifier
31
(C) IDC Frontier Inc. All Rights
Reserved.
ここまでのまとめ
1. cloudstack-apiをインストール
http://docs.idcf.jp/cloud/introduction/
2. monitをインストール
# yum install epel-release -y
# yum install monit -y
3. monitを設定(Augustaゾーンでhighcpu.M4のマシンを想定)
【/etc/monit.d/scale.rc】
check system loadavg
if loadavg (5min) > 2
then exec "/bin/bash -c '/usr/bin/cloudstack-api scaleVirtualMachine ¥
--id `/usr/bin/curl data-server/latest/vm-id` ¥
--serviceofferingid 44975cf0-8ff5-422b-a053-e952c551b9d4'“
4. monitを起動
# chkconfig monit on
# service monit on
5. 負荷をかけるとオートスケールアップ!
オートスケールアップのご提案
5分のロードアベレージが2を超えたら
highcpu.L8にダイナミックスケール
自分のIDをメタデータから取得
 スケールアウトで間に合わない緊急時に
 本番環境で使う前にしっかりテストを
 スケールダウンは停止が必要です
32
(C) IDC Frontier Inc. All Rights
Reserved.
⑦
マニアック度 ★★★
33
(C) IDC Frontier Inc. All Rights
Reserved.
まとめ
実はIDCFクラウド、
ほぼ毎週Updateしています
リリースノート
http://www.idcf.jp/help/cloud/releasenotes/
ご要望ご意見は、
SA、営業、チケットからサポートまで!
34
(C) IDC Frontier Inc. All Rights
Reserved.

実話!実はIDCFクラウドって◯◯なんです

  • 1.
    Copyright IDC FrontierInc. All rights reserved. 1 実話! 実は IDCFクラウドって ○○ なんです IDCFクラウドMeetUP! in Osaka 株式会社IDCフロンティア ソリューションアーキテクト 藤城 拓哉 @tafujish 2016年3月9日
  • 2.
    2 (C) IDC FrontierInc. All Rights Reserved. 自己紹介 ■業務 クラウド前 Unix/Linuxシステム管理者 クラウド後 プラットフォームの 設計、構築、運用 テクニカルサポート ソリューションアーキテクト今ココ ■趣味 自宅サーバー/自宅HPC ベンチマーク(SDで連載など) 72cores/128GBmem
  • 3.
    3 (C) IDC FrontierInc. All Rights Reserved. IDCフロンティアとは Yahoo! JAPAN、100%資本の子会社で、 主にデータセンターやクラウドなどの インフラ事業を行っております。 【データセンター】 国内9拠点のデータセンター群 【クラウド】 東日本リージョン/西日本リージョン
  • 4.
    4 (C) IDC FrontierInc. All Rights Reserved.
  • 5.
    5 (C) IDC FrontierInc. All Rights Reserved. ① マニアック度 ★☆☆
  • 6.
    6 (C) IDC FrontierInc. All Rights Reserved. ① UG参加者「IDCFクラウドの500円サーバー、 安いのにパワフルで良いですね」 藤城「500円でも性能にはこだわって作りましたからね! うまくやれば、500円以下で使えますし!!」 後輩「それ、大々的に言って良いんですか?」 藤城「・・・、でもほらポータル上にも200円って書いてるし」
  • 7.
    7 (C) IDC FrontierInc. All Rights Reserved. ①ワンコインサーバー 実はIDCFクラウド、 300円くらいでも十分使えます ISOからインストール すると、ルートディスク のサイズを指定でき ます。 サーバー費用S1 200円 + ボリューム費用15GB 300円 = 500円 → ボリューム8GBだと(160円) = 360円 → ボリューム4GBだと(80円) = 280円
  • 8.
    8 (C) IDC FrontierInc. All Rights Reserved. Some Tips  ブラウザ上でKVMコンソールが使えます  ISOからのOSインストール  ネットワークの設定ミスしたとき  カーネルパニックも見えます  Windowsでも、Xでも  VMware Toolsをインストールしよう  ISO用意してます  マウスドライバ  仮想環境に最適化
  • 9.
    9 (C) IDC FrontierInc. All Rights Reserved. ② マニアック度 ★☆☆
  • 10.
    10 (C) IDC FrontierInc. All Rights Reserved. ② お客さん「●●●クラウドを使ってるけど、 転送量の従量課金が高くって」 藤城「IDCFクラウドなら3240GBまで無償ですよ、 しかもロードバランサーの料金も無償」 お客さん「おお、ロードバランサー何使ってるんですか?」 藤城「中身はHAProxy使って仮想アプライアンスになってます」 後輩「それ、大々的に言って良いんですか?」 藤城「・・・、でもほらStats見れば書いてるし」
  • 11.
    11 (C) IDC FrontierInc. All Rights Reserved. ②ロードバランサー 実はIDCFクラウド、 無料でロードバランサーがあり、それなりに使えます Active-Standbyの冗長構成(セッションも維持) ヘルスチェックあります(ポート監視/2秒間隔/失敗3回) パーシステンスあります(クッキー、ソースIPハッシング) レポート情報も見れます(Statistics Report for Loadbalancing) ソースIPのファイアウォールで TCP23451を開けてください。
  • 12.
    12 (C) IDC FrontierInc. All Rights Reserved. Some Tips ノード 同時セッション数 標準だと2000 CurのTotalの値がLimitを超えない ヘルスチェックの結果  Statistics Report for Loadbalancingのポイント  Mackerelで性能監視  CPU使用率  トラフィック(2Gbps) ① ②
  • 13.
    13 (C) IDC FrontierInc. All Rights Reserved. Some Tips  標準のロードバランサーでは足りない  性能不足  同時セッション数  SSL終端、クライアントのIPアドレス  ヘルスチェック方式  対策方法あります  標準のロードバランサー(仮想ルーター)をスペックアップ  ネットワークサービス(物理ロードバランサー)  iLB(仮)、リリース予定
  • 14.
    14 (C) IDC FrontierInc. All Rights Reserved. ③ マニアック度 ★★☆
  • 15.
    15 (C) IDC FrontierInc. All Rights Reserved. ③ 某セミナーにて 参加者「以前に使っていたクラウドで、他ユーザーに対する攻撃で 自分のサービスも巻き添えでサービス長時間止まりました」 藤城「最近、攻撃多いですものね。 ちなみに、IDCFクラウドなら標準でDDoS対策ついてますよ。 なので、他ユーザーの巻き添えも最小限にできます。」 お客さん「標準でDDoS対策ついているとは珍しいですね」 後輩「それ、大々的に言って良いんですか? 逆に狙われるという話も」 藤城「・・・、でもほらサービスサイトにも載ってるし」
  • 16.
    16 (C) IDC FrontierInc. All Rights Reserved. ③DDoS対策 実はIDCFクラウド、 バックボーン上に標準でDDoS対策されています 国内最大級のバックボーン 標準で全ユーザーに対しDDoS対策 巻き添え防止 このサービスの利用するための 操作は何も必要ありません
  • 17.
    17 (C) IDC FrontierInc. All Rights Reserved. Some Tips 実際に攻撃されたり、攻撃される可能性がある場合、 有償プランもあります  レポーティング  コンサルティング+チューニング
  • 18.
    18 (C) IDC FrontierInc. All Rights Reserved. ④ マニアック度 ★★☆
  • 19.
    19 (C) IDC FrontierInc. All Rights Reserved. ④ 去年11月 IDCF「西日本リージョンでオールフラッシュストレージ採用しました」 ユーザー「東日本リージョンまだぁ~」 藤城「ストレージの一新なので、今後新しいゾーンはオールフラッシュです」 後輩「それ、もう言っちゃって良いんですか?」 藤城「・・・、もうリリースしたから大丈夫(3/3)」
  • 20.
    20 (C) IDC FrontierInc. All Rights Reserved. ④オールフラッシュ 実はIDCFクラウド、 オールフラッシュストレージ利用でI/O超高速 ≪値段据え置き≫ 東日本リージョン Radian 西日本リージョン Augusta を選択ください  従来のストレージも結構速い
  • 21.
    21 (C) IDC FrontierInc. All Rights Reserved. Some Tips 既存のゾーンでは、 HDD/SSD階層型ストレージを採用によりまずまず速かった SSDが利用されるケース:IOが多い部分はSSDへ  毎日午前2時から24時間のトータルのIO数をカウント  IOが多い順に1GByteブロックの単位でSSDに配置  午前2時から順に切り替え開始
  • 22.
    22 (C) IDC FrontierInc. All Rights Reserved. ここまでのまとめ Internet VR VM ・・・VM 500円300円から はじめられる仮想マシン 標準でついている DDoS防御 無償でついている ロードバランサー ファイアウォール 3TB転送量 オールフラッシュストレージに よる超高速なディスクI/O性能
  • 23.
    23 (C) IDC FrontierInc. All Rights Reserved. ⑤ マニアック度 ★★☆
  • 24.
    24 (C) IDC FrontierInc. All Rights Reserved. ⑤ お客様「古くからIDCフロンティアのクラウドサービス使ってます。 IDCFクラウド、かなり良くなりましたね。 UIも日本人にやさしいですし。」 藤城「IDCFクラウドの開発がんばってますから。 サーバー起動した状態でスペックアップできるのは 今回の目玉機能なんですよー」 お客さん「そんなことできるのですね、知りませんでした」 藤城「目玉機能なのですが、あまり知られてない・・・」 後輩「それ、もっと言った方が良いのでは?」
  • 25.
    25 (C) IDC FrontierInc. All Rights Reserved. ⑤ダイナミックスケール 実はIDCFクラウド、 サーバー無停止で、CPU、メモリ、ディスクがアップできます そのままリサイズを選ぶだけ ダイナミックスケール と言います  スペックダウンが伴う場合は使えません  Lightタイプから別のタイプへの変更には使えません  CentOS5系など古いOSには使えません  RHELでも使えません →詳細はFAQで  必要に応じてミドルウェアを再設定
  • 26.
    26 (C) IDC FrontierInc. All Rights Reserved. Some Tips  リサイズしても、OS上で認識されない  CentOS7やUbuntu TechBlog http://blog.idcf.jp/entry/cloud/specup/  ディスク TechBlog http://blog.idcf.jp/entry/cloud/diskcapacity/  増えたCPUコアが利用されにくい  RSSが増えた分のCPUコアを利用できません  OS再起動するまではRPS/RFSで代替 RPS/RFSの実行例(NIC1つのVMで8コアにスペックアップしたとき) # echo ff > /sys/class/net/eth0/queues/rx-0/rps_cpus # echo 32768 > /proc/sys/net/core/rps_sock_flow_entries # echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt # echo ff > /sys/class/net/eth0/queues/tx-0/xps_cpus
  • 27.
    27 (C) IDC FrontierInc. All Rights Reserved. ⑥ マニアック度 ★★★
  • 28.
    28 (C) IDC FrontierInc. All Rights Reserved. ⑥ 藤城「IDCFクラウドでもメタデータサーバーあるの知ってた?」 後輩「メタデーターサーバーって何ですか?」 藤城「仮想マシンにセットされてる情報がAPI使わずにとれるの。 例えば、VM-IDとか公開鍵の情報とか ほら(デモ)」 後輩「何でこれまで教えてくれなかったんですか!」
  • 29.
    29 (C) IDC FrontierInc. All Rights Reserved. ⑥メタデータ 実はIDCFクラウド、 メタデータサーバーあります  仮想マシン上からリクエスト  APIキー不要  問い合わせしている仮想マシンの情報を返す  data-server = 仮想ルーター $ curl http://data-server/latest/vm-id e17a5712-4593-4074-****-************ $ curl http://data-server/latest/availability-zone Augusta $ curl http://data-server/latest/public-keys ssh-rsa AAAA・・・・
  • 30.
    30 (C) IDC FrontierInc. All Rights Reserved. Some Tips  その他とれる情報 service-offering: 仮想マシンスペック(ダイナミックスケール非対応) availability-zone: 稼働しているゾーン名 local-ipv4: 仮想マシンについているプライベートIP local-hostname: 仮想マシンのホスト名(作成時の名前) ≠ディスプレイネーム public-ipv4: ソースNATのグローバルIPアドレス public-hostname:使わない(public-ipv4が返る) instance-id: 仮想マシンID(vm-idと同じ) vm-id: 仮想マシンID(instance-idと同じ) public-keys: セットした公開鍵 cloud-identifier: 使わない $ curl http://data-server/latest/meta-data service-offering availability-zone local-ipv4 local-hostname public-ipv4 public-hostname instance-id vm-id public-keys cloud-identifier
  • 31.
    31 (C) IDC FrontierInc. All Rights Reserved. ここまでのまとめ 1. cloudstack-apiをインストール http://docs.idcf.jp/cloud/introduction/ 2. monitをインストール # yum install epel-release -y # yum install monit -y 3. monitを設定(Augustaゾーンでhighcpu.M4のマシンを想定) 【/etc/monit.d/scale.rc】 check system loadavg if loadavg (5min) > 2 then exec "/bin/bash -c '/usr/bin/cloudstack-api scaleVirtualMachine ¥ --id `/usr/bin/curl data-server/latest/vm-id` ¥ --serviceofferingid 44975cf0-8ff5-422b-a053-e952c551b9d4'“ 4. monitを起動 # chkconfig monit on # service monit on 5. 負荷をかけるとオートスケールアップ! オートスケールアップのご提案 5分のロードアベレージが2を超えたら highcpu.L8にダイナミックスケール 自分のIDをメタデータから取得  スケールアウトで間に合わない緊急時に  本番環境で使う前にしっかりテストを  スケールダウンは停止が必要です
  • 32.
    32 (C) IDC FrontierInc. All Rights Reserved. ⑦ マニアック度 ★★★
  • 33.
    33 (C) IDC FrontierInc. All Rights Reserved. まとめ 実はIDCFクラウド、 ほぼ毎週Updateしています リリースノート http://www.idcf.jp/help/cloud/releasenotes/ ご要望ご意見は、 SA、営業、チケットからサポートまで!
  • 34.
    34 (C) IDC FrontierInc. All Rights Reserved.