ニフティクラウドを使った安定運用のススメ
Upcoming SlideShare
Loading in...5
×
 

ニフティクラウドを使った安定運用のススメ

on

  • 1,118 views

 

Statistics

Views

Total Views
1,118
Slideshare-icon Views on SlideShare
1,118
Embed Views
0

Actions

Likes
7
Downloads
1
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    ニフティクラウドを使った安定運用のススメ ニフティクラウドを使った安定運用のススメ Presentation Transcript

    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 1 ニフティクラウドを使った 安定運用のススメ 2013.09 ニフティ株式会社 クラウドインフラ部 寶田 吉文
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 2 自己紹介  名前  寶田 吉文(HODA Yoshifumi、ほうだよしふみ) / @h0da  所属  ニフティ株式会社 クラウド事業部 クラウドインフラ部  仕事  ニフティクラウドなんでも屋、インフラエンジニア、ベンチマークも大好き  インフラ運用を自動化したり、運用作業をラクにする開発が大好き  数万行のスクリプト作成自動化、●●台同時構築、一括変更などなど  ユーザブログでベンチマークネタを書きました(CPU, MEM, ネットワーク編)
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 3 本日お話する内容  ニフティクラウドサーバを監視/運用するコツ教えます  スモールスタートを体験してみよう!  まずは手軽に出来るところから始めてみよう 本日のゴール! ① ニフティクラウドのサーバを監視するコツを知る ② ニフティクラウドのサーバを運用するコツを知る ③ スモールスタートを体験してみる みなさまのビジネスのタネになれば幸いです
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 4 アジェンダ ① ニフティクラウド上のサーバを監視するコツ ② ニフティクラウド上のサーバを運用するコツ ③ スモールスタートで初めてビジネスを加速させよう 最小限の投資で、必要なリソースを必要なだけ確保する
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 5 進め方  質疑応答は適時(自由にどうぞ)  ご不明な点や詳しく聞きたい点等ありましたら、その場でご 質問ください。
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 安定運用を目指すために ヒントになれば幸いです
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential ① ニフティクラウド上のサーバを 監視するコツ
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 8 こんな話で困ったことありませんか?  Webサーバが落ちてしまったが… どのリソースが足りてないのか具体的に調べる方法が分からない  システムパフォーマンスを最大限引き出したい  システム監視をラクにしたい サーバ監視術で解決! ⇒ ① 各VMを監視するサーバを構築 ② ニフティクラウドの基本監視機能 ③ 弊社パートナー様のソリューションに頼る
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 9 ニフティクラウドのサーバを監視するオススメ方法 ① 自前/自社で監視サーバを構築する コスト: ? 難易度: ? ② 環境構築、運用/監視のプロに頼る、アウトソースする コスト: ★~★★★ 難易度: ★ ③ 監視SaaSサービスを使う コスト: ★~★★★ 難易度: ★~★★ ④ ニフティクラウドの基本監視機能を使う コスト: 0円 難易度: ★
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential はてな人気エントリー(9/11)に サーバ監視記事がありました
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 11 リソース監視にはmunin! http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/ ※ 上記URLより記事を抜粋
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential みなさま監視サーバに 興味津々のようですね!
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 13 ニフティクラウドのサーバを監視するオススメ方法 ① 自前、自社で監視する! コスト: ? 難易度: ? ② 環境構築、運用/監視のプロに頼る、アウトソースする コスト: ★~★★★ 難易度: ★ ③ 監視SaaSサービスを使う コスト: ★~★★★ 難易度: ★~★★ ④ ニフティクラウドの基本監視機能を使う コスト: 0円 難易度: ★ まず、ここの方法をオススメ方法ご紹介します ⇒ ずばり、Muninで監視しましょう!
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 14 ニフティクラウド本をご紹介 実は… P140~150に作り方が書いてあります ちなみにニフティ社内でも数百VM管理で使ってます! 社内でもmunin大好きユーザ多数。
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 15 Muninサーバ構築 ⇒ 新人に課題を出してみた P140~150に作り方書いてあるよ! ホウダ「とりあえず作ってみようか?」⇒ 新人「はい!(元気良い)」 ↓ 入社1年目の方に ⇒ 2時間後に作成できた!と報告受けました ↓ 実は..構築が“とても簡単”です! 入社1年目談「すごい簡単でした…」 「こんな監視してくれるなんてすごいですね」
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 16 Xlarge32 medium×4台クラウドAPIで 1時間ごとにスペック変更 small~wlarge ベンチマークが1時間 ごとに実行 負荷分散構成も監視してみた
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 17 負荷分散構成 Xlarge32 medium×4台クラウドAPIで 1時間ごとにスペック変更 ベンチマークが1時間 ごとに実行 それでは この中身を見てみたいと 思います!
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential それでは実際に稼働している Muninをご覧ください
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 19 Munin監視サーバを開く
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 20 Muninで問題切り分けもできる small8 Large32 Muninを導入=サイジングツールになる 例: 同一の負荷をかけたときの違いもわかる small8では、リソースを使い切ってしまう事例 一方、large32では、40%程度の負荷となった ⇒ 構築が簡単、問題切り分けもできる!
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential Muninでサーバリソースを 丸裸にできる!
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 22 ニフティクラウドのサーバを監視するオススメ方法 ① 自前、自社で監視する! コスト: ★ 難易度: ★ ⇒ なんだ簡単じゃないか! と思ってくれると嬉しい限りです
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 無料の基本監視機能を試す
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 24 ニフティクラウドのサーバを監視するオススメ方法 ① 自前、自社で監視する! コスト: ★ 難易度: ★ ② 環境構築、運用/監視のプロに頼る、アウトソースする コスト: ★~★★★ 難易度: ★ ③ 監視SaaSサービスを使う コスト: ★~★★★ 難易度: ★~★★ ④ ニフティクラウドの基本監視機能を使う コスト: 0円 難易度: ★ 無料の基本監視機能も活用しよう
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 25 ニフティクラウド基本監視機能 基本監視機能=SNMP+メール通知機能です。 [基本監視(補助)]+[監視サーバ(詳細)] と切り分けて使うのがオススメ構成 監視サーバコストをかけたくない場合は、 無料の“基本監視のみ“で運用されている お客様も多数いらっしゃいます P117~140に設定方法が紹介されています +
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 26 ニフティクラウドのサーバを監視するオススメ方法 ① 自前、自社で監視する! コスト: ★ 難易度: ★ ② 環境構築、運用/監視のプロに頼る、アウトソースする コスト: ★~★★★ 難易度: ★ ③ 監視SaaSサービスを使う コスト: ★~★★★ 難易度: ★~★★ ④ ニフティクラウドの基本監視機能を使う コスト: 0円 難易度: ★
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 27 パートナーとともにお手伝いします 豊富な運用実績とともに パートナーとともにお客様のビジネスをご支援をいたします ⇒ 専用の電話窓口もございます
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 28 サーバ監視するコツまとめ STEP1: 基本監視機能を設定しよう ※ サーバごとに設定が必要です STEP2: 監視サーバを構築しよう STEP3: ニフティクラウドパートナーに監視をアウトソースしよう
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential ② ニフティクラウド上のサーバを 運用するコツ
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 30 ニフティクラウドのサーバを運用するコツ ① サーバのログは大事にする ② 万が一困ったときは、コンソール機能に頼ろう ③ OSのチューニングを実施する ④ HA機能(自動ファイルオーバー)を理解しよう
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential サーバーのログは大事にする 万が一の調査方法を知る
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 32 何か困ったらログを調査する  /var/log の配下にたくさんある 各アプリケーションのログも格納されている 例 /var/log/httpd/error.log  /var/log/messageをまず見てみる  OSに起動失敗した場合は、dmesgを見てみる  コントロールパネルの操作ログを見てみる ⇒ 次頁で実サンプルをお見せします ⇒ ニフクラ本 p140にも簡単なご紹介もあります
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 33 OS内部ログのサンプル Sep 12 06:58:17 localhost dhclient[1426]: DHCPREQUEST on eth1 to 10.100.48.11 port 67 (xid=0x16aeb16c) Sep 12 06:58:17 localhost dhclient[1426]: DHCPACK from 10.100.X.X (xid=0x16aeb16c) Sep 12 06:58:18 localhost dhclient[1426]: bound to 10.100.X.X -- renewal in 20808 seconds. [Wed Aug 14 16:19:02 2013] [error] server reached MaxClients setting, consider raising the MaxClients setting Webサーバの接続上限まで負荷が来てしまっている例 /var/log/httpd/error.log DHCPサーバから正常にIPアドレスを取得できている例 /var/log/messages
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 34 コントロールパネルのログ 接 続 元 IP ア ド レ ス
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential サーバがハングアップしたときは、 コンソール機能に頼る
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 36 コンソール機能を使おう ↑ここを押すと コンソールが立ち上げられる! ※ 要 Vmware-pluginインストール
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 37 再起動画面例
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 38 コンソール機能はこんな感じです 2. CD/DVDが入れられる 1.強制再起動/強制停止 3. 画面を見ながら キーボード操作ができる
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential どうしよもないときは、再起動… アレ?再起動もうまくいかない? ⇒ 強制再起動を試そう
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 40 クラウドで操作できる便利な操作 サーバ運用のなかで…  電源ボタン長押しで強制停止!  電源ボタンリセットで強制再起動! ⇒ コントロールパネルで実現可能  コンソール機能で、画面を見ながら操作 キーボード、マウス、CDトレイを操作できる! ≒ IDCへの出張いらず! 現地IDCにいかないと できなかったこと (強制停止/強制再起動/画面操作) ↓ クラウドならすべて Webブラウザ上で 操作可能! 社内の先輩談: サーバを○百台強制再起動しにいくためにiDCいったよ..
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 41 強制停止と強制再起動は計画的に 通常停止/強制停止 再起動/強制再起動
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 42 マルチリージョン・ゾーン対応 すべてコントロールパネルから操作可能 NIFTY Cloud 東日本リージョン西日本リージョン その他リージョン 東日本1 東日本2 東日本3 西日本1 西日本2 その他1 提供予定 2013.6 提供 2012.9 提供
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential OSのチューニング例 ニフティクラウドのパフォーマンスを最大限引き出す
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 44 10Gbpsのドライバチューニング例 (ご参考) 公式FAQ: ネットワークパケットがドロップしてしまいます http://cloud.nifty.com/cs/catalog/cloud_faq/catalog_1209200 00938_1.htm ネットワークドライバチューニングを実施例 VMXNET3 ドライバの下記パラメータを変更 TSO有効、x Ring #1 Size, Rx Ring #2 Size, Tx Ring Size, Large Rx Buffersをすべて4096に設定 ⇒ ニフティクラウドのWindowsサーバ間で負荷実験 4Gbpsを超える通信を確認
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 45 Xlarge32 medium×4台クラウドAPIで 1時間ごとにスペック変更 small~wlarge ベンチマークが1時間 ごとに実行 こちらの内容ですが…
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 46 チューニング詳細  Webサーバの設定 MaxClinet → 1024 ServerLimint → 1024  VirtualServers設定 keepalive → No add_cluster_ip → No Memory Limits → 204800(デフォルト値:65536)  Stingray Pools設定 keepalive → No Monitor → PING LoadBalancing → Round Robin max_connect_time → 8 seconds(デフォルト値:4) Basic Settings → delay 6 sec, timeout 12sec,failures 4 後日ユーザブログにてご紹介予定 乞うご期待
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 47 ユーザブログのご紹介 ニフティクラウドをご利用いただいている企業の方々やニフティ社員 が、 ユーザー視点でニフティクラウドにまつわるTipsやノウハウをご紹介 します。 <過去記事の一例> ・CapistranoとChefでサーバー管理を自動化 ・JMeterによる性能試験で「もう負荷も恐くない」 ・徹底比較: ニフティクラウド VS Amazon Web Services ※ライターは、基本的に個人として執筆いたしております。 ◆ ニフティクラウド ユーザーブログ
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 自動フェイルオーバ機能を知り、 サービスを設計する
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 49 自動フェイルオーバー(HA機能)  ニフティクラウドを提供する当社のシステムにおいて、 物理ホスト障害が発生した場合、当該物理ホスト上に展 開されていたお客様のサーバーは、自動で別の物理ホスト 上に移動します(サーバーが自動で再起動します) ⇒ VMware vSphere HA機能 ※ VMware社の製品仕様より抜粋
    • 50 従 来 シ ス テ ム 無停止対応0.5H以内の復旧24H以内の復旧 3H以内の復旧 無停止対応0.5H以内の復旧24H以内の復旧 3H以内の復旧 HA復旧目安 3分以内 ニ フ テ ィ ク ラ ウ ド サーバ再起動後はお客様のサーバ処理次第 低コスト 高コスト 超高コスト mini~wlarge64で標準搭載、一律コスト 運用のコツ=HA後の動作を設計する 突然再起動命令 HA機能なしだと… 物理障害 ⇒ 突然停止 物理サーバを修理するまで3~4時間
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 51 続きはWebで….
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential ③ スモールスタートを体験してみよう 小規模サービスから大規模サービスへ成長するイメージをつかむ
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 53 たとえば  1台からはじめて、その後、100台のサーバを管理しろといきなり言 われとき、どのように運用したら良い方法がないか探している  サービスリリース後、幸い大ヒット。そして、テレビ放映を予定してい るが、アクセス数の予想が難しくなってきた  経営からサービスを止めないで運用したいと言われてしまった ⇒ ニフティクラウド L4ロードバランサを強く推奨 ⇒ スモールスタートでスタートでき、大規模サービス成長後も そのままご利用できるメニューをご用意
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 54 ロードバランサを分かりやすい絵でたとえると… ☓ 負荷大 ☓ ☓ ☓ 負荷大負荷大負荷大 たった“30秒”で 新宿駅クラスへ いわゆる帯域制限装置 =小さな駅改札口が… 10Mbps 2Gbps 負荷大 伸縮自在
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 55 耐障害性、メンテナンス性が向上 ☓ なんかおかしい たった30秒でメンテナンス 取り外し、取り付けは自由自在 1台おかしな改札が… でも動いてる ☓ 修理 1. すぐ取り外せる 2. すぐ取り付けれる 修理完了!
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 56 スモールスタート スモールスタートで開始 WEB mini DBバッチ large グローバルLAN プライベートLAN ×2台 DB mid4 バックアップ small LB 徐々に世間に知れ渡り… WEB large DBバッチ large グローバルLAN プライベートLAN ×10台 ※規模に応じて増やす DB mid4 DB mid4 DB mid4 バックアップ small LB 10Mbps 200Mbps
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 57 サービス最盛期 ×200 台 人気爆発 WEB wlarge DBバッチ large グローバルLAN プライベートLAN APL DB DBバックアップ small LB 2Gbps サービス立ち上げ 開発開始 サーバ構築 人気爆発 アプリ設計再見直し 徐々に世間に知れ渡り… WEB large DBバッチ large グローバルLAN プライベートLAN ×10台 ※規模に応じて増やす DB mid4 DB mid4 DB mid4 バックアップ small LB 200Mbps アプリ設計見直し
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 58 パートナーとともにお手伝いします 豊富な運用実績とともに お客様のビジネスをご支援をいたします ⇒ 専用の電話窓口もございます
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 59 最後に  ニフティクラウドにおける サーバ監視、運用のコツをご紹介しました  簡単ではございますが、スモールスタート事例を ご紹介しました  本日の内容が、少しでも皆様のビジネスのヒントにお役 に立てれば幸いです
    • Copyright © NIFTY Corporation All Rights Reserved. Confidential 60