Right scaleの利用効果、苦労話クラウドマネジメントツール勉強会

RightScaleの利用効果、苦労話
クラウドマネジメントツール勉強会

ソネットエンタテインメント株式会社成田宏和
2013/04/05(金)

自己紹介

自己紹介：成田宏和
 所属
 主務
 ソネットエンタテインメント株式会社
 兼務
 株式会社ゲームポット
 ソネットメディアネットワークス株式会社
 業務
 2004年～ WEBアプリケーション開発(Perl, Ruby)
 2010年1月～ CLIでAWSを使ったインフラ構築・運用
 2010年6月～オンプレミス環境インフラ構築・運用
 2010年10月～ RightScaleでAWSを使ったインフラ構築・運用
 2011年12月～ OSS Chefでオンプレミスインフラ構築・運用

2

Agenda

Agenda
1. 利用状況
2. RightScaleとその効果
3. 苦労話
4. 注意どころ
5. 応用編
6. まとめ

3

利用状況

利用対象
 システム
 ソネット・メディア・ネットワークス株式会社
…広告配信基盤
 Logicad
 株式会社ゲームポット
…ソーシャルゲーム
 狩りとも
 狩りともSP
 蒼穹ドラゴンギルド
 童話スピリッツ-海と空の島々-
 etc...
 サーバ台数
 200～300台程度

5

利用状況

RightScaleを使った業務と要求事項
1. 自動化のネタ作り…主体はインフラ担当者:3名
 RightScaleの仕組把握
 構築手順
 構築手順をスクリプト(ex. shell, Ruby, Perl)化するスキル
2. システム構築…主体はインフラ担当者:2名
 RightScaleの基本操作スキル
 システム設計
 システム要素と自動化のネタとの対応情報それ設定すべきパラメータ
3. サーバ単体構築…インフラ担当者、アプリ開発者:多数
 RightScaleの基本操作スキル
 自動化のネタに設定すべきパラメータ
4. 構築済システムのオペレーション…インフラ担当者、アプリ開発者:多数
 RightScale上の定型処理
5. モニタリング…インフラ担当者、アプリ開発者、プロデューサ:多数
 ネットサーフィンスキル

6

RightScaleとその効果

 Overview
1. MultiCloud Platform
2. Configuration Framework
3. MultiCloud Marketplace
4. Automation Engine
5. Governance Control

http://www.rightscale.com/products
8

RightScaleとその効果＞MultiCloud Platform

稼働状況
Before After
 ダッシュボードでクラウド,サービ
スを跨いだシステムの状況をリア
ルタイム確認

9


サーバへ1クリックログイン
 ニックネームでサーバを探して1クリックログイン

10


クラウドアカウントの切り替え
 複数アカウントをタブOpen,セレクトボックスで簡単切替
 一人が複数のシステムを運用するのに便利

11


 Overview

12


Server Template/Right Script, chef recipe
Before After
 構築情報を基に手動構築  構築情報から自動構築

自動化のネタ

13


サーバオペレーション
Before After
 コンソールからコマンドライン実行  オペレーションにはRight Script,
chef recipeが利用可能
 RightScale上からサーバ1台ずつ
or複数台に一括で実行

14


Credentials
 セキュア情報の管理機能
 inputsにCredential名を設定
 実行時に値をロード

15


 Overview

16

RightScaleとその効果＞MultiCloud Marketplace

ベストプラクティスの享受
Before After
 自分たちで調べて運用  ベストプラクティスが詰まったテン
プレートを利用
 工数削減、問題回避

17


 Overview

18

RightScaleとその効果＞Automation Engine

モニタリング
Before After
 Muninサーバを自前運用  値送信で自動グラフ化
 監視システム自前運用不要

19


Alert設定
 グラフ名、値の名前、閾値をトリガにAlert Escalationを実行
 メール送信、スクリプト実行、サーバ再起動...

20


サーバ台数調整
Before After
 CLIで台数調整  Server Array
ec2-run-instances・・・  スケジュール、モニタリング
情報を基に台数自動調整

21


Macro
 お決まりのセキュリティグループ作成はMacroで実施
 ミス回避、時間節約

22


 Overview

23

RightScaleとその効果＞Governance Control

アクセス権管理
Before After
 権限絞ったアカウントなし  権限絞ってアカウント設定
 開発者、プロデューサもインフラオペ
 インフラオペレーションはインフレーション
ラ担当者のみ  アプリケーションデプロイ
 プロセス再起動
 サーバ再起動
 サーバ複製...etc
http://support.rightscale.com/15-References/Tables/User_Role_Privileges

24

RightScaleとその効果＞Governance Control

履歴管理
Before After
 ドキュメントに手動記録  Auditに自動記録
サーバの起動/停止
 作業履歴 

 スクリプトの実行
 サーバログイン
 セキュリティグループ
 etc...

25


 Overview
3. MultiCloud Marketplace RightScaleに情報集約

26

苦労話

大量のAlertメール
 Alert設定次第で1インシデントが大量メール送信
 意図しないアラート
 設定ミス
 RightScale側で保持しているServer Status値の予期しない変動

28

苦労話

トラブルシューティング
******************************************************************************
**
 inputsや設定の確認
*RS> Preparing boot bundle ****
*ERROR> Failed to prepare boot bundle: Failed to retrieve boot scripts (Failed to
 赤表示になっているところはないか
build boot bundle (InputFormalValues::ResourceNotFound: Deployment ‘****’ **********************************************************************
contains no server or array named ‘****' in **********
/home/rails/right_api/releases/20130321190135/app/models/input_formal_value *RS> Preparing boot bundle ****
 Audit Entriesを確認
s/environment.rb:97:in `component_instance')) 16 metadata files removed
7 sqlite files removed
0 metadata files removed
 failedになっているところの詳細を開きError付近をじっくり読む
22:27:58: ERROR: S3 error: 403 (Forbidden):
*RS> Tags discovered on startup: 'rs_launch:type=auto',
'rs_login:state=active'
22:27:59: Script exit status: 1 *RS> Missing inputs for Chef recipe < LB Application to HAProxy connect -
 Right Scriptの標準出力メッセージは控えめに
22:27:59: Script duration: 12.82543
*ERROR> Execution failed
11H1
*RS> v1 >, waiting...
*ERROR> External command error: RightScript < APP setup execution *RS> Missing inputs for Chef recipe < LB Application to HAProxy connect -
 出し過ぎる(数万行)とハンドリングできなくなる
environment > exited with 1
*ERROR> Subprocess exited with 1
11H1
*RS> Missing inputs for Chef recipe < LB Application to HAProxy connect -
 計画メンテナンスの後は要注意 11H1

 インタフェース変更
 不具合
 RightScale上の表示を過信しない
 最終的にはクラウド側のツールで確認

29

苦労話

クラウド側のステータス取得遅延
 ステータス同期方法
 EC2インスタンス関係
 query EC2
 セキュリティグループ
 query EC2
 EBS snapshot
 Snapshot sharingで
ダミールールadd→revoke
 その他
 ダミー作成→削除
 それでもダメなら
クラウド側ツールで確認

30

苦労話

LANG=ja_JP.utf8しちゃうと嵌る

～中略～
def is_started?(host=nil)
os_vals = get_os_service_values(host)
status_res = execute_db_service_command( host , "status" )
(status_res =~ /#{os_vals[:mysql_started_tag1]}/ || status_res =~ /#{os_vals[:mysql_started_tag2]}/)
end
～中略～
if host_os == 'ubuntu'
{
:mysql_service => "mysql",
:mysql_started_tag1 => "Threads",
:mysql_started_tag2 => "start/running",
:mysql_stoped_tag1 => "MySQL is stopped",
:mysql_stoped_tag2 => "stop/waiting"
}
else
{
LANG=C前提で書かれている
:mysql_service => "mysql", # MySQL 5.0 used "mysqld"
:mysql_started_tag1 => "MySQL running",
:mysql_started_tag2 => "mysqld¥s.+is running",
:mysql_stoped_tag1 => "mysqld¥s.+is stopped",
:mysql_stoped_tag2 => "MySQL is stopped"
}
end

/opt/rightscale/sandbox/lib/ruby/gems/1.8/gems/rightscale_tools-1.1.24/lib/rightscale_tools/premium/db/common/d_b_utils_mysql.rb

31

注意どころ

メンテはJST金曜日の日中に実施
 RightScaleを使った大事な作業はメンテナンス時間を考慮

33

注意どころ

グラフのTimezoneはユーザ設定に依存

34

注意どころ

MindTermがずれる
 Encoding=utf-8
Font=DialogInput
に設定すると直る

35

応用編

Amazon VPCで利用
 利用方法
 起動時にEIP付与 ※Server Arrayでは不可
or
 NATサーバへルーティングされたサブネットで起動
EIP付与 NATサーバ利用

37

応用編

モニタリングのカスタムプラグインが作成可能
 オンプレミスサーバ監視 Create Custom Collectd Plug-ins for Linux
http://support.rightscale.com/12-

 AWS Cloud Watch Guides/RightScale_Methodologies/Monitoring_System/Writing
_custom_collectd_plugins/Custom_Collectd_Plug-
ins_for_Linux
 インスタンス数変化
 正常終了log
 etc…

38

応用編

Alertの指定は小文字！

グラフでは大文字の項目も、Alertでは小文字で
設定しないと認識してくれない

39

応用編

Right Scriptの実行時の確認有無
 Settings->Account Settings->Preferences
RightScript will appear on your
task
list until complete.

RightScript will appear on your
task
list until complete.

40

応用編

Alert Actions : run_right_script
 エラーログ行数をモニタリング
増加検知で末尾n行をメール送信

41

応用編

状態が～分間続いたらという条件を書きたい

継続時間ではなく
平均値算出時間

１分ぐらいラグがある空のScript
ので9分に設定

42

応用編

Server Array Scheduleでタイマー起動/停止
 Max Count=1,Min Count=1に設定して起動
Min Count=0に設定,cpu-idleを監視して停止

43

応用編

遊休リソース監視
 RightScale APIでリソース監視
 遊休リソースをメール通知

44

応用編

capistrano連携
 cap-rightscale https://github.com/roothybrid7/cap-rightscale
 デプロイ対象としてRightScaleから動的にサーバ情報取得

45

まとめ

まとめ
 RightScaleとは
 自動化のためのプラットフォーム/フレームワーク
 効果
 構築・運用の自動化が実現
 インフラ担当者以外もインフラオペレーション
 監視システムの自前運用が不要
 RightScaleに情報集約
 苦労話、注意どころ
 RightScaleの表示を過信しないクラウド側提供ツールで最終確認
 計画メンテナンスはJSTで金曜日の日中その後は要注意
 今後の展望
 なんだかんだ言っても便利使い続けたい
 オンプレミスとクラウドで同じchef recipeで構築したい

47

日本語フォーラム

日本語フォーラム

日本語ドキュメント

48

ご清聴ありがとうございました

RightScaleの利用効果、苦労話
クラウドマネジメントツール勉強会

ソネットエンタテインメント株式会社成田宏和
2013/04/05(金)

Right scaleの利用効果、苦労話クラウドマネジメントツール勉強会

Recommended

Recommended

More Related Content

Similar to Right scaleの利用効果、苦労話クラウドマネジメントツール勉強会

Similar to Right scaleの利用効果、苦労話クラウドマネジメントツール勉強会 (20)