障害で静止したデータセンタの中で。 - The day datacenter stood still - zem distribution

The Day D t
Th D Datacenter Stood Still
t St d
障害で静止したデータセンタの中で。
Masahito Zembutsu (@zembutsu )
Solutions Engineer - LINK, Inc.
May 24, 2012
y ,
第2回『いまさら訊けない！システム運用・管理のコツ』
極秘

A HUMAN WORK

ホスティングサビス業務
ホスティングサービス
サーバの形、心の形。見知らぬ、仕様書。光、そして影。
形、形。見知、仕様書。光、影。
クラウド、来日。終わる業界。まごころを、お客様へ。

DECISIVE BATTLE

障害対応
鳴り止まな電話。静止したデタセンタの中で。
鳴り止まない電話。静止したデータセンタの中で。
優先度の選択を。とにかく再起動に至る病、そして。
営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。

You can advance.

次世代ニーズに向けた挑戦
特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。

…の前に。
の前に
＼ /
＼丶 i. | / ./ ／
＼ヽ i. .|
| / / ／
＼ヽ i | / / ／
＼
-‐
ー
_＿わたしです --
二／＼
／￣＼＝二
￣. | ＾o＾ | ￣
-‐ ＼＿／ ‐-

／
/ ヽ＼
／丶＼
／ / / | i, 丶＼
／ / / | i, 丶＼

＼ /
＼丶 i. | / ./ ／
＼ヽ i. .| / / ／

私は誰？
＼ヽ i | / / ／
＼
-‐
ー
_＿わたしです --
二／￣＼＝二
Zembutsu Masahito ￣. | ＾o＾ | ￣
-‐ ＼＿／ ‐-
• 前佛雅人 @zembutsu ／
/ ヽ＼
／丶＼
– 株式会社リンク／
／
/
/
/
/ |
|
i,
i,
丶
丶
＼
＼
• at+link 事業部ディベロッパーサポート部
– Solutions Engineer ( 萌えるSE )
• いわゆるインフラエンジニア的な仕事メイン
– オープンソース系・クラウド系コミュニティ活動
オプンソス系クラウド系ミティ活動
• http://pocketstudio.jp/log3/

• 主な職歴
– 2000年 4月∼ リモート一次対応サポート部隊。 ISP サポート
– 2008年 5月社内ネトワク保守通常運用
5月∼ 社内ネットワーク保守・通常運用
– 2010年11月∼ 一次＆二次エスカレーション対応

を捌く
Ops的、何か
Ops的何か

DevOps!

―Don't forget. always, somewhere,
someone is fighting for you.
―As long as you remember her.
you are not alone.
忘れないで、いつもどこかで誰かがあなたの為に戦っている。
Operation 彼女を覚えている限り、あなたは人じゃない。
彼女を覚えている限りあなたは一人じゃない
（出典：魔法少女まどかマギカ最終話「わたしの、最高の友達」）

Monitoring

今日のネタ

This Photo is under creative commons license by Leonardo Rizzi
http://www.flickr.com/photos/stars6/4381851322/sizes/l/in/photostream/

コツを掴む
ツを掴む

This Photo is under creative commons license by torkildr
http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/

運用手法について
• 会社さんによっては、やりかたが違うと思
いますどれが正しい正しくないという
います。どれが正しい・正しくないという
よりは、僕の場合はこうやっているという
事を皆さんと共有できたら、それはとって
も嬉しいなって（＾ω＾）
ω ）
一応のお約束と言うこと
でおねがいします社
で、おねがいします。社
内の他チームとも運用の
方法は若干異なります.
理由は資料後半をご覧下
理由は資料後半を覧下
さい。こちらが標準仕様
では無いので、悪しから
ずご了承ください(;´Д`)

お題：運用と障害対応
• ホスティングサービス、運用の裏の裏
– とらぶる☆し
とらぶる☆しゅーてぃんぐポジショントーク抜きです!!
てんぐ
– 実録？バッドノウハウ
– サポートという仕事
– すべてはお客様のために ←結論
どこに興味がありますか？

A HUMAN WORK

ホスティングサービス
ホスティングサビス
I. What is hosting services?

This Photo is under creative commons license by Florian Hirzinger
http://en.wikipedia.org/wiki/File:CERN Server 03.jpg

Hosting Service
Ser ice
• そもそもホスティングサービスって何？定義ってあんの？
– Free web hosting service Dedicated hosting service: the user gets his or her own
– Shared
Sh d web h ti service
b hosting i Web server and gains full control over it (user has root
W b d i f ll l i ( h
access for Linux/administrator access for Windows);
– Reseller web hosting however, the user typically does not own the server.
Another type of Dedicated hosting is Self‐Managed or
– Virtual Dedicated Server Unmanaged. This is usually the least expensive for
d h ll h l f
– Dedicated hosting service Dedicated plans. The user has full administrative
access to the server, which means the client is
– Managed hosting service responsible for the security and maintenance of his
– Colocation web h ti service
C l ti b hosting i own dedicated server.

– Cloud hosting Managed hosting service: the user gets his or her own
– Clustered hosting Web server but is not allowed full control over it (user
is denied root access for Linux/administrator access for
– Grid hosting Windows); however, they are allowed to manage their
data via FTP or other remote management tools. The
– Home Server user is disallowed full control so that the provider can
guarantee quality of service by not allowing the user to
– ※ http://en.wikipedia.org/wiki/Web_hosting_service より modify the server or potentially create configuration
problems. The user typically does not own the server.
The server is leased to the client.

( ´ `)
(；´Д`)

Service La er
Ser ice Layer
ユ
ー
ザ
主
導 PaaS
(Platform as a Service)
(Pl f S i )
型 IaaS
サ (Infrastructure as a Service)
ービ
ス

SI
コロケーション MSPサビス
MSPサービス

ホスティング

運用支援

http://www.at-link.ad.jp/
エーティーリンク専用サーバサービスとあるホスティングサー
ビスは、このように3社
で役割を分担しながら運
用を行っています。
用を行っています

at+link 組織体系
t li k
• 営業
– 顧客対応フロント・広報宣伝

• 技術サポート (24時間365日) ここが運用部隊
– リモートからの運用および監視
リモトからの運用および監視
– ハードウェア

• データセンタ対応 (24時間365日)
デタンタ対応 ( 時間日)
– 機器及びハードウェアオンサイト対応や保守

２つの運用チム
チーム
データセンタ対応 OS・ミドル・顧客対応

データセンタ内のハードウェアお
デタセンタ内のハドウェアおサーバやアプリケーションを監視
サバやアプリケションを監視
よびネットワーク機器をメンテ。し、障害対応や必要であれば、主
ハードウェア対応や機器保守に特にリモートから対象機器にログイ
化するため、顧客対応を行う事はンして作業を行う。
少ない。フロントの顧客対応も行う。
お客様からは分かりにくいですが、内部で役割分担しています。
お客様からは分かりにくすが内部役割分担します
瞬間、心重ねて、的な。

Hosting Services .
Ser ices
• ホスティングはサービス
– コロケーションとの違い
ケシンとの違い
– 自社設備運用との違い

24時間365日のサービス
24時間365日のサビス
お客様になりかわり
サーバや機器を運用
セキュリティ(物理)
耐震設計
電源冗長化

This Photo is under creative commons license by simon.carr.
http://www.flickr.com/photos/simoncarr/81918853/sizes/l/in/photostream/

サバの形、心の形
サーバの心の

こういった形のサーバや、1Uがメインです。

サービスサービスぅ！
サビスサビスぅ！
• よくある質問と対応
– 「なんとなく重いので調べてください＾＾」
なんとなく重いので調べてください
– この切り分けが大事
• ハードウェア
ハドウア
• ミドルウェア
• アプリケーション
• ネットワーク
– 切り分け＝犯人を特定＝顧客のサービス向上
切り分け＝犯人を特定＝顧客のサビス向上
• 原因が特定できないと、僕らの責任に…

• 広く、浅く！

DECISIVE BATTLE

II. Knowledge about emergency responses.

障害対応の分類
• データセンタ障害
– 電源、バックボーン、経路、火事

• ネットワーク障害
– スイッチ故障、人的事故

• ハドウア障害
ハードウェア障害
– HDD故障、RAIDのfail、電源、熱

• アプリケーション・ミドルウェア障害
– サービス停止リソース異常 Kernel panic
サービス停止、リソース異常、Kernel
DoS攻撃、不正アクセス

障害を検知するために／
＿＿＿_
u ＼
／＼ ─＼チラッ
／し（＞）（●）＼
• 内部の監視システム | ∪ （__人__） J | ＿＿＿＿＿＿＿_
＼ u ｀⌒´ ／ || |
– 標準提供の死活監視ノ＼ || |
／´ || |
• PING、SSH、HTTP の応答確認 | ｌ || |
– Nagios(NetSaint) ベースの監視システム
• リソース変動・デーモン稼働状況や応答
• 手順書に基づいた一次対応
– ネットワク機器監視
ネットワーク機器監視

• データセンタ事業者の監視システム

• お客様のクレーム
– 電話・メール・お問い合わせフォーム
単純にサーバだけではなく、ネットワークを含む監視
単純バだくネ含監視

いざ障害！大切な事とは？
• 今日のキモです。
– これだけ覚えてくださいあとは寝ていても大丈夫です
これだけ覚えてください。あとは寝ていても大丈夫です。
– 静止したデータセンタの中で…

B R E AT H E D E E P LY

障害発生で注意する事
で、
• 原因切り分けが最優先

"われわれが行動するばあいには、気づくこと
が先決条件である。技術があれば、何でも
解決できるわけではない。技術以前に気づく
解決できるわけではない技術以前に気づく
ということが必要になる。日本にはいくらも技
術屋はいるがなかなか解決出来ない。気づ
かないからだ。"
本田宗一郎(2008) 『ざっくばらん』 PHP 研究所 10pp.

障害対応；５つの心構え
＿＿＿_
／＼／＼ｷﾘｯ
• 1. マニュアルを捨てよ .
／
／（ー）（ー）＼
⌒（__人__）⌒ ＼＜心構え
– 臨機応変な対応を |
＼
|r┬-|
| |
`ー'´ ／
|

ノ＼

• 2 お客様の言うことを疑え
2. |
／´
ｌ
ヽ
＼
ヽ -一''''''"～～｀`'ー--､ -一'''''''ー-､.
– 客観的なデータを信じよ、冷静であれヽ＿＿＿＿(⌒)(⌒)⌒) ) (⌒＿(⌒)⌒)⌒))

• 3. 考えるな、手を動かせ
＿＿＿_
／＼
• 4. お客様との密な報告連絡相談／ ─ ─＼
／（●）（●）＼
| （__人__） |
• 5. 手段と目的を混同するな / ∩ノ ⊃ ／
– 目的は迅速なサービス復旧ただ一つ
目的は、迅速なサービス復旧ただ一つ ( ＼／＿ノ | |
ノ
.＼ “ ／＿＿| |
＼／＿＿＿／

まごころを、君へ(お客様へ)
まごころを君へ(お客様へ)
• お客様への報告連絡相談
– 障害対応中も必要
– 定時連絡（対応中である旨と、復旧目標）
• お客様のイライラ解消
• 希望される場合は、逐次状況を伝えること
• メル電話 M
メール、電話、Messenger、Skype…
Sk
– 相談（勝手に作業をすすめない）
• fsckの実行や、機器再起動など、リスクのある場合
＿＿＿_
• お客様のほうが詳しい事も／:::::::::::::::: ＼＼＿
／

• 状況に応じて提案も行う／::::::::::::::::
|::::::::::::::::::::::::
|| |
∩! ,ヽ＿
もしもし、お客さん？
サーバ元気にしてる？そう、よかった
＼:::::::::::::::: | ｰﾉ
| ::::::::::::::: | i ｊ￣￣￣| いや別に用って訳でもないんだけどさ
| ::::::::::::: ゝ__/＿＿＿＿i どうしてるかなって思って
| :::::::::: / ／
（＿＿（＿＿ヽ⌒⌒⌒ヽうん、それじゃ
/ ,＿/ ＿＿＿ノ／いつまでも元気でサービス提供してな

優先度の選択を
を。
深刻な障害時の対処
• トリアージ的な手法を
– すべてのお客様がクリティカルではない
すべてのお客様がクリティカルではない。
– ある程度、事前にシステム状況の把握を。

• 深刻度が高くかつ対応可能な順に
深刻度が高く、かつ対応可能な順に
– クレーム対応は最優先。しかし！
– 深刻度が低いのは後回し。
– 対応度が高くリソースが割けない場合も後回し
対応度が高く、リソースが割けない場合も後回し
• サービス全体の停止を回避するため

＿＿＿_ ）メモは大事だねっと
／⌒ ⌒＼ )

時系列メモのススメ |
＼
／（ ●）（●）＼
／ ::::::⌒（__人__）⌒::::: ＼
|r┬-|
`ー'´ ／
|
)／ Y Y Ｙ Y
)／⌒Y⌒Y⌒Ｙ⌒Y⌒

ノ＼
／´ ヽカ
• 対応時刻を記録する |
ヽ
ｌ l||l 从人 l||l
-一''''''"~~｀`'ー--､
l||l 从人 l||l カ
-一'''''''ー-､. タ
タ

ヽ＿＿＿＿( )( ) ) ) (⌒＿( ) ) ))
(⌒)(⌒)⌒) ( (⌒)⌒)⌒))
– 障害対応報告書の為 ┌┬┬┐┌┬┬┬┐┌┬┬┬┐┌┬┬┬┐
,. - ''"|￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ρ￣`

– 改善点の洗い出しのため￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ノ￣￣

＿＿＿＿_
／::::::─三三─＼
／:::::::: （ ○）三（○）＼ PCがフリーズ!!! MJD?
|::::::::::::::::::::（__人__）::::
|::::::::::::::::::::（人）:::: | ＿＿＿＿＿＿＿_
• 紙にペンでメモする＼:::::::::
ノ::::::::
|r┬-| ,／ .| |
`ー' ＼ | | |
|

– 時系列で殴り書き(時刻と対応内容)
– フリーハンドで
– ネット環境や電源を気にしなくて良い

鳴り止まない電話
鳴り止まない、電話
• 如何でしょうか
– 現場の手が止まらないような工夫
– 営業担当はフロントに
• といっても、ケースバイケース
とてもケスバイケス

• 対応方法は電話に限定せず、状況は刻々と変化
するので、ダイナミックな対応が必要。
するので、ダイナミックな対応が必要
• 答えは無い。
• 現場で、自分で考えなくてはいけない。
場自分考く

障害対応は報告書を書くまで
は、
• 客観的な文章を心がける。
– 時系列
– 原因
– 対策

営業、侵入。
客先訪問、魂の座。
嘘と沈黙。
嘘と沈黙
涙。

ぶちけ障害対応どうよ？
ぶっちゃけ、
• 障害発生時、中の人は救急救命の志向で対応し
てます。時間
ています。24時間365日闘う覚悟です（ｷﾘｯ
日闘う覚悟です（ｷﾘｯ

• トラブルが起こった時もし事前に作業をされ
トラブルが起こった時、もし事前に作業をされ
ていたのであれば、可能な範囲でコマンド等、
内容を教えていただけると助かります。
内容を教えていただけると助かります

• 現場にお電話いただくと手が止まります
現場にお電話いただくと、手が止まります。

• いろいろフィードバックを下さると助かります。＿＿＿_
. ／（ー）（ー）＼
／ ⌒（__人__）⌒ ＼ 24時間365日闘う覚悟です
| |r┬-| |
＼ `ー'´ ／
ノ＼

You can (not) advance.

III. Dynamics of customer-oriented services.

特化サポト部隊、誕生
サポート
• 変遷
– 2010年9月ディベロッパサポト部創設
ディベロッパーサポート部
– 2010年11月アプリプラットフォーム提供開始

• チーム体制
チム体制
– 保守やサポートの状態
／:::: ､:＼
/／:::: :::＼:ヽ
ｲ::／:::::....... , .::::＼:ヽ!
i/:::／::,::::::::::::......../ ,ﾊ.',...:＼::::::::ヽ!
ｲ〃/://,::, ::://::/::/:,!l､ヽ＼:ヽ::ヽﾄ
i;ｲ/:;.ｲﾉｲ／jﾊ/ l/ノ ' j;ﾊヾjヾ}::_ﾐﾞ
ハﾍｨ､ ,. ヽ.}fハ
', ﾊｆ{､,＞=ヮ‐､j_i_rｒ=ヮ＜__/ij､ j 我々には時間が無いのだ
Λ ﾐj {::`ーｧ７´〉ヽ:`ｰ‐':ﾉ,. iﾘ ∧
/:::::7ヾ,｀フ´./ ./｀! ｀￣´ ' jfイ:::::＼
_,. -〈::::::::｢｀Y´ ／／ﾉ‐'^ _ ,ｲ! j::::::::::::|＼
_,, -‐''´::::::::::::', ::｜/ ./ / /
''´ ' ｜/ / /―ｧ'´ 〉ﾁ'' /
'´ 〉ｨﾁ'' /::::::::::: j::::::｀ヽ､_ ｀
ﾞ´::::::::::::::::::::::::::::: ヽﾉ,' ノ / /.,,／ ,.ｨｆjﾙ''／:::::::::::: /::::::::::::::::::｀¨ The survival strategy of the cloud computing era 2011 1119 zem_dist...
::::::::::::::::::::::::::::::::::::/ '′ 〈／ .,.ｲ屮‐'´|:::::::::::::::,.'::::::::::::::::::::::::::
http://www.slideshare.net/zembutsu/the‐survival‐strategy‐of‐the‐cloud‐
:::::::::::::::::::::::::::::::::::i r'￣ ,|:::::::::／:::::::::::::::::::::::::::::
:::::::::::::::::::::::::::::::::::| /＿ _, ‐' |_,／::::::::::::::::::::::::::::::::::: computing‐era‐2011‐1119‐zemdistribution
::::::::::::::::::::::::::::::::::::',. / ｢::::::::::::::::::::::::::::::::::::::::::::

割と最近の取り組み監視強化
み＝
• リソース推移の変動検出
– Realtime event-driven monitoring
g

• Munin
– RRDtool based

• 障害対応の自動化
– Chef や Puppet自動実行

• CEP event driven monitoring
Realtime event‐driven monitoring
system with CEP
– Complex Event Processing
http://www.slideshare.net/zembut
– Setsuna 岩瀬さん(神戸デジタルラボ)開発 su/realtime‐eventdriven‐
/ li di
• http://sourceforge.jp/projects/setsuna/
monitoring‐system‐with‐cep

まったく、Muninは最高だぜ！
またく M i は

http://munin monitoring.org/
http://munin-monitoring.org/
ま
http://munin.jp/
p jp
/: : : :/: : : : : : :.:..:i: : : : : : : : :..i: : : : : : : : : : : :.,
っ ,:..: : :/: : : : : : : : :.:.|: : : : : : : : : |: : : : : ;: : : : : : :',
た ,: : : : : _＿:l: : : : : : |: : : : ＿:＿_|: : : : : ;: : : : : : :.;
MUNIN く |l: : : : : :.＿|_ヽ: : : :.|:'":´_:_:_: :..:.:|: : : : :,': : : : : : : l
は |l: : : : :|.ｲﾃﾖﾊ|）{ヽ:.|: !ｲﾃヨﾐﾘヽ,: : : : : ､: : : : : : ,'
.最 |.|: : : :ﾊ｀ゞ-'' `! ヾ__ソィ |: : : :/ＹＹ: : : : /
.高
高 | |: : : : : :l
|:.:.:.:.:.:l : : : :|: : : :/ ﾉ/: : : : : :/
:|:.:.:.:/.ﾉ/:.:.:.:.:.:/
だ ',:::|､:::ﾊヽ : : : :.|:::::/_ノ::::::/:::/
ぜ ',:|.ヽ:::ﾍ､- _,, . : :..:.:ｨ|::::::::::::::::/:／
！ | ヽ::::|＼. ‐ . . : :.／:.|/:/::::::://
ﾍ::|ﾍ:::＼ : :.＜: : : : |:/::://

現在の課題
• 監視 Metrics の増加と精度向上
– 複数サーバの状況把握
複数サバの状況把握
– 精度向上のための手法の検討
• 秒単位に行えるような時系列解析

• CloudComputing 的な運用ニーズ
– 例えホスティングサービスだとしても。

• テクニカルな課題よりサービスの本質を
– サービスとは何かを真剣に考える。

※イメージです

データセンタで地震強揺れ警戒
デタタ地強い揺れに警戒
千葉茨城栃木群馬埼玉
東京神奈川静岡

This Photo is under creative commons license by JanneM.
http://www.flickr.com/photos/jannem/4579531183/J

奇跡（サビス）の価値は
（サービス）のは。
• ホスティング事業者として真剣に考える
– 何が出来るのか？何をすべきなのか
– 箱（サーバや機器）を貸して知らないというのは、ホス
ティングサービスではない気がします。

• 責任分界点
– DevOps 的な相互歩み寄りが必要なのでは＿＿＿_
／＼（ ;;;;(
／＿ノヽ__＼) ;;;;)
／（─）（─ /;;／
• Service Level Agreement (SLA) |
/
（__人__） l;;,
（人）l ´
∩ ノ)━・'／
– SLAの高低≠サービスの質の高低 ( ＼／＿ノ´.| |
.＼ " ／＿＿| |
＼／＿＿＿／

我々は敵ではありません。お客様と一緒に悩み、考え、問題を解決する
パートナーであると。共に歩むことが大切なんだと、僕は信じてます。
パトナであると共に歩むことが大切なんだと僕は信じてます

ホスティングに大切な事＿＿＿_

• 障害対応の最適解は変化する .
／
／（ー）（ー）＼
⌒（__人__）⌒ ＼＜せめて人間らしく
| |r┬-| |
– 臨機応変な対応を忘れず。ノ
＼ `ー'´ ／
＼
– 時にマニュアルを捨てる。 |
／´
ｌ
ヽ
＼
ヽ -一''''''"～～｀`'ー--､ -一'''''''ー-､.
ヽ＿＿＿＿(⌒)(⌒)⌒) ) (⌒＿(⌒)⌒)⌒))

• 技術は、あくまで大切な要素の一つ。
– サビスの目的はお客様の事業サポトである
サービスの目的は、お客様の事業サポートである
– お客様は大切なビジネスパートナー

• Hosting Service はサービスである
g であ
– 「おもてなしの心」が満足度向上につながる。

A HUMAN WORK

ホスティングサービス業務
サーバの形、心の形。見知らぬ、仕様書。光、そして影。
サーバの形心の形見知らぬ仕様書光そして影
クラウド、来日。終わる業界。まごころを、お客様へ。
DECISIVE BATTLE

障害対応
鳴り止まない電話。静止したデタセンタの中で。
鳴り止まない電話。静止したデータセンタの中で。
優先度の選択を。電源停止に至る病、そして。
営業、侵入。客先訪問、魂座。嘘沈黙。涙。
営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。
You can advance.

ズに
特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
特科サポト部隊誕生奇跡の価値はせめて人間らしく

Questions?
• もう少しkwsk訊きたい所はありますか？

／￣＼
| |
＼＿／
|
／￣￣＼
／＼／＼
／ ⌒ ⌒ ＼よくぞ訊いてくれた
| （__人__） | 褒美としてオプーナを買う権利をやる
＼｀ ⌒´ ／ ☆
/ヽ､--ー､＿＿,-‐´ ＼─／
／ > ヽ▼●▼<＼ ||ｰ､
/ ヽ､＼ i |｡| |/ ヽ (ニ､｀ヽ
.l ヽ l |｡| | ｒ-､y ｀ﾆﾉ＼
l | |ー─ | ￣ l ｀~ヽ＿ノ＿＿＿_
／
／￣￣￣￣ヽ-'ヽ--' ／オプナ／|
' ' オプーナ
.|￣￣￣￣￣￣|／| |￣￣￣￣￣￣|／| ＿＿＿＿＿＿
／￣オプーナ／| ￣|__」／_オプーナ／|￣|__,」＿＿_ ／|
|￣￣￣￣￣|／オプーナ￣／￣￣￣￣|／オプーナ／| ／ .|
|
|￣￣￣￣￣|￣￣￣￣￣|／l￣￣￣￣|￣￣￣￣￣|／ | ／
| |／l | |／
|￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣|

References
• 参考書籍
– ドナルド・C・ゴース, G.M.ワインバーグ (1987)
『ライト、ついてますか―問題発見の人間学』共立出版
– DIAMOND ハーバード・ビジネス・レビュー編集部 (2005)
『いかに「サービス」を収益化するか』ダイヤモンド社
– 本宗郎（
本田宗一郎（2008) 『ざくば
『ざっくばらん』 PHP 研究所
究所

• 監視
– Munin http://munin-monitoring.org/
– Munin User Group Japan http://munin.jp/
p p p jp

• ネタ元
– http://ja.wikipedia.org/wiki/新世紀エヴァンゲリオン

• Slideshare
– http://www.slideshare.net/zembutsu

障害で静止したデータセンタの中で。 - The day datacenter stood still - zem distribution

Recommended

Recommended

More Related Content

More from Masahito Zembutsu

More from Masahito Zembutsu (20)

Recently uploaded

Recently uploaded (11)

障害で静止したデータセンタの中で。 - The day datacenter stood still - zem distribution