障害で静止したデータセンタの中で。 - The day datacenter stood still - zem distribution

15,703 views

Published on

The Day Datacenter Stood Still
障害で静止したデータセンタの中で。

http://everevo.com/event/1334 第2回『いまさら聞けない!システム運用・管理のコツ』

ホスティングサービスは、お客様のサーバをお預かりし、24時間365日の運用支援を行うインフラサービス。現場エンジニアはトラブルにどう立ち向かうべきか「サービス提供事業者視点」で取り上げます。ネットワークやサーバ障害の対応事例を(公開可能な範囲で)皆様と共有し、日々の業務に役立てることが出来ればと思います。

Published in: Technology

障害で静止したデータセンタの中で。 - The day datacenter stood still - zem distribution

  1. 1. The Day D tTh D Datacenter Stood Still t St d障害で静止したデータセンタの中で。Masahito Zembutsu (@zembutsu )Solutions Engineer - LINK, Inc.May 24, 2012 y ,第2回『いまさら訊けない!システム運用・管理のコツ』 極 秘
  2. 2. A HUMAN WORKホスティングサ ビス業務ホスティングサービス サーバの形、心の形。見知らぬ、仕様書。光、そして影。 形、 形。見知 、仕様書。光、 影。 クラウド、来日。終わる業界。まごころを、お客様へ。DECISIVE BATTLE障害対応 鳴り止まな 電話。静止したデ タセンタの中で。 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。とにかく再起動に至る病、そして。 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance.次世代ニーズに向けた挑戦 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
  3. 3. A HUMAN WORKホスティングサ ビス業務ホスティングサービス サーバの形、心の形。見知らぬ、仕様書。光、そして影。 形、 形。見知 、仕様書。光、 影。 クラウド、来日。終わる業界。まごころを、お客様へ。DECISIVE BATTLE障害対応 鳴り止まな 電話。静止したデ タセンタの中で。 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。とにかく再起動に至る病、そして。 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance.次世代ニーズに向けた挑戦 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
  4. 4. …の前に。 の前に \ / \ 丶 i. | / ./ / \ ヽ i. .| | / / / \ ヽ i | / / / \ -‐ ー __ わ た し で す -- 二 / \ / ̄\ = 二  ̄. | ^o^ |  ̄ -‐ \_/ ‐- / / ヽ \ / 丶 \ / / / | i, 丶 \ / / / | i, 丶 \
  5. 5. \ / \ 丶 i. | / ./ / \ ヽ i. .| / / /私は誰? \ ヽ i | / / / \ -‐ ー __ わ た し で す -- 二 / ̄\ = 二 Zembutsu Masahito  ̄. | ^o^ |  ̄ -‐ \_/ ‐-• 前佛 雅人 @zembutsu / / ヽ \ / 丶 \ – 株式会社リンク / / / / / / | | i, i, 丶 丶 \ \ • at+link 事業部 ディベロッパーサポート部 – Solutions Engineer ( 萌えるSE ) • いわゆるインフラエンジニア的な仕事メイン – オープンソース系・クラウド系コミュニティ活動 オ プンソ ス系 クラウド系 ミ ティ活動 • http://pocketstudio.jp/log3/• 主な職歴 – 2000年 4月∼ リモート一次対応サポート部隊。 ISP サポート – 2008年 5月 社内ネ トワ ク保守 通常運用 5月∼ 社内ネットワーク保守・通常運用 – 2010年11月∼ 一次&二次エスカレーション対応
  6. 6. を捌くOps的、何かOps的 何か DevOps!
  7. 7. ―Dont forget. always, somewhere, someone is fighting for you. ―As long as you remember her. you are not alone. 忘れないで、いつもどこかで誰かがあなたの為に戦っている。Operation 彼女を覚えている限り、あなたは 人じゃない。 彼女を覚えている限り あなたは一人じゃない (出典:魔法少女まどかマギカ最終話「わたしの、最高の友達」)Monitoring
  8. 8. 今日のネタThis Photo is under creative commons license by Leonardo Rizzihttp://www.flickr.com/photos/stars6/4381851322/sizes/l/in/photostream/
  9. 9. コツを掴む ツを掴むThis Photo is under creative commons license by torkildrhttp://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
  10. 10. 運用手法について• 会社さんによっては、やりかたが違うと思 います どれが正しい 正しくないという います。どれが正しい・正しくないという よりは、僕の場合はこうやっているという 事を皆さんと共有できたら、それはとって も嬉しいなって( ^ω^) ω ) 一応のお約束と言うこと で おねがいします 社 で、おねがいします。社 内の他チームとも運用の 方法は若干異なります. 理由は資料後半をご覧下 理由は資料後半を 覧下 さい。こちらが標準仕様 では無いので、悪しから ずご了承ください(;´Д`)
  11. 11. お題:運用と障害対応• ホスティングサービス、運用の裏の裏 – とらぶる☆し とらぶる☆しゅーてぃんぐ ポジショントーク抜きです!! て んぐ – 実録? バッドノウハウ – サポートという仕事 – すべてはお客様のために ←結論どこに興味がありますか?
  12. 12. A HUMAN WORKホスティングサービスホスティングサ ビスI. What is hosting services?
  13. 13. This Photo is under creative commons license by Florian Hirzingerhttp://en.wikipedia.org/wiki/File:CERN Server 03.jpg
  14. 14. This Photo is under creative commons license by torkildrhttp://www.flickr.com/photos/torkildr/3462607995/sizes/l/in/photostream/
  15. 15. This Photo is under creative commons license by torkildrhttp://www.flickr.com/photos/torkildr/3463411910/sizes/l/in/photostream/
  16. 16. Hosting Service Ser ice• そもそもホスティングサービスって何? 定義ってあんの? – Free web hosting service Dedicated hosting service: the user gets his or her own  – Shared Sh d web h ti service b hosting i Web server and gains full control over it (user has root  W b d i f ll l i ( h access for Linux/administrator access for Windows);  – Reseller web hosting however, the user typically does not own the server.  Another type of Dedicated hosting is Self‐Managed or  – Virtual Dedicated Server Unmanaged. This is usually the least expensive for  d h ll h l f – Dedicated hosting service Dedicated plans. The user has full administrative  access to the server, which means the client is  – Managed hosting service responsible for the security and maintenance of his  – Colocation web h ti service C l ti b hosting i own dedicated server. – Cloud hosting Managed hosting service: the user gets his or her own  – Clustered hosting Web server but is not allowed full control over it (user  is denied root access for Linux/administrator access for  – Grid hosting Windows); however, they are allowed to manage their  data via FTP or other remote management tools. The  – Home Server user is disallowed full control so that the provider can  guarantee quality of service by not allowing the user to  – ※ http://en.wikipedia.org/wiki/Web_hosting_service より modify the server or potentially create configuration  problems. The user typically does not own the server.  The server is leased to the client. ( ´ `) (;´Д`)
  17. 17. Hosting Service Ser ice• そもそもホスティングサービスって何? 定義ってあんの? – Free web hosting service Dedicated hosting service: the user gets his or her own  – Shared Sh d web h ti service b hosting i Web server and gains full control over it (user has root  W b d i f ll l i ( h access for Linux/administrator access for Windows);  – Reseller web hosting however, the user typically does not own the server.  Another type of Dedicated hosting is Self‐Managed or  – Virtual Dedicated Server Unmanaged. This is usually the least expensive for  d h ll h l f – Dedicated hosting service Dedicated plans. The user has full administrative  access to the server, which means the client is  – Managed hosting service responsible for the security and maintenance of his  – Colocation web h ti service C l ti b hosting i own dedicated server. – Cloud hosting Managed hosting service: the user gets his or her own  – Clustered hosting Web server but is not allowed full control over it (user  is denied root access for Linux/administrator access for  – Grid hosting Windows); however, they are allowed to manage their  data via FTP or other remote management tools. The  – Home Server user is disallowed full control so that the provider can  guarantee quality of service by not allowing the user to  – ※ http://en.wikipedia.org/wiki/Web_hosting_service より modify the server or potentially create configuration  problems. The user typically does not own the server.  The server is leased to the client. ( ´ `) (;´Д`)
  18. 18. Service La er Ser ice Layer ユ ー ザ 主 導 PaaS (Platform as a Service) (Pl f S i )型 IaaSサ (Infrastructure as a Service)ービ ス SI コロケーション MSPサ ビス MSPサービス ホスティング 運用支援
  19. 19. http://www.at-link.ad.jp/エーティーリンク専用サーバサービス とあるホスティングサー ビスは、このように3社 で役割を分担しながら運 用を行っています。 用を行っています
  20. 20. at+link 組織体系 t li k• 営業 – 顧客対応フロント・広報宣伝• 技術サポート (24時間365日) ここが運用部隊 – リモートからの運用および監視 リモ トからの運用および監視 – ハードウェア• データセンタ対応 (24時間365日) デ タ ンタ対応 ( 時間 日) – 機器及びハードウェアオンサイト対応や保守
  21. 21. 2つの運用チ ム チーム データセンタ対応 OS・ミドル・顧客対応データセンタ内のハードウェアおデ タセンタ内のハ ドウェアお サーバやアプリケーションを監視 サ バやアプリケ ションを監視よびネットワーク機器をメンテ。 し、障害対応や必要であれば、主ハードウェア対応や機器保守に特 にリモートから対象機器にログイ化するため、顧客対応を行う事は ンして作業を行う。少ない。 フロントの顧客対応も行う。 お客様からは分かりにくいですが、内部で役割分担しています。 お客様からは分かりにく すが 内部 役割分担し ます 瞬間、心重ねて、的な。
  22. 22. Hosting Services . Ser ices• ホスティングは サービス – コロケーションとの違い ケ シ ンとの違い – 自社設備運用との違い 24時間365日のサービス 24時間365日のサ ビス お客様になりかわり サーバや機器を運用 セキュリティ(物理) 耐震設計 電源冗長化
  23. 23. This Photo is under creative commons license by simon.carr.http://www.flickr.com/photos/simoncarr/81918853/sizes/l/in/photostream/
  24. 24. サ バの形、心の形サーバの 心の こういった形のサーバや、1Uがメインです。
  25. 25. サービスサービスぅ!サ ビスサ ビスぅ!• よくある質問と対応 – 「なんとなく重いので調べてください^^」 なんとなく重いので調べてください – この切り分けが大事 • ハードウェア ハ ドウ ア • ミドルウェア • アプリケーション • ネットワーク – 切り分け=犯人を特定=顧客のサービス向上 切り分け=犯人を特定=顧客のサ ビス向上 • 原因が特定できないと、僕らの責任に…• 広く、浅く!
  26. 26. DECISIVE BATTLEII. Knowledge about emergency responses.
  27. 27. 障害対応の分類• データセンタ障害 – 電源、バックボーン、経路、火事• ネットワーク障害 – スイッチ故障、人的事故• ハ ドウ ア障害 ハードウェア障害 – HDD故障、RAIDのfail、電源、熱• アプリケーション・ミドルウェア障害 – サービス停止 リソース異常 Kernel panic サービス停止、リソース異常、Kernel DoS攻撃、不正アクセス
  28. 28. 障害を検知するために / ____ u \ / \ ─\ チラッ / し (>) (●) \• 内部の監視システム | ∪ (__人__) J | ________ \ u `⌒´ / || | – 標準提供の死活監視 ノ \ || | /´ || | • PING、SSH、HTTP の応答確認 | l || | – Nagios(NetSaint) ベースの監視システム • リソース変動・デーモン稼働状況や応答 • 手順書に基づいた一次対応 – ネットワ ク機器監視 ネットワーク機器監視• データセンタ事業者の監視システム• お客様のクレーム – 電話・メール・お問い合わせフォーム 単純にサーバだけではなく、ネットワークを含む監視 単純 バだ く ネ 含 監視
  29. 29. いざ障害! 大切な事とは?• 今日のキモです。 – これだけ覚えてください あとは寝ていても大丈夫です これだけ覚えてください。あとは寝ていても大丈夫です。 – 静止したデータセンタの中で… B R E AT H E D E E P LY
  30. 30. 障害発生で 注意する事 で、• 原因切り分けが最優先 "われわれが行動するばあいには、気づくこと が先決条件である。技術があれば、何でも 解決できるわけではない。技術以前に気づく 解決できるわけではない 技術以前に気づく ということが必要になる。日本にはいくらも技 術屋はいるがなかなか解決出来ない。気づ かないからだ。" 本田宗一郎(2008) 『ざっくばらん』 PHP 研究所 10pp.
  31. 31. 障害対応;5つの心構え ____ / \ /\ キリッ• 1. マニュアルを捨てよ . / / (ー) (ー)\ ⌒(__人__)⌒ \ <心構え – 臨機応変な対応を | \ |r┬-| | | `ー´ / | ノ \• 2 お客様の言うことを疑え 2. | /´ l ヽ \ ヽ -一"~~``ー--、 -一ー-、. – 客観的なデータを信じよ、冷静であれ ヽ ____(⌒)(⌒)⌒) ) (⌒_(⌒)⌒)⌒))• 3. 考えるな、手を動かせ ____ / \• 4. お客様との密な報告連絡相談 / ─ ─\ / (●) (●) \ | (__人__) |• 5. 手段と目的を混同するな / ∩ノ ⊃ / – 目的は 迅速なサービス復旧ただ一つ 目的は、迅速なサービス復旧ただ一つ ( \ / _ノ | | ノ .\ “ /__| | \ /___ /
  32. 32. まごころを、君へ(お客様へ)まごころを 君へ(お客様へ)• お客様への報告連絡相談 – 障害対応中も必要 – 定時連絡(対応中である旨と、復旧目標) • お客様のイライラ解消 • 希望される場合は、逐次状況を伝えること • メ ル 電話 M メール、電話、Messenger、Skype… Sk – 相談(勝手に作業をすすめない) • fsckの実行や、機器再起動など、リスクのある場合 ____ • お客様のほうが詳しい事も /:::::::::::::::: \ \ _ / • 状況に応じて提案も行う /:::::::::::::::: |:::::::::::::::::::::::: || | ∩! ,ヽ _ もしもし、お客さん? サーバ元気にしてる?そう、よかった \:::::::::::::::: | ーノ | ::::::::::::::: | i j  ̄ ̄ ̄| いや別に用って訳でもないんだけどさ | ::::::::::::: ゝ__/____i どうしてるかなって思って | :::::::::: / / (__(__ ヽ⌒⌒⌒ヽ うん、それじゃ / ,_/ ___ノ / いつまでも元気でサービス提供してな
  33. 33. 優先度の選択を を。深刻な障害時の対処• トリアージ的な手法を – すべてのお客様がクリティカルではない すべてのお客様がクリティカルではない。 – ある程度、事前にシステム状況の把握を。• 深刻度が高く かつ対応可能な順に 深刻度が高く、かつ対応可能な順に – クレーム対応は最優先。しかし! – 深刻度が低いのは後回し。 – 対応度が高く リソースが割けない場合も後回し 対応度が高く、リソースが割けない場合も後回し • サービス全体の停止を回避するため
  34. 34. ____ ) メモは大事だねっと /⌒ ⌒\ )時系列メモのススメ | \ /( ●) (●) \ / ::::::⌒(__人__)⌒::::: \ |r┬-| `ー´ / | )/ Y Y Y Y )/⌒Y⌒Y⌒Y⌒Y⌒ ノ \ /´ ヽ カ• 対応時刻を記録する | ヽ l l||l 从人 l||l -一"~~``ー--、 l||l 从人 l||l カ -一ー-、. タ タ ヽ ____( )( ) ) ) (⌒_( ) ) )) (⌒)(⌒)⌒) ( (⌒)⌒)⌒)) – 障害対応報告書の為 ┌┬┬┐┌┬┬┬┐┌┬┬┬┐┌┬┬┬┐ ,. - "| ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ρ ̄` – 改善点の洗い出しのため  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ノ ̄ ̄ _____ /::::::─三三─\ /:::::::: ( ○)三(○)\ PCがフリーズ!!! MJD? |::::::::::::::::::::(__人__):::: |::::::::::::::::::::( 人 ):::: | ________• 紙にペンでメモする \::::::::: ノ:::::::: |r┬-| ,/ .| | `ー \ | | | | – 時系列で殴り書き(時刻と対応内容) – フリーハンドで – ネット環境や電源を気にしなくて良い
  35. 35. 鳴り止まない 電話鳴り止まない、電話• 如何でしょうか – 現場の手が止まらないような工夫 – 営業担当はフロントに • といっても、ケースバイケース と ても ケ スバイケ ス• 対応方法は電話に限定せず、状況は刻々と変化 するので、ダイナミックな対応が必要。 するので、ダイナミックな対応が必要• 答えは無い。• 現場で、自分で考えなくてはいけない。 場 自分 考 く
  36. 36. 障害対応は 報告書を書くまで は、• 客観的な文章を心がける。 – 時系列 – 原因 – 対策 営業、侵入。 客先訪問、魂の座。 嘘と沈黙。 嘘と沈黙 涙。
  37. 37. ぶ ち け 障害対応どうよ?ぶっちゃけ、• 障害発生時、中の人は救急救命の志向で対応し て ます。 時間 ています。24時間365日闘う覚悟です(キリッ 日闘う覚悟です(キリッ• トラブルが起こった時 もし事前に作業をされ トラブルが起こった時、もし事前に作業をされ ていたのであれば、可能な範囲でコマンド等、 内容を教えていただけると助かります。 内容を教えていただけると助かります• 現場にお電話いただくと 手が止まります 現場にお電話いただくと、手が止まります。• いろいろフィードバックを下さると助かります。 ____ / \ /\ キリッ . / (ー) (ー)\ / ⌒(__人__)⌒ \ 24時間365日闘う覚悟です | |r┬-| | \ `ー´ / ノ \
  38. 38. You can (not) advance.次世代ニーズに向けた 挑戦III. Dynamics of customer-oriented services.
  39. 39. 特化サポ ト部隊、誕生 サポート• 変遷 – 2010年9月 ディベロッパ サポ ト部 創設 ディベロッパーサポート部 – 2010年11月 アプリプラットフォーム提供開始• チーム体制 チ ム体制 – 保守やサポートの状態 /:::: 、:\ //:::: :::\:ヽ イ::/:::::....... , .::::\:ヽ! i/:::/::,::::::::::::......../ ,ハ.,...:\::::::::ヽ! イ〃/://,::, ::://::/::/:,!l、ヽ\:ヽ::ヽト i;イ/:;.イノイ/jハ/ l/ノ j;ハヾjヾ}::_ミ゙ ハヘィ 、 ,. ヽ.}fハ , ハf{、,>=ヮ‐、j_i_rr=ヮ<__/ij、 j 我々には時間が無いのだ Λ ミj {::`ーァ7´〉ヽ:`ー‐:ノ,. iリ ∧ /:::::7ヾ,`フ´./ ./`! ` ̄´ jfイ:::::\ _,. -〈::::::::「`Y´ // ノ‐^ _ ,イ! j::::::::::::|\ _,, -‐´::::::::::::, ::|/ ./ / / ´ |/ / /―ァ´ 〉 チ / ´ 〉ィチ /::::::::::: j::::::`ヽ、_ `゙´::::::::::::::::::::::::::::: ヽノ, ノ / /.,,/ ,.ィfjル/:::::::::::: /::::::::::::::::::`¨ The survival strategy of the cloud computing era 2011 1119 zem_dist...::::::::::::::::::::::::::::::::::::/ ′ 〈/ .,.イ屮‐´|:::::::::::::::,.:::::::::::::::::::::::::: http://www.slideshare.net/zembutsu/the‐survival‐strategy‐of‐the‐cloud‐:::::::::::::::::::::::::::::::::::i r ̄ ,|:::::::::/::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::| /_ _, ‐ |_,/::::::::::::::::::::::::::::::::::: computing‐era‐2011‐1119‐zemdistribution::::::::::::::::::::::::::::::::::::,. / 「::::::::::::::::::::::::::::::::::::::::::::
  40. 40. 割と最近の取り組み 監視強化 み=• リソース推移の変動検出 – Realtime event-driven monitoring g• Munin – RRDtool based• 障害対応の自動化 – Chef や Puppet自動実行• CEP event driven monitoring  Realtime event‐driven monitoring system with CEP – Complex Event Processing http://www.slideshare.net/zembut – Setsuna 岩瀬さん(神戸デジタルラボ)開発 su/realtime‐eventdriven‐ / li di • http://sourceforge.jp/projects/setsuna/ monitoring‐system‐with‐cep
  41. 41. まったく、Muninは最高だぜ! ま たく M i は http://munin monitoring.org/ http://munin-monitoring.org/ ま http://munin.jp/ p jp /: : : :/: : : : : : :.:..:i: : : : : : : : :..i: : : : : : : : : : : :., っ ,:..: : :/: : : : : : : : :.:.|: : : : : : : : : |: : : : : ;: : : : : : :, た ,: : : : : __:l: : : : : : |: : : : _:__|: : : : : ;: : : : : : :.;MUNIN く |l: : : : : :._|_ヽ: : : :.|:":´_:_:_: :..:.:|: : : : :,: : : : : : : l は |l: : : : :|.イテヨハ|){ヽ:.|: !イテヨミリヽ,: : : : : 、: : : : : : , .最 |.|: : : :ハ`ゞ- `! ヾ__ソ ィ |: : : :/YY: : : : / .高 高 | |: : : : : :l |:.:.:.:.:.:l : : : :|: : : :/ ノ/: : : : : :/ :|:.:.:.:/.ノ/:.:.:.:.:.:/ だ ,:::|、:::ハ ヽ : : : :.|:::::/_ノ::::::/:::/ ぜ ,:|.ヽ:::ヘ 、- _,, . : :..:.:ィ|::::::::::::::::/:/ ! | ヽ::::|\. ‐ . . : :./:.|/:/:::::::// ヘ::|ヘ:::\ : :.<: : : : |:/::://
  42. 42. 現在の課題• 監視 Metrics の増加と精度向上 – 複数サーバの状況把握 複数サ バの状況把握 – 精度向上のための手法の検討 • 秒単位に行えるような時系列解析• CloudComputing 的な運用ニーズ – 例えホスティングサービスだとしても。• テクニカルな課題よりサービスの本質を – サービスとは何かを真剣に考える。
  43. 43. ※イメージです データセンタで地震 強 揺れ 警戒 デ タ タ 地 強い揺れに警戒 千葉 茨城 栃木 群馬 埼玉 東京 神奈川 静岡This Photo is under creative commons license by JanneM.http://www.flickr.com/photos/jannem/4579531183/J
  44. 44. 奇跡(サ ビス)の価値は (サービス)の は。• ホスティング事業者として真剣に考える – 何が出来るのか? 何をすべきなのか – 箱(サーバや機器)を貸して知らないというのは、ホス ティングサービスではない気がします。• 責任分界点 – DevOps 的な相互歩み寄りが必要なのでは ____ / \ ( ;;;;( / _ノ ヽ__\) ;;;;) / (─) (─ /;;/• Service Level Agreement (SLA) | / (__人__) l;;, ( 人 )l ´ ∩ ノ)━・/ – SLAの高低≠サービスの質の高低 ( \ / _ノ´.| | .\ " /__| | \ /___ /我々は敵ではありません。お客様と一緒に悩み、考え、問題を解決するパートナーであると。共に歩むことが大切なんだと、僕は信じてます。パ トナ であると 共に歩むことが大切なんだと 僕は信じてます
  45. 45. ホスティングに大切な事 ____ / \ /\ キリッ• 障害対応の最適解は変化する . / / (ー) (ー)\ ⌒(__人__)⌒ \ <せめて人間らしく | |r┬-| | – 臨機応変な対応を忘れず。 ノ \ `ー´ / \ – 時にマニュアルを捨てる。 | /´ l ヽ \ ヽ -一"~~``ー--、 -一ー-、. ヽ ____(⌒)(⌒)⌒) ) (⌒_(⌒)⌒)⌒))• 技術は、あくまで大切な要素の一つ。 – サ ビスの目的は お客様の事業サポ トである サービスの目的は、お客様の事業サポートである – お客様は大切なビジネスパートナー• Hosting Service は サービス である g であ – 「おもてなしの心」が満足度向上につながる。
  46. 46. A HUMAN WORKホスティングサービス業務 サーバの形、心の形。見知らぬ、仕様書。光、そして影。 サーバの形 心の形 見知らぬ 仕様書 光 そして影 クラウド、来日。終わる業界。まごころを、お客様へ。DECISIVE BATTLE障害対応 鳴り止まない電話。静止したデ タセンタの中で。 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。電源停止に至る病、そして。 営業、侵入。客先訪問、魂 座。嘘 沈黙。涙。 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance.次世代ニーズに向けた挑戦 ズに 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。 特科サポ ト部隊 誕生 奇跡の価値は せめて人間らしく
  47. 47. Questions?• もう少しkwsk訊きたい所はありますか? / ̄\ | | \_/ | / ̄ ̄ \ / \ / \ / ⌒ ⌒ \ よくぞ訊いてくれた | (__人__) | 褒美としてオプーナを買う権利をやる \ ` ⌒´ / ☆ /ヽ、--ー、__,-‐´ \─/ / > ヽ▼●▼<\ ||ー、 / ヽ、 \ i |。| |/ ヽ (ニ、`ヽ .l ヽ l |。| | r-、y `ニ ノ \ l | |ー─ |  ̄ l `~ヽ_ノ____ / / ̄ ̄ ̄ ̄ヽ-ヽ-- / オプ ナ /| オプーナ .| ̄ ̄ ̄ ̄ ̄ ̄|/| | ̄ ̄ ̄ ̄ ̄ ̄|/| ______/ ̄オプーナ/|  ̄|__」/_オプーナ /| ̄|__,」___ /|| ̄ ̄ ̄ ̄ ̄|/オプーナ ̄/ ̄ ̄ ̄ ̄|/ オプーナ /| / .||| ̄ ̄ ̄ ̄ ̄| ̄ ̄ ̄ ̄ ̄|/l ̄ ̄ ̄ ̄| ̄ ̄ ̄ ̄ ̄|/ | / | |/l | |/| ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄|
  48. 48. References• 参考書籍 – ドナルド・C・ゴース, G.M.ワインバーグ (1987) 『 ライト、ついてますか―問題発見の人間学 』 共立出版 – DIAMOND ハーバード・ビジネス・レビュー編集部 (2005) 『 いかに「サービス」を収益化するか 』ダイヤモンド社 – 本 宗 郎( 本田宗一郎(2008) 『ざ くば 『ざっくばらん』 PHP 研究所 究所• 監視 – Munin http://munin-monitoring.org/ – Munin User Group Japan http://munin.jp/ p p p jp• ネタ元 – http://ja.wikipedia.org/wiki/新世紀エヴァンゲリオン• Slideshare – http://www.slideshare.net/zembutsu

×