Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

本当にあった怖い話 「Hadoopで炎上しかけた話」

4,445 views

Published on

PyLadies Tokyo Meetup #15 本当にあった怖い話「Hadoopで炎上しかけた話」

Published in: Engineering
  • Be the first to comment

本当にあった怖い話 「Hadoopで炎上しかけた話」

  1. 1. Hadoop で炎上しかけた話 Yukino Ikegami @_yukinoi 2016/08/27 PyLadies Tokyo Meetup #15 本当にあった怖い話
  2. 2. 自己紹介 • 名前 : 池上有希乃 ( ゆきの ) • IO 株式会社で「みんなの顔文字キーボー ド」作ってます
  3. 3. 背景 • 新卒でオンライン広告配信システムの …データマイニングをやってた頃の話 • 現役を引退した余ったサーバで Hadoop クラスタを構築してがんばってた
  4. 4. ある夏の日のこと • 機械学習ライブラリ Mahout で LDA 回して た • ……でもなかなか終わらない � • そうだ!余った時間で他のジョブも回そう!
  5. 5. ……ことは起こった • Hadoop クラスタの温度が 90℃ 超え!! • インフラ班が急いでファン全開で緊急冷 却! • なんとかなったけど焦った�
  6. 6. 反省 • サーバの温度管理の設定をしてなかった • 処理が遅いからといって無茶は禁物
  7. 7. まとめ • Hadoop を酷使したら 90℃ 超えになった ……。 • サーバの温度設定超大事! • 遅くても無茶はだめ!

×