Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

「eureka x mackerel」Mackerel meetup#6

4,000 views

Published on

eureka x mackerel ~ eureka monitoring solution ~

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

「eureka x mackerel」Mackerel meetup#6

  1. 1. eureka monitoring solution kento yamashita ×
  2. 2. あけましておめでとうございます
  3. 3. 自己紹介 kento.yamashita tansoken 山下 権人 Engineer at eureka, Inc. 目が細い 足が短い 気は長い
  4. 4. 今日の話 1.eureka services 2.Mackerelを導入する前の話 3.Mackerelを導入してみて 4.まとめ
  5. 5. eureka services
  6. 6. Copyright © 2009-2016 eureka, Inc. All rights reserved. 株式会社エウレカ → https://eure.jp 事業内容 自社サービスの企画・開発・運営 • オンライン・デーティング・サービス「pairs」 • カップル専用アプリ「Couples」 海外拠点 • 台湾    :EUREKA TAIWAN CO., LTD. • シンガポール:EUREKA SG Pte. Ltd. エンジニア 60人 非エンジニア 35人 社員数: 95人 インターン・業務委託含む 平均年齢: 28歳 2015年5月に   米IACグループ入り
  7. 7. Copyright © 2009-2016 eureka, Inc. All rights reserved.
  8. 8. Copyright © 2009-2016 eureka, Inc. All rights reserved. 12年9月 13年3月 13年9月 14年3月 14年9月 15年3月 15年9月 330万 。゚+\320万会員突破//+.゚ リリース 2012年 10月 会員数 320万人 プラットフォーム PC/SP/iOS/Android オンライン・デーティング・サービス「pairs」 国内 No.1
  9. 9. Copyright © 2009-2016 eureka, Inc. All rights reserved. 14年5月 14年10月 15年3月 15年8月 330万 国内 No.1 リリース 2014年 5月 DL数 320万DL プラットフォーム iOS/Android カップル専用アプリ「Couples」 。゚+\320万DL突破//+.゚
  10. 10. Copyright © 2009-2016 eureka, Inc. All rights reserved. 診断pairs pairsコラム 高トラフィックを誇るメディア媒体 https://www.pairs.lv https://a.pairs.lv
  11. 11. 怒 サービスに障害が発生してしまうと…
  12. 12. 不具合は0にはならないという思想の元、常にリスクヘッジを行い 適切な監視を行う必要があります。 ※もちろん障害発生を許容するものではありません 怒
  13. 13. 監視サービスに 求めていること
  14. 14. 監視ツールに求めていること 1. 不具合が発生したら分かる人がすぐ気付けるアラートを飛ばしてくれる 2. 障害発生時の各システムの状態が可視化できること 3. 監視サーバが落ちない
  15. 15. 監視ツールに求めていること いつでも分りやすい!!         のが大事
  16. 16. Mackerelを導入する前の話
  17. 17. Mackerelを導入する前の話 zabbix-server DB App zabbix-agent zabbix-agent
  18. 18. Mackerelを導入する前の話 zabbix-server DB App zabbix-agent zabbix-agent zabbix-server DB App zabbix-agent zabbix-agent pairs本体 pairsコラム
  19. 19. Mackerelを導入する前の話 zabbix-server DB App zabbix-agent zabbix-agent zabbix-server DB App zabbix-agent zabbix-agent zabbix-server DB App zabbix-agent zabbix-agent
  20. 20. Mackerelを導入する前の話 zabbix-server DB App zabbix-agent zabbix-agent zabbix-server DB App zabbix-agent zabbix-agent zabbix-server DB App zabbix-agent zabbix-agent DynamoDB Elasticache SES SQS zabbixと以外の監視が登場
  21. 21. Mackerelを導入する前の話 ◆ いろいろつらくなってきました  ・複数zabbix server…   コスト、管理大変、都度セットアップ大変   ユーザー追加大変  ・zabbix管理外でのshellの監視スクリプトがあったり  ・設定のコード化ができていない  ・みんながメトリクス見てるとzabbixサーバが重い…                   (´・ω・`)
  22. 22. Mackerelを導入する前の話 「いつでも分りやすい!!」         に反している
  23. 23. Mackerelを導入する前の話 ということで… 管理サーバを自分らで持つのはやめにして 外部ベンダー使いましょう!
  24. 24. Mackerelを導入する前の話 datadogを試しに使って見ることにしました.
  25. 25. Mackerelを導入する前の話 ☆ 試しに使って見るだけなので、とにかくお金をかけないように ・エージェントの無料枠は使う ・fluent-pluginを使ってエージェントを入れない監視体制を設計 (実際にGoサーバのメトリクスとかはこれで取っていました) ・ダッシュボードも結構作りこんでビジネスダッシュボードなんかも作ってい ました
  26. 26. Mackerelを導入する前の話 色々試行錯誤して頑張ったdatadogでしたが、 なぜ今弊社がMackerelを使っているのか…?
  27. 27. Mackerelを導入する前の話 ある日の出来事…
  28. 28. Mackerelを導入する前の話 ʕº ̫͡ºʔ ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ 私 ボス
  29. 29. Mackerelを導入する前の話 山下くん何してんの? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  30. 30. Mackerelを導入する前の話 山下くん何してんの? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < はい!今 datadogのfluent-plugin 使ってdstatの情報    とってるんですがたまに詰まっちゃってるようなんで    原因調査中です!!
  31. 31. Mackerelを導入する前の話 山下くん何してんの? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < はい!今 datadogのfluent-plugin 使ってdstatの情報    とってるんですがたまに詰まっちゃってるようなんで    原因調査中です!! ふーん。。。 > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  32. 32. Mackerelを導入する前の話 ところでMackerelは使ってみた? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  33. 33. Mackerelを導入する前の話 ところでMackerelは使ってみた? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < いやーまだ使えてないですね…
  34. 34. Mackerelを導入する前の話 ところでMackerelは使ってみた? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < いやーまだ使えてないですね…   (さすがに今から変えるなんて言わないよな。。)
  35. 35. Mackerelを導入する前の話 ところでMackerelは使ってみた? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < いやーまだ使えてないですね…   (さすがに今から変えるなんて言わないよな。。) > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ そうかー。
  36. 36. Mackerelを導入する前の話 ところでMackerelは使ってみた? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < いやーまだ使えてないですね…   (さすがに今から変えるなんて言わないよな。。) > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ そうかー。 じゃあとりあえずMackerelの人と打ち合わせ入れて おくからそれまでにちょっと使ってみといて!
  37. 37. Mackerelを導入する前の話 ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  38. 38. Mackerelを導入する前の話 ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ そして今に至ります
  39. 39. Mackerelを導入する前の話 ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ (最初からMackerel押しのボス) 理由は後ほど
  40. 40. Mackerelを導入してみて
  41. 41. Mackerelを導入してみて とにかく導入は簡単でした! ʕº ̫͡ºʔ
  42. 42. Mackerelを導入してみて Ansibleのplaybookに落とし込むのも簡単で、 設定をすべてコード化することができました!! ʕº ̫͡ºʔ ʕº ̫͡ºʔ
  43. 43. Mackerelを導入してみて 毎週アップデートされるプラグインにテンション上がりつつ 自作プラグインもすぐに作れて楽しさもMAXでした! ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ
  44. 44. Mackerelを導入してみて ・mackerel-plugin-gostats   → Goサーバのメトリクス監視 ・check-ssl-cert   → SSL証明書の有効期限の日数でwarningとcriticalのアラートを    飛ばしてくれる ・SQSの監視   → zabbix時代に独自のshell scriptで監視していたものを少し    いじってcheck-pluginとして使用 こんな感じのプラグイン作りました ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ
  45. 45. Mackerelを導入してみて ・ダッシュボードもたくさん作ってます それぞれ1時間単位と24時間単位とかで ダッシュボード分けておくといい感じです! ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ
  46. 46. Mackerelを導入してみて URL外形監視はとにかく思い当たるところすべてに入れてます 簡単でパフォーマンスが悪くなった時とかすぐアラートくれるので助かってます ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ 外形監視もフル活用!
  47. 47. Mackerelを導入してみて mkrも便利です! ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ # あるIPのホストキーを取得する mkr hosts ¦ jq -r '.[] ¦ select(.ipAddresses.eth0 == "10.10.10.10") ¦ .id' # status=poweroffのホストを一気に退役させる mkr retire --force $(mkr hosts --status poweroff ¦ jq -r '.[].id') ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  48. 48. Mackerelを導入してみて MackerelのAPIとGoogleスプレッドシートを連携させて サーバリストを作成! どのサーバがどのステータスになっているかとか一発でみれて便利! ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔこんな使い方も! ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  49. 49. Mackerelを導入してみて 現在台湾版pairsにのみ導入済みですが、 今後は日本版pairs、Couplesにも導入予定です! ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  50. 50. Mackerelを導入してみて 導入時のMackerelとdatadogの比較(個人の感想ですが..) Mackerel datadog 使いやすさ ◎ ⃝ デザイン シンプルで分りやすい クールでかっこいい 日本語 ◎ △
  51. 51. Mackerelを導入してみて 日本語でサポートが受けられるのはありがたいです
  52. 52. Mackerelを導入してみて 実はこんなことがありました…
  53. 53. Mackerelを導入してみて 山下くん!山下くん! > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  54. 54. Mackerelを導入してみて 山下くん!山下くん! > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < はい、なんでしょう?
  55. 55. Mackerelを導入してみて 山下くん!山下くん! > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < はい、なんでしょう? この30万円の請求何かわかる? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢
  56. 56. Mackerelを導入してみて 山下くん!山下くん! > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < はい、なんでしょう? この30万円の請求何かわかる? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < ???
  57. 57. Mackerelを導入してみて 山下くん!山下くん! > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < はい、なんでしょう? この30万円の請求何かわかる? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < ???     あれ ? datadog?
  58. 58. Mackerelを導入してみて 山下くん!山下くん! > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < はい、なんでしょう? この30万円の請求何かわかる? > ʕ̡̢̡ ʘ̅ ͟ ͡ ͜ʘ̲̅ʔ̢̡̢ ʕº ̫͡ºʔ < ???     あれ ? datadog?     (嫌な予感。。。)
  59. 59. Mackerelを導入してみて ʕº ̫͡ºʔ エージェントは全部止めてるし… サービスメトリックも取らないようにしてあるし…
  60. 60. Mackerelを導入してみて ʕº ̫͡ºʔ ? ? ? ?
  61. 61. Mackerelを導入してみて ʕº ̫͡ºʔ ?! ! ?
  62. 62. Mackerelを導入してみて ʕº ̫͡ºʔインテグレーション…!?!?
  63. 63. Mackerelを導入してみて ʕº ̫͡ºʔ  datadog AWS-EC2インテグレーション:ON  インスタンス数分 x 単価 = 30万円 発生してしまいました。。。 もちろんdatadog側は悪くないのですが、ドキュメントを ちゃんと読まなかった罰ですね…orz
  64. 64. Mackerelを導入してみて 分りやすいMackerelさんは安心です!
  65. 65. まとめ ・Mackerelとても楽しいです ・わかりやすくて導入しやすいという点が非常に良かったです ・開発も早いのでこれからもっと楽しみです ・コントリビューションもっと活発にして行って  Mackerel盛り上げていきたいです!
  66. 66. セグメントNo1サービス グローバルビジネス ハイブリッドエンジニア pairs Goフルスクラッチ 大規模行動データ解析 マッチングアルゴリズム Business Engineering Big Data 「世界で愛されるサービス」一緒に作りませんか?
  67. 67. ご清聴ありがとうございました Credit: NASA Earth Observatory/NOAA NGDC

×