Download to read offline
![メトリクスとラベル
16
PrometheusはラベルとメトリクスをKeyにして値を引いてくる
node_cpu_seconds_total {instance=“localhost:9100“} 0.9
メトリクス名 ラベル
Key Value
ü 上記例はCPUの利用時間を取得するnode_cpu_seconds_totalの例
ü 実際にはrate (node_cpu_seconds_total[5m])のような形でPromQLクエリを実行して値を取得
※ node_cpu_seconds_total で絞り込みをかけるときには
instanceラベル以外にもCPU番号ラベル、CPUのモード(idleなど)を表すラベルも使う
© 2022 IBM Corporation](https://image.slidesharecdn.com/tunaconkurosaway-221030222435-12a811f8/75/TUNA_con_kurosaway-pdf-16-2048.jpg)
![Grafana UI はPromQLが全てであると思った理由
17
どのようなものを図にしたいか
例：CPU Busyの値を下記のような形で知りたい場合のNode Exporterの実装
各CPUの使用時間を表すPromQLであるnode_cpu_seconds_totalがあるのでそれを使う
言葉でCPUコアNの使用率の式は
コアNの総使用時間 コアNのidle時間
コアNの総使用時間
で表現され、
これを合計してコア数で割るとCPU Busyの平均値が出る
これをPromQLで表現する場合は以下の形となる。時間の代わりにcount関数を使用
(((count(count(node_cpu_seconds_total{instance="$node",job="$job"})by(cpu)))
- avg(sum by (mode)(rate(node_cpu_seconds_total
{mode='idle',instance="$node",job="$job"}[$__rate_interval])))))
/ count(count(node_cpu_seconds_total{instance="$node",job="$job"}) by (cpu))* 100
© 2022 IBM Corporation](https://image.slidesharecdn.com/tunaconkurosaway-221030222435-12a811f8/75/TUNA_con_kurosaway-pdf-17-2048.jpg)
TUNA_con_kurosaway.pdf
- 1. Grafana + Prometheusで SNS分析用のダッシュボードを作る 日本アイ・ビー・エム株式会社 テクノロジー事業本部カスタマーサクセス カスタマーサクセスマネージャー 黒沢 勇 2022/10/21
- 2. 注釈 © 2022 IBMCorporation 2 今回のお話の主題はダッシュボードの作り方、 作るにあたっての考え方です。 SNS分析に関する手法はあんまりでません。 なぜなら私がSNS分析をするほど バズるツイートをまだしていないからです この取り組みは 私がいつインフルエンサーになってもいいように 前準備をすることが目的です
- 3. Who Are you? 3 自己紹介氏名:黒沢 勇 出身:神奈川県川崎市 現職: IBM CSM 趣味: 自宅ラボ、ゲーム、積みプラモ 得意技術：仮想化、k8s、クラウド管理自動化可視化 8月に肋骨を折ってニュースで報道されました 気になる方は横浜 釣り船 事故で検索してみてください。 お見舞い待ってます。 Twitter: https://twitter.com/Torlek96 Linkedin: https://www.linkedin.com/in/kurosaway © 2022 IBM Corporation
- 4. そもそも監視はなんのために行うか？ 4 Container Web App DB VM Cloud Service On-prem DC システム Ø 監視は以下の要件が満たせればok üシステムの正常性を確認 ü システムが異常になりそうな予兆を検知 ü 将来の拡張に備えた参考情報を取得 Ø 最近はシステムの状況を把握している状況を “Observability”があると呼ぶ Server Storage Network Cloud Service ICMP, SNMP, Metric Alert, Log API, Service Assurance... etc © 2022 IBM Corporation
- 5. ObservabilityとCloud Native Trailmap 5 よくみるトレイルマップを出してみる Ø クラウドネイティブになりたいなら このマップに従って進むと良いとされている (個人的に1がコンテナ化よりはCI/CDが先な気がする) Ø Observabilityは4番目にある (コンテナ化-> CI/CD -> Orchestration -> Observability) • コンテナ化してCI/CDが進み、 オーケストレーションされた結果 Observabilityが必要になるとも読み取れる • CI/CDやオーケストレーションが進んだ結果 システムコンポーネントが増えたり減ったりするので、 従来監視とは違う考え方が必要になる © 2022 IBM Corporation
- 6.
- 7. 主な監視の方式 7 メトリクス ログ トレーシング 監視対象が 何を行ったのかを文で記述 ex:プロセスAをUser BがKillした 数値データとして 監視対象の情報を取得 ex: CPU使用率、電源on/off ユーザのリクエストに対して、 どのコンポーネントがどれだけ の時間をかけたか表示 © 2022 IBM Corporation
- 8. Prometheusとは 8 ü オープンソースの監視システムの一種 ü SoundCloud 社のエンジニアによって2012年に開発 ü Google社のBorgmonにインスパイアを受けて開発 • BorgmonはBorg (k8sの前身)の監視システムとして開発 • Borgmonは分散システムのモニタリング用として最適化 (この特徴をPrometheusは継承) ü 2016年にCNCFのプロジェクトメンバーとして追加 ü 2018年にCNCFのGraduated Project化 (CNCFが十分成熟したとみなした) © 2022 IBM Corporation
- 9.
- 10.
- 11. まずは分析ツールを用意する 11 今回はVMwareの星野大先輩のコードを拝借してデータを得る (Cloud Native dayのObservabilityの裏側というセッションで大体の内容はわかります) https://github.com/cloudnativedaysjp/social-analysis コードはこちらから https://youtu.be/dRNHK6uElTc セッション動画 直近100件のtweetのRT、Favを取得し、 それに辞書ベースでポジティブな言葉が含まれていればスコアが+となり、 ＋のスコアをPrometheusのメトリック形式で出力を行う 例 social_twitter_retweets{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1477776728152240129",}4.0 social_twitter_retweets{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1476023933744910340",} 6.0 social_twitter_sentiment{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1477776728152240129",} 0.0 social_twitter_sentiment{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1476023933744910340",} 1.0 social_twitter_favorites{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1477776728152240129",} 5.0 social_twitter_favorites{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1476023933744910340",} 9.0 © 2022 IBM Corporation
- 12. とりあえずダッシュボードを作ってみた 12 © 2022 IBMCorporation
- 13. 各パネルの機能説明 13 Positive スコアの最大値 Positiveスコアの最低値 RTの最大値 いいねの最大値 スコアの時間ごとの平均値推移 スコアの時間ごとの平均値推移 RTの時間ごとの平均値推移 いいねの時間ごとの平均値推移 各パラメータのヒートマップ 各パラメータのランキング 誰のどのTweetがスコア、RT、いいねが高かったか © 2022 IBM Corporation
- 14. ここで黒沢に電流走る 14 Prometheus + Grafanaは PromQLを使いこなすことが全てである © 2022 IBM Corporation
- 15. PromQL 15 ü PromQLについて • PrometheusQuery Languageの略 • その名の通りPrometheusの独自クエリ • ブラウザ上で簡単に投げて値を確認できる • SQLでは冗長になるメトリクスを簡単に記述可能 • 数式で入力すれば欲しいデータがすぐ手に入る 例:メモリの使用率 1- (node_memory_MemFree_bytes / node_memory_MemTotal_bytes) この数式を考えるのが全てである （数式を思いつくのが全て） © 2022 IBM Corporation
- 16. メトリクスとラベル 16 PrometheusはラベルとメトリクスをKeyにして値を引いてくる node_cpu_seconds_total {instance=“localhost:9100“} 0.9 メトリクス名ラベル Key Value ü 上記例はCPUの利用時間を取得するnode_cpu_seconds_totalの例 ü 実際にはrate (node_cpu_seconds_total[5m])のような形でPromQLクエリを実行して値を取得 ※ node_cpu_seconds_total で絞り込みをかけるときには instanceラベル以外にもCPU番号ラベル、CPUのモード(idleなど)を表すラベルも使う © 2022 IBM Corporation
- 17. Grafana UI はPromQLが全てであると思った理由 17 どのようなものを図にしたいか 例：CPUBusyの値を下記のような形で知りたい場合のNode Exporterの実装 各CPUの使用時間を表すPromQLであるnode_cpu_seconds_totalがあるのでそれを使う 言葉でCPUコアNの使用率の式は コアNの総使用時間 コアNのidle時間 コアNの総使用時間 で表現され、 これを合計してコア数で割るとCPU Busyの平均値が出る これをPromQLで表現する場合は以下の形となる。時間の代わりにcount関数を使用 (((count(count(node_cpu_seconds_total{instance="$node",job="$job"})by(cpu))) - avg(sum by (mode)(rate(node_cpu_seconds_total {mode='idle',instance="$node",job="$job"}[$__rate_interval]))))) / count(count(node_cpu_seconds_total{instance="$node",job="$job"}) by (cpu))* 100 © 2022 IBM Corporation
- 18.
- 19.
- 20. ここで問題点 20 検索にひっかかりやすいワード（例えば “DX” ）を入力し、 なおかつ時間レンジを広く取るとPrometheusが落ちる Prometheusのログを見ると runtime:out of memory: cannot allocate 4194304-byte block (2422571008 in use) fatal error: out of memory メモリ不足になっとるやんけ！！！！ 48GBメモリ積んだ仮想マシンなのに！！ おそらくTwitter IDや、Usernameなど固有のラベルがあるのが問題 あとはTwitterを一度に100件検索してるので一気に情報が引っ張られるため？ (Prometheusはラベルの種類が増えるとストレージやメモリを食うらしい) これは今後改善の余地あり。うまくPrometheus形式の形に出力してあげないとまともに見れなくなります。 © 2022 IBM Corporation
- 21.
- 22. IBM Cloud Pakfor Watson AIOps は、AIを活⽤して、システム環境全体でデータを解析することで、IT運⽤データのサイロを 解消することができます。 IBM Cloud Pak for Watson AIOps モニタリング チケット・データ (例: ServiceNow ITSM) メトリックと イベント APM トポロジー トレース (例: ServiceNow ITOM) ログ・データ 不具合と DevOps ツールチェーンのデータ ⾮構造化 構造化 従来の⽅法では、 各データ・サイロ内でしか AIと機械学習を活⽤できません。 説明可能なAIで ⾃動化 収集 検知 実⾏ 決定 データサイロを超えて あらゆるデータタイプから 予測とアドバイス AIの洞察 Watson AIOps がもたらす決定的な 違いはAIと機械学習を使⽤して、 多様なデータソース にわたって 異常を検出・推論できることです。 データ・サイロを解消することで、 Watson AIOps は隠れた問題を 明らかにしていきます。
- 23.