Downloaded 18 times
![自律的運用に向けた第一歩
〜運用現場にあふれる情報をデータ化し
機械的に学習できる状態に〜
TIS株式会社
インダストリー事業統括本部
IT基盤技術本部
IT基盤エンジニアリング第 1部
池田 大輔
July Tech Festa 2018 [29 July 2018]](https://image.slidesharecdn.com/jtf2018thefirststepforopsautonomy-180729070836/85/Jtf2018-1-320.jpg)
![Case1 : Nginx error log
10
2018/07/20 14:20:00 ...(24: Too many open files) while accepting new connection...
$ ulimit -n
1024
$ cat /proc/sys/fs/file-max
816063
$ vi /etc/systemd/system/nginx.service.d/limits.conf
[Service]
LimitNOFILE=10000
$ systemctl daemon-reload
$ systemctl restart nginx.service
このような対応を行う可能性が xx%](https://image.slidesharecdn.com/jtf2018thefirststepforopsautonomy-180729070836/85/Jtf2018-10-320.jpg)
![19
システム構成情報
Terraformの定義情報と構成グラフ
variable "count" {default = 2}
variable "hostnames" {
default = {
"0" = "example1.org"
"1" = "example2.net"
}
}
data "template_file" "web_init" {
count = "${length(var.hostnames)}"
template ="${file("templates/web_init.tpl")}"
vars {
hostname ="${var.hostnames[count.index]}"
}
}
resource "aws_instance" "web" {
count = "${length(var.hostnames)}"
user_data = "${data.template_file.web_init.*.rendered[count.index]}"
}
terraform graphコマンド](https://image.slidesharecdn.com/jtf2018thefirststepforopsautonomy-180729070836/85/Jtf2018-19-320.jpg)
![21
システム構成情報
ノードグラフから媒介中心性を求めるクエリ(Neo4j cypher)
MATCH p = allShortestPaths((p1:Service)-[:connect*]-(p2:Service))
WHERE id(p1) < id(p2) AND length(p) > 1
UNWIND nodes(p)[1..-1] AS n
RETURN n, count(*) AS betweeness
ORDER BY betweeness DESC
n betweeness
Service C 5
Service B 3
Service A 3](https://image.slidesharecdn.com/jtf2018thefirststepforopsautonomy-180729070836/85/Jtf2018-21-320.jpg)
Uploaded byDaisuke Ikeda
Jtf2018 自律的運用に向けた第一歩
July Tech Festa 2018での発表資料です。自律的運用に向けて、運用現場にあふれるデータをどのような形で管理しなければならないかといった視点で紹介しています。#JTF2018
Jtf2018 自律的運用に向けた第一歩
- 1.
- 2. 自己紹介 TIS株式会社 IT基盤エンジニアリング第 1部 所属 い け だ だ い す け 池田 大輔 R&D部門での活動(社内システム運用とかやりつつ)を経て OSSサポートビジネスのサポートエンジニア・プリセールス・マーケティングを実施。 現在は、システム運用改善を支援するためのサービス企画開発中 その他、Zabbixの書籍執筆等実施。 2@ike_dai ikedai ike-dai ike_dai
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. 1. 運用現場の定性的感覚を定量的に 2. より多くの運用現場の情報を共有 Thisis OpsBear big concept! 9
- 10. Case1 : Nginxerror log 10 2018/07/20 14:20:00 ...(24: Too many open files) while accepting new connection... $ ulimit -n 1024 $ cat /proc/sys/fs/file-max 816063 $ vi /etc/systemd/system/nginx.service.d/limits.conf [Service] LimitNOFILE=10000 $ systemctl daemon-reload $ systemctl restart nginx.service このような対応を行う可能性が xx%
- 11. Case2 : ZabbixTuning 11 $ vi /etc/zabbix/zabbix_server.conf StartPollers=20 Zabbix Pollerのbusy率が上昇 Zabbixの監視項目数が上昇 Zabbix Server全体の CPU使用率には余裕あり このような対応を行う可能性が xx%
- 12. 定性的から定量的に From Qualitative toQuantitative 12
- 13.
- 14.
- 15.
- 16.
- 17. 17 システム構成情報 サーバ構成 No ホスト名 IPアドレスOS 備考 1 web-server-01 192.168.111.11 RHEL7.3 web-server-02とのAct-Standby構成 2 web-server-02 192.168.111.12 RHEL7.3 web-server-01とのAct-Standby構成 3 db-server-01 192.168.111.31 RHEL7.3 db-server-02とのAct-Act(ReadReplica)構成 4 db-server-02 192.168.111.32 RHEL7.3 db-server-01とのAct-Act(ReadReplica)構成 5 db-lb-server-01 192.168.111.21 CentOS7 db-lb-server-02とのAct-Act構成 6 db-lb-server-02 192.168.111.22 CentOS7 db-lb-server-01とのAct-Act構成 SW/MW構成 No. ホスト SW/MW バージョン 1 web-server-01 web-server-02 nginx 1.14.0 2 pacemaker 1.1.18 3 zabbix-agent 3.0.19 4 db-server-01 db-server-02 PostgreSQL 9.6.5 5 JobScheduler Agent 1.12.0 これでは関係性とか評価が難しい ... たとえ、構成を図で表現されていたとしても ...
- 18.
- 19. 19 システム構成情報 Terraformの定義情報と構成グラフ variable "count" {default= 2} variable "hostnames" { default = { "0" = "example1.org" "1" = "example2.net" } } data "template_file" "web_init" { count = "${length(var.hostnames)}" template ="${file("templates/web_init.tpl")}" vars { hostname ="${var.hostnames[count.index]}" } } resource "aws_instance" "web" { count = "${length(var.hostnames)}" user_data = "${data.template_file.web_init.*.rendered[count.index]}" } terraform graphコマンド
- 20.
- 21. 21 システム構成情報 ノードグラフから媒介中心性を求めるクエリ(Neo4j cypher) MATCH p= allShortestPaths((p1:Service)-[:connect*]-(p2:Service)) WHERE id(p1) < id(p2) AND length(p) > 1 UNWIND nodes(p)[1..-1] AS n RETURN n, count(*) AS betweeness ORDER BY betweeness DESC n betweeness Service C 5 Service B 3 Service A 3
- 22. それぞれの定量化を行うことで、システム全体の定量化ができ システムに対して行われる対処と状態を機械的に紐づけて管理していくことができるのではないか 状態の定量化 サーバA CPU使用率 平均 サーバA CPU使用率 最大値 サーバAが ホスト1で稼働 しているか サーバAに Nginxが 入っているか サーバAの Nginxの バージョンがx系か サーバAの Nginxの エラーログ発生数 サーバAの 経路重要度 ・・・ xx時間以内に実 行する対応 45 561 1 0 120 4.5 ・・・ 対応A 31 34 1 1 1 90 3.1 ・・・ 対応C 23 89 0 1 0 1 6.8 ・・・ 対応B ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ 22
- 23. 共有を目指して For to gotoward the state of Sharing 23
- 24. Dashboard 24 データ集約基盤の提供 Core API (Events &Config management) Collector Zabbix Collector ConfDiff Collector Command Collector ・・・ Analyzer
- 25. Dashboard 25 データ集約基盤の提供 Core API (Events &Config management) Collector Zabbix Collector ConfDiff Collector Command Collector ・・・ Analyzer Zabbix Linux Server 監視統計データ集約 監視構成情報集約 設定パラメータ コマンドヒストリ 設定パラメータ変更情報集約 コマンド実行情報集約
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35. Thank you 35Presentation templateby SlidesCarnival