2019/02/22 オープンソースカンファレンス2019 Tokyo/Spring 資料

1. SIerもそろそろ
運用をなんとかしたいので
いろんなOSS使って
OpsBearってツールを
作りはじめたらしい
2019/02/22 オープンソースカンファレンス2019 Tokyo/Spring
TIS株式会社
八代 光平

2. 八代 光平
所属 TIS株式会社 (2015年入社)
仕事 インフラ・自動化・OSS
技術・興味
Ansible Docker Python Git系 スクラム開発
機械学習(勉強中) StackStorm CI/CD Selenium
ISUCON 競技プログラミング Kaggle Serverless
_k8shiro ko-he- ko-he-8
名前
2/29

3. Agenda
IaCによる運用自動化と限界
運用×データ分析でなんとかする
まとめ + お願い
3/29

4. IaCによる運用自動化と限界
4/29

5. Infrastructure as Code
インフラ作業をコード化し実行可能にする
サーバ構築、設定変更、運用タスク ⇒ 自動化
ソフトウェア開発のプラクティスを使う
バージョン管理ツール
テスト駆動開発
レビュー・リファクタリング
作業の効率化・品質向上が期待できる
Ansible、Chef、Puppetなど
IaCとは
5/29

6. を使用した自動化を進めています
インフラ部隊の中で
6/29

7.  オープンソースの構成管理ツール
 RedHat が開発、有償サポートを提供
 特徴
 エージェントレス
▶ 顧客環境ではエージェントが入れられないことも
 モジュールが豊富
▶Windows・ネットワーク機器への対応も多い
 学習コストが低い
▶ Yamlでかけるのでプログラミングっぽくない
Ansibleとは
7/29

8. Ansibleを運用に使う
Firewallポリシー変更
NTP同期先の変更
スケールアップ
スケールアウト
自動復旧
DevOps
テスト
バージョン管理ツール
IaaS・仮想化基盤
ワークフローエンジン
自動テスト
8/29

9. 運用 がIaCで自動化できそう
が、限界もある
例えば障害の調査・対応とか
9/29

10. 運用×データ分析でなんとかする
障害の調査・対応とかを
取り組みのご紹介
10/29

11. 監視データ
logファイル
ある状態Aの時に
異常Bが発生した場合
行動Cをすることで解決する
監視アラート 設定ファイル変更
コマンド実行履歴
こんなことをやりたい
状態 異常 行動
分析
運用中に関する情報
障害発生
11/29

12. 監視データ
logファイル
ある状態Aの時に
異常Bが発生した場合
行動Cをすることで解決する
監視アラート 設定ファイル変更
コマンド実行履歴
やりたいこと
状態 異常 行動
分析
これを実現する
の開発を始めました
12/29

13.  監視データは長期間保存されていない
⇒ 障害発生時の生データがない
 コマンド・ファイル変更の履歴は記録されていない
 障害記録はExcel・チケット・メール等形式がバラバラ
分析可能な形式での情報の収集・蓄積の仕組みを作成
既存運用環境上の監視データを分析に活用
• なるべく現在の運用環境に手を入れないで
使えるようにしたい
13/29

14. 運用ツール
Zabbix
Fluentd
plugin
Core API
Polling
運用対象
config file
command
Elasticsearch
GoTTY
rsync + git
Fess
時系列データ
InfluxDB
構成情報
Neo4j
運用情報の収集・蓄積
全文検索
14/29

15. 運用ツール
Zabbix
Fluentd
plugin
Core API
Polling
運用対象
config file
command
Elasticsearch
GoTTY
rsync + git
Fess
時系列データ
InfluxDB
構成情報
Neo4j
運用情報の収集・蓄積
全文検索
15/29

16. 運用ツール
Zabbix
Fluentd
plugin
Core API
Polling
運用対象
config file
command
Elasticsearch
GoTTY
rsync + git
Fess
時系列データ
InfluxDB
構成情報
Neo4j
運用情報の収集・蓄積
全文検索
16/29

17. 運用ツール
Zabbix
Fluentd
plugin
Core API
Polling
運用対象
config file
command
Elasticsearch
GoTTY
rsync + git
Fess
時系列データ
InfluxDB
構成情報
Neo4j
運用情報の収集・蓄積
全文検索
17/29

18. 運用ツール
Zabbix
Fluentd
plugin
Core API
Polling
運用対象
config file
command
Elasticsearch
GoTTY
rsync + git
Fess
時系列データ
InfluxDB
構成情報
Neo4j
運用情報の収集・蓄積
全文検索
18/29

19. 異常の分析をするには
異常の発生と収束
を機械的にとれるひつようがある
19/29

20. 閾値での判定の問題点
閾
値
20/29

21. 閾
値
閾値での判定の問題点
閾値の境界を取得したいわけではない
変化の開始と終了を取得したい
21/29

22. 外れ値はいらない 変化の開始と終わりだけを取得
閾値での判定の問題点
変化点検出(Changefinder)を実行
22/29

23. データの周期性の考慮も必要
一定間隔で実行されるJobがある
休日には使用量が下がる
データの周期性(増減の規則)を分析
周期からずれたら異常と判定
正常時
異常時
自己回帰分析 +変化点検出により異常を検出
23/29

24. WebサーバのCPUの使用率が増加
APサーバのCPUの使用率も増加
DBサーバのCPUの使用率も増加
監視データ間には相関関係がある(はず)
WebサーバのCPUの使用率が増加
APサーバのCPUの使用率が増加
DBサーバのCPUの使用率も低下
正常時 異常時
AP1
Web2
相関関係をグラフ化(行列化)し正常時との差異から異常判定
24/29
DB1 AP1 DB1
Web2

25. 25/29

26. 障害解消のための行動を提案
26/29

27. 学習
発生した障害の種類
障害発生付近のシステムの状態
障害収束付近のシステムへの行動
予測
障害と状態から過去の様々な事象の類似度を算出
類似度と実行確率から行動を提示
27/29

28. 解消する確率
予測された行動
28/29

29.  障害対応をデータ分析で補助する
OpsBear開発の取り組み
 サービス化・OSS化を視野に検討開発中
 時期未定
 協力していただける方募集
 改善に向けてご意見
 試験的な導入
 一緒に開発してみたい方
まとめとお願い
29/29