1.
運⽤レコメンドプラッフォーム OpsBear
運⽤作業における調査/分析の機械化
OpsX Meet Up v18.12
TIS 株式会社 ⼋代 光平

2.
⼋代 光平
所属 TIS株式会社 (2015年⼊社)
仕事 インフラ・⾃動化・OSS
技術・興味
Ansible Docker Python Git系 スクラム開発
機械学習(勉強中) StackStorm CI/CD Selenium
ISUCON 競技プログラミング Kaggle Serverless
電⼦⼯作(始めたい)
_k8shiro ko-he- ko-he-8
名前

3.
運⽤はどこまで効率化できてますか?

4.
定期
不定期
定型 ⾮定型
バージョンアップ対応
セキュリティ対策
障害予防
障害調査・本対応
スケールアウト
定期バッチジョブ
障害⼀時対応

5.
定期
不定期
定型 ⾮定型
バージョンアップ対応
セキュリティ対策
障害予防
障害調査・本対応
スケールアウト
定期バッチジョブ
効率化
⾼機能な⾃動化ツールで効率化
障害⼀時対応

6.
Workflowエンジン
テストツール構成管理ツール
監視
定型作業の⾃動化に有⽤なOSS

7.
障害⼀時対応
定期
不定期
定型 ⾮定型
バージョンアップ対応
セキュリティ対策
障害予防
障害調査・本対応
スケールアウト
定期バッチジョブ
効率化
調査/分析の⽐重が⼤きい

8.
調査/分析を効率化するためには
機械的に⾏う仕組みが必要

9.
収集 分析 可視化 レコメンド
機械的に調査/分析を⾏うために必要な機能

10.
収集 分析 可視化 レコメンド
機械的に調査/分析を⾏うために必要な機能
を実現する運⽤レコメンド基盤の開発を始めました

11.
運⽤環境
Monitaring Tool
Server
Server
・・・
< >
通知スクリプト
Config Collector
Monitaring Collector
Web SSH Client
全⽂検索
エンジン
Git
リポジトリ
Core API
Predictor
(レコメンド分析器)
API Gateway
SSH接続
監視・障害データ
ファイル変更
収集
Core APIへ連携
分析
蓄積と連携
運⽤レコメンド基盤全体像( OpsBear(仮) )
Webダッシュボード
運⽤者
操作・確認
既存システムに対しては事前に以下の設定が必要
・SSHの接続設定
・監視マネージャーのAPI設定
・監視マネージャーからの通知⽤スクリプトの配置
※2018/9末時点で対応している対象は以下
・監視マネージャー: Zabbix
・対象サーバOS: Linux系
レコメンド
データ
PreProcessor
(分析前データ処理器)
時系列
データ
構成情報
Core APIと連携

12.
レコメンド基盤
n 収集
n 分析
Backend
n 可視化
n レコメンド
Dashboard
運⽤対象
n 監視アラート
n コマンド実⾏
n 設定ファイル変更
Event
n 監視データ全般
n ログファイルの収集
History
n 構成情報
Config

13.
プロトタイプと利⽤しているOSSの紹介

14.
n 時系列データとして運⽤情報を収集・表⽰
n 収集データは時系列DB InfluxDBに蓄積

15.
n エージェント型 or ブラウザからのコマンド実⾏で履歴収集
n Web SSH ターミナルはGoTTYで実現

16.
n 設定ファイルを収集しGitで差分管理・表⽰
n 全⽂検索エンジンFessでキーワード検索

17.
n 数値データはグラフ表⽰

18.
n 構成情報はグラフDB Neo4jに蓄積
n ブラウザ上の描画はCytoscape.jsで実装

19.
n 発⽣中の異常に対する解決策を表⽰

20.
p Future Works
n ログファイルからの異常検知
n 監視項⽬の相関関係の可視化
p OSS化を視野に検討開発中
n 時期未定
p 協⼒していただける⽅募集
n 改善に向けてご意⾒いただける⽅
n 試験的な導⼊可能な現場に取り次いでいただける⽅
n ⼀緒に開発してみたい⽅