[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 by Acroquest Technology株式会社山本大輝

デジタルデータの可視化基盤
を使った、
システムトラブルの未然防止、
経営判断につながる可視化の実践
2016/10/04
Acroquest Technology 株式会社
山本大輝

目次
1. 会社・自己紹介
2. ENdoSnipeのご紹介
3. Elasticsearchを使った分析基盤
4. 相関分析によるKPI/KRIの影響範囲の特定
5. 最後に
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
2

今回のSessionの概要
1. ENdoSnipeを使った分析をご紹介します。
2. ENdoSnipeがElasticsearchを分析基盤とした
理由をご紹介します。
3. 相関分析を使った分析方法をご紹介します。
① ENdoSnipeでKPI/KRIの関係性を見つけます。
3

会社・自己紹介
4

1-1. Acroquest Technologyのご紹介
5
1. 監視/制御分野で20年を超える実績があります。
2. 技術の専門家集団です。
3. プロジェクト管理・品質管理も実績あり。
米JavaOneでの発表
(2013、2015)
大学等で教科書として
の採用実績多数
「なぜ、あなたはJava
でオブジェクト指向開
発ができないのか」
(2013)
「Javaパフォーマンス」
の監訳を担当 (2015)
鉄道、電力、通信業界の監視制御
システムの構築を担ってきました。
培ったノウハウは、ENdoSnipeの
KPI/KRI監視に活かされています。
CMMI Lv. 3を達成

1-2.データ分析の実例
1. 不動産賃貸物件推薦サービス
① 二者択一型不動産賃貸物件推薦サービスの開発
(情報処理学会「デジタルプラクティス」Vol.5 No.2)
② 日経BP社が運営する大手IT情報サイト
「ITPro」などで紹介されました。
2. IoT研究開発（設備予知保全・人流分析）
① 富士山チャレンジ2016
安心・安全な富士登山を目指して、小型ビーコンを活用した
富士山登山者の動態データを収集・可視化
https://www.facebook.com/fujisanchallenge/
6

1-3.データ分析の実例
3. 大規模ネットワークのトラフィック監視／分析
① 約80万台の機器から、常時通知される情報をリアルタイムに
処理
② 約20,000メッセージ／秒のデータを処理しつつ、
ネットワーク機器の障害の監視や、障害の要因判定を実施
7

1-4.自己紹介
1. 名前：山本大輝（やまもとひろき）
2. 出身：東京大学大学院情報理工学系研究科
3. Twitter：@tereka114
4. Blog:のんびりしているエンジニアの日記
① http://nonbiri-tereka.hatenablog.com/
5. 専門：分析系、画像処理、異常検知
6. 普段はCV勉強会やPyData等で
活動しています。
8

ENDOSNIPEのご紹介
9

2-1. 私たちが目指すシステム
• 私たちが目指すものは、ビッグデータから、即座に
有益な知見を見出し、顧客のビジネスを支援するシ
ステムの実現です。
• 長期的なトレンドも、日々の変化も手に取るように理
解し、その影響を把握し、対処が打てる、そんな未
来を想像してください。
高度に洗練された「Intelligent Operational
Excellence」の世界、それをENdoSnipeが実現しま
す。
• ENdoSnipeを使うことで、企業はビジネス変革を確
信をもって、高速に進める事が可能になります。
10

11
BV
M
UXM
APM
Insight
• User eXperience Management
(ユーザ体感/業務効率可視化)
 エンドユーザ体験を向上させ、ECサイトでの売り上げを向上。
 社内システムから情報を収集、ボトルネックポイントを明確にし、
業務効率を向上します。
• Application Performance Management
(サービス/システムレベルの可視化)
 システムの性能を可視化し、改善のための内部診断情報を提
供する。
• Elasticsearch
 強力なビッグデータの蓄積、分析を機能を持つ
Elasticsearchを基盤に採用しています。
 開発元であるElastic社とも提携しています。(国内初)
• Insight(データ分析基盤)
 ENdoSnipeの基盤となるデータ分析エンジンです。
ビッグデータを対象にした相関分析、差異分析機能を備えます。
 可視化・分析用のUI基盤を提供します。
• Business Value Management(経営貢献度の可視化)
 KPI/KRIの可視化・予測を通じた企業ビジョン/戦略実現の制御、
改善のためのInsightを提供する。
2-2. 一貫した可視化を提供する

2-3.事業におけるPDCAを実現するために
12
可視化分析予測
対応型積極型予見型
改善進化
損失最小化 Value創出 Highest &
Effective Value
Operationにおける優位性を構築し、速度/コスト面での卓越した競合優位性を獲得する。
GOAL
（OE実現）
Operational Excellence獲得のためには、PDCAサイクルの実現がかなめ。
その足掛かりとして、柔軟、機敏な可視化が非常に有効であり、不可欠！

13
KPI
間
の
相
関
・
因
果
の
理
解
が
重
要
2-4. 企業のVisionを支えるKPI/KRIを可視化する
収益向上
KPI/KRI
System&
Application
メモリ使用量/率
ロードアベレージ
ディスク使用量/率
スロークエリ
接続数 CPU使用率
ROI Gross Margin
Business
会員数成約数/CVR
チャネル別獲得率リピート率
従業員稼働率
（生産性）
顧客満足度
Strategy
利用者拡大
Vision
自社サイトでの
予約獲得
在庫管理の
精度向上
リピーター獲得
顧客満足度向上
生産性向上
スマホ対応
UX向上
キャパシティ
向上
スケーラビリティ
向上
Experience
エラー率 User Agent
最大/平均
レスポンスタイム
閲覧数（PV）訪問数（VU）
総リクエスト数
セッションハイジャック
DOS攻撃
不正ログイン試行業務外利用
ファイル UL/DL
バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。

14
収益向上
KPI/KRI
System&
Application
スロークエリ
ROI Gross Margin
Business
従業員稼働率
（生産性）
顧客満足度
Strategy
利用者拡大
Vision
予約獲得
在庫管理の
精度向上
生産性向上
スマホ対応
UX向上
キャパシティ
向上
向上
Experience
最大/平均
DOS攻撃
ファイル UL/DL

15
収益向上
KPI/KRI
System&
Application
スロークエリ
ROI Gross Margin
Business
従業員稼働率
（生産性）
顧客満足度
Strategy
利用者拡大
Vision
予約獲得
在庫管理の
精度向上
生産性向上
スマホ対応
UX向上
キャパシティ
向上
向上
Experience
最大/平均
DOS攻撃
ファイル UL/DL

16
収益向上
KPI/KRI
System&
Application
スロークエリ
ROI Gross Margin
Business
従業員稼働率
（生産性）
顧客満足度
Strategy
利用者拡大
Vision
予約獲得
在庫管理の
精度向上
生産性向上
スマホ対応
UX向上
キャパシティ
向上
向上
Experience
最大/平均
DOS攻撃
ファイル UL/DL

17
収益向上
KPI/KRI
System&
Application
スロークエリ
ROI Gross Margin
Business
従業員稼働率
（生産性）
顧客満足度
Strategy
利用者拡大
Vision
予約獲得
在庫管理の
精度向上
生産性向上
スマホ対応
UX向上
キャパシティ
向上
向上
Experience
最大/平均
DOS攻撃
ファイル UL/DL

18
収益向上
KPI/KRI
System&
Application
スロークエリ
ROI Gross Margin
Business
従業員稼働率
（生産性）
顧客満足度
Strategy
利用者拡大
Vision
予約獲得
在庫管理の
精度向上
生産性向上
スマホ対応
UX向上
キャパシティ
向上
向上
Experience
最大/平均
DOS攻撃
ファイル UL/DL
成
約
率
が
悪
化
し
て
い
る
の
は
エ
ラ
ー
率
が
増
え
て
い
る
た
め

19
収益向上
KPI/KRI
System&
Application
スロークエリ
ROI Gross Margin
Business
従業員稼働率
（生産性）
顧客満足度
Strategy
利用者拡大
Vision
予約獲得
在庫管理の
精度向上
生産性向上
スマホ対応
UX向上
キャパシティ
向上
向上
Experience
最大/平均
DOS攻撃
ファイル UL/DL
成
約
率
が
悪
化
し
て
い
る
の
は
エ
ラ
ー
率
が
増
え
て
い
る
た
め
エ
ラ
ー
率
が
増
え
て
い
る
の
は
ス
ロ
ー
ク
エ
リ
が
あ
る
か
ら

20
2-5. ENdoSnipe APMの特徴
システムの稼働状況や負荷状況が手に取るように分かります。
• サーバやプロセス毎のCPU使用率やメモリ使用量を記録します。
• 機能やSQL毎の呼び出し回数や処理時間を記録します。
システムの処理フローを図示し、コードレベルで問題を特定すること
ができます。
• 障害解析の効率を飛躍的に向上させる事が可能になります。
• デバッグログの出力を不要にできるため、処理速度の向上も見込めます。
プログラムの改善箇所を自動診断で見つけます。
• 非効率な処理や隠れて発生している例外を検出します。
• 時間のかかるSQLや非効率なSQLを検出し、改善ポイントを抽出します。

2-6. APM
システム全体で負荷が高い
個所を即座に把握可能です。
負荷が高い個所のリソース使用状況や、問題個
所を把握可能です。
21

2-7. UXMの機能およびメリット
22
顧客の販売行動やスタッフの業務のボトルネックとなっている機能を特定し、
優先的に改善することができます。
• Webビーコンを用いて、ユーザの利用状況を収集し、よく使う機能を特定します。
• 収集した情報は、ユーザ毎や画面毎、機能毎と様々な軸で、集計や可視化し、どの機能がボトルネックに
なっているか特定します。（ユーザの位置や端末種別毎の集計も可能です。）
エンドユーザの操作毎にレスポンスタイムを収集、分析することで、顧客満足度を把握で
きます。
• レスポンスタイムを1秒改善するごとに、コンバージョン率が2%向上するという調査結果が示す通り、レスポ
ンスタイムの把握とボトルネックの特定はECサイトの収益向上に直結します。
• 同じく、業務システムのレスポンスタイムは、業務の生産性に直結します。利用頻度が高く、レスポンスタイ
ムが大きい機能が特定できれば、企業の生産性を大きく向上させる可能性があります。
ユーザ端末側とサーバー側の処理時間を把握することで、問題がどこにあるか切り分ける
ことができます。
• ユーザ端末側、ネットワーク側、サーバー側、それぞれの処理時間を紐づけることで一気通貫して性能を可
視化することができます。

2-8. UXM
23

2-9. 分析者の心の中
1. 分析すると結構色々わかって面白い。
① CPU使用率とSQLとの関係性
– 実行が重いSQLをひと目で可視化することができる。
② サイトからの離脱率とAPIの関係性
– 改善すべきAPIがわかり、注力すると離脱率を改善できるかもしれない。
2. しかし、分析するにあたって問題も出てきた。
① データの多様化・大量化が進んだ。
② データの系列が多すぎて思うように分析が進まない。
3. 今回はこれら分析の問題点についてお話します。
24

ELASTICSEARCHを使った分析基盤
25

3-1. 従来まで
1. PostgreSQLを使ってENdoSnipeのデータを管
理していた。
2. しかし、RDBMSだと次のようなケースに対応し
づらくなってきた。
① ログ対応などデータの多様化
② ビッグデータになったことによる性能問題
26

3-2. 抱えていた問題点
1. データの構造が多様化してきた。
① 決められた構造を使うRDBMSでは対応が厳しくな
った。
2. データの量も膨大になった。
① 収集するデータが多様になったと共に、データの量
もそれに伴い膨大となった。
27

28

3-4. Elasticsearch（今、最も注目されている検索エンジン）
29
 2016年3月から、ElasticsearchはDB-ENGINESのラン
キングにて、検索エンジン中、最高位の評価を得ています。

3-5. UberのElasticserchの事例
30

3-6. Elasticsearchの特徴
1. Elasticsearchはスケーラブル、高信頼、容易な
管理を特徴とする分析エンジンである。
2. 全文検索の速度及び分析機能を持つ。
3. 高度なクエリ言語で、構造、非構造、時系列デー
タの解析が可能となる。
31

3-7. スケーラブルな検索エンジン
1. Elasticsearchは簡単にスケールアウトできる。
① 性能が不足、データの増加に、即時対応ができる。
2. クラスタが自動的に増えた分のハードウェアを活
用し、ノードがいくつあっても問題がない。
32

3-8. 全文検索の速度及び分析機能
1. 非常に検索が高速となっている。
① 膨大なデータからの処理速度が簡単である。
2. 検索結果から簡単に分析を行うことができる。
① 非常に高速なため、一部の分析を簡単に高速化できる。
② 平均、分散を計算させ、かつ、スクリプトを組み合わせてそれ
らを一度のクエリで計算できる。
33

3-9. 高度なクエリ言語
1. Elasticsearchは高度なクエリ言語を持っている。
2. JSONベースで記述し、様々なことが実現できる。
① 例えば、平均値と分散の計算をJSONで表記でき、かつ、ス
クリプトの記述によるカスタマイズが可能である。
3. REST APIでのやり取りが可能である。
34

1. 右図のクエリは異常検知をする為の
スコアを計算するクエリです。
内部にどれだけのロジックが
含められているでしょうか。
35

1. 右図のクエリの中には次の処理が
含まれている。
① データの取得
② 取得期間の設定
③ 一定間隔日付ごとにグルーピング
④ 平均値の計算
⑤ 移動平均値の計算
⑥ 平均と移動平均の差分
⑦ ⑥の結果の90パーセンタイルの計算
①②
③
④
⑤
⑥
⑦
36

3-12. 本章のまとめ
1. ENdoSnipeのデータ管理をElasticsearchに切り替えま
した。
① データの多様化
② データの大量化
2. Elasticsearchの利点としては次の3点ある。
① スケーラビリティ
② 全文検索の速度とその分析機能
③ 高度なクエリ言語
37

相関分析によるKPI/KRIの影響範囲の
特定
38

4-1. ENdoSnipeの分析で見たいもの
1. KPI/KRIの間の関係性を発見する。
① 改善するのに必要な情報を得たい。
2. 関係性をひと目で確認したいが、難しい。
① 膨大なデータがある。
② 膨大な系列がある。
3. 分析を工夫して、KPI/KRIの関係性を見つけ出した。
39

4-2. 相関分析の説明
1. 2変数の関係性を見るための一つの指標が相関
分析である。
2. 一般的には相関が1の場合は正の相関、-1の場
合は負の相関がある。
① 正の相関は一方の変数の値とともにもう一方の変数
の値も関連して上昇する関係
② 負の相関は一方の変数の値とともにもう一方の変数
の値も関連して下降する関係
40

変数A
変数B
変数B
変数A
変数A
変数B
41

変数A
変数B
変数B
変数A
変数A
変数B
正の相関負の相関
無相関
42

4-4. 相関分析可視化全体像
43

4-5. ENdoSnipe APMの相関分析
44

4-5. ENdoSnipe APMの相関分析
系列
系列名
系列が画面内に収まらなく
なっている
45

4-6. 相関分析の問題点
1. ひと目で関係性を見つけることができない。
① 数が多すぎて一画面に収まらず、描画すら難しい。
– APMの系列だけで900系列、UXMと合わせて2400程度
② 仮に描画ができたとして人力で発見できるデータで
はない。
2. 特定の変数間を探ることはできるが、その変数
と更に別の変数を見つけるのが難しい。
46

4-7. Graph
1. Graphはデータの関係性をKibanaで可視化する
ためのPlugin（X-packのインストールが必要）
2. 関連性があるデータに対して非常に有効
① 購買履歴等の推薦
② IPアドレス等のつながり
47

4-8. Kibanaとは
1. ElasticsearchにIndexされたデータについて簡
単に可視化することできる。
① Elasticsearchとの親和性が高い。
2. データをわかりやすい形で簡単に表示できる。
3. セットアップが非常に簡単
48

4-9. Kibanaによる可視化
49

4-10. Graph
50
Kibanaの中にGraph機
能がある。（X-pack必要）

4-11. Graphの説明
51
エッジ：つながり、太いほど、
強い関係性がある。
ノード：１つ１つの単語
色は属性
（おかし名、概要etc.）

4-12. Graphの工夫ポイント
1. Graphは数値データをエッジにできない。
① 数値を頻度回数に変換して描画した。
2. 相関は負の値と正の値がある。
① 「１」を解消する際に絶対値でしか表現できなかった
ので工夫ができない。
52

4-13. エッジの表現について
1. エッジの関連性（スコア）の計算には2種類の
方法がある。
① 単純な要素の出現頻度を計算する。
② 一定のスコアリングを用いた重要度スコアの計算
（=Significant terms Aggregation）をする。
2. 今回の相関分析では①を利用する。
3. 因みに、Significant terms aggregationを使ったスコア
の計算もでき、文書データでやると面白い。
53

4-14. Graph機能の工夫
1. 数値表現を頻度表現に変化する前処理を行った。
① 例えば、0.8の数値を0.2の区切りで頻度として表現
する。 0.8であれば、エッジとして4つ表現する。
54

4-15. Graphの工夫
項目A 項目B 相関値
cpu
usage
memory
usage
0.8
cpu
usage
disk io -0.2
項目A 項目相関値
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
disk io -0.2
55

4-16. Graphの工夫
項目A 項目B 相関値
cpu
usage
memory
usage
0.8
cpu
usage
disk io -0.2
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
disk io -0.2
同じデータを４つ
56

4-17. 表現において問題が出てくる
1. 方向が表現できない。
① 頻度表現のため正と負の表現を行うことができない。
2. 現状はElasticsearchのIndexを別々して回避し
ている。
① 正は正、負は負の関係性を別々に見ることができる。
57

4-18. 投入先の工夫（正負の相関）
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
disk io -0.2
負の相関
正の相関
正・負別々のIndexに入れる。
58

4-19. APM
SQLと他のAPIの処理
時間に正の相関がある。
SQLが改善すると、API
の処理時間が短くなる可
能性がある。
59
SQLと他のAPIの処理
時間に正の相関がある。
SQLが改善すると、API
の処理時間が短くなる
可能性がある。
（複数のボトルネックを
確認することができ
る。）

4-20. APM
ファイルの読み込みとCPU使
用率の関係性がある。
ファイル読み込み処理がCPU
に負荷をかけて重い可能性が
ある。
60

4-21. APM
61
APIとSQL実行時間に関係性が
ある。SQLの実行時間の改善が
APIの改善につながる可能性が
ある。
APIとAPIの間に
関係性がある。
たどると共通の
原因を発見でき
る可能性がある。

4-23. UXM
62
平均アクセス回数とサイトからの
離脱率に関係性がある。ただペ
ージに飛んだが、離脱する人が
増える傾向な可能性がある。

4-24. APM + UXM
離脱率とAPIのレスポンスとの相
関が高い。当該APIを改善すると
離脱率が低くなる可能性がある。
63
APIがお互いに関係し
ている。お互いが呼び
出しているコードに問題
があるかもしれない。

4-25. Graphを用いた相関分析のメリット
1. 可視化が容易である。
① マトリクス表記するよりも可視化が簡単である。
② 必要に応じてノードを追加できるのでシンプルに可
視化ができる。
2. Graphでの可視化で探索的に広げられる。
① 関係性のその先の関連を見ることができる。
64

4-26. ENdoSnipeの相関分析表現①
65
正の相関のGraph 負の相関のGraph
相関が強いKPIを結ぶ線
を太く表示されます。
コンバージョン率と強い相関
がB-レスポンス時間にありま
す。
B-レスポンス時間を改善す
れば、コンバージョン率が上が
ることが分かります。

4-27. ENdoSnipeの相関分析表現②
正の相関が高い変数ラ
ンキング
着目するポイントを探す
ことができる。
負の相関が高い変数
ランキング
負の相関の一覧表
正の相関の一覧表、実
際にはどのような値かを
見ることができる。
66

4-28. 本分析のまとめ
1. 相関分析を使い関連性を分析したがヒートマップの可
視化が見づらい、検索しづらい問題点があった。
2. Graph機能を工夫して使って可視化することで関係性
を見出すことができた。
3. 売上と関係ある「離脱率」と関係のあるAPMのパラメー
タを検知することができた。
67

最後に
68

5-1. 最後に
システム効率化や分析したい方は
ENdoSnipeを構築してください。
Elasticsearchをやりたい人はぜひ、
Acroquestへ応募をお願いします・
ENdoSnipeを構築したい人はぜひ、
Acroquestへお問い合わせください。
69

6. Elastic使いを募集してます！
70
当社は国内最大の30名を超えるElastic使いが在籍してお
り、国籍問わずスタッフの募集をしております。
ぜひ興味がある方はご連絡ください。
https://www.wantedly.com/companies/acroque
st/projects
Elastic勉強会での発表や、
JJUGセミナーでの登壇
Elastic Technical Workshopも
開催しております。
一緒にElasticを盛り上げましょう！
本日B11で講演し
ていました。

71
ご清聴、有難うございました。
アンケートご協力お願いします。
Infrastructures Evolution

[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 by Acroquest Technology株式会社 山本 大輝

More Related Content

What's hot

Similar to [data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 by Acroquest Technology株式会社 山本 大輝

More from Insight Technology, Inc.