Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
デジタルデータの可視化基盤
を使った、
システムトラブルの未然防止、
経営判断につながる可視化の実践
2016/10/04
Acroquest Technology 株式会社
山本 大輝
目次
1. 会社・自己紹介
2. ENdoSnipeのご紹介
3. Elasticsearchを使った分析基盤
4. 相関分析によるKPI/KRIの影響範囲の特定
5. 最後に
Copyright © Acroquest Technology ...
今回のSessionの概要
1. ENdoSnipeを使った分析をご紹介します。
2. ENdoSnipeがElasticsearchを分析基盤とした
理由をご紹介します。
3. 相関分析を使った分析方法をご紹介します。
① ENdoSnipe...
会社・自己紹介
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4
1-1. Acroquest Technologyのご紹介
5
1. 監視/制御分野で20年を超える実績があります。
2. 技術の専門家集団です。
3. プロジェクト管理・品質管理も実績あり。
米JavaOneでの発表
(2013、2015)
...
1-2.データ分析の実例
1. 不動産賃貸物件推薦サービス
① 二者択一型不動産賃貸物件推薦サービスの開発
(情報処理学会「デジタルプラクティス」Vol.5 No.2)
② 日経BP社が運営する大手IT情報サイト
「ITPro」などで紹介されま...
1-3.データ分析の実例
3. 大規模ネットワークのトラフィック監視/分析
① 約80万台の機器から、常時通知される情報をリアルタイムに
処理
② 約20,000メッセージ/秒のデータを処理しつつ、
ネットワーク機器の障害の監視や、障害の要因判...
1-4.自己紹介
1. 名前:山本 大輝(やまもと ひろき)
2. 出身:東京大学大学院 情報理工学系研究科
3. Twitter:@tereka114
4. Blog:のんびりしているエンジニアの日記
① http://nonbiri-ter...
ENDOSNIPEのご紹介
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9
2-1. 私たちが目指すシステム
• 私たちが目指すものは、ビッグデータから、即座に
有益な知見を見出し、顧客のビジネスを支援するシ
ステムの実現です。
• 長期的なトレンドも、日々の変化も手に取るように理
解し、その影響を把握し、対処が打てる...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11
BV
M
UXM
APM
Insight
• User eXperience Management
(ユーザ体...
2-3.事業におけるPDCAを実現するために
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12
可視化 分析 予測
対応型 積極型 予見型
改善 進化
損失最小...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13
KPI
間
の
相
関
・
因
果
の
理
解
が
重
要
2-4. 企業のVisionを支えるKPI/KRI...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
14
2-4. 企業のVisionを支えるKPI/KRIを可視化する
収益向上
KPI/KRI
System&
Ap...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
15
2-4. 企業のVisionを支えるKPI/KRIを可視化する
収益向上
KPI/KRI
System&
Ap...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
16
2-4. 企業のVisionを支えるKPI/KRIを可視化する
収益向上
KPI/KRI
System&
Ap...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
17
2-4. 企業のVisionを支えるKPI/KRIを可視化する
収益向上
KPI/KRI
System&
Ap...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
18
2-4. 企業のVisionを支えるKPI/KRIを可視化する
収益向上
KPI/KRI
System&
Ap...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
19
2-4. 企業のVisionを支えるKPI/KRIを可視化する
収益向上
KPI/KRI
System&
Ap...
20
2-5. ENdoSnipe APMの特徴
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
システムの稼働状況や負荷状況が手に取るように分かります。
• サー...
2-6. APM
システム全体で負荷が高い
個所を即座に把握可能です。
負荷が高い個所のリソース使用状況や、問題個
所を把握可能です。
Copyright © Acroquest Technology Co., Ltd. All rights ...
2-7. UXMの機能およびメリット
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
22
顧客の販売行動やスタッフの業務のボトルネックとなっている機能を特定し、
...
2-8. UXM
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
23
2-9. 分析者の心の中
1. 分析すると結構色々わかって面白い。
① CPU使用率とSQLとの関係性
– 実行が重いSQLをひと目で可視化することができる。
② サイトからの離脱率とAPIの関係性
– 改善すべきAPIがわかり、注力すると離脱...
ELASTICSEARCHを使った分析基盤
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
25
3-1. 従来まで
1. PostgreSQLを使ってENdoSnipeのデータを管
理していた。
2. しかし、RDBMSだと次のようなケースに対応し
づらくなってきた。
① ログ対応などデータの多様化
② ビッグデータになったことによる性能...
3-2. 抱えていた問題点
1. データの構造が多様化してきた。
① 決められた構造を使うRDBMSでは対応が厳しくな
った。
2. データの量も膨大になった。
① 収集するデータが多様になったと共に、データの量
もそれに伴い膨大となった。
C...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
28
3-4. Elasticsearch(今、最も注目されている検索エンジン)
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
29
 2016年3月から、Elast...
3-5. UberのElasticserchの事例
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
30
3-6. Elasticsearchの特徴
1. Elasticsearchはスケーラブル、高信頼、容易な
管理を特徴とする分析エンジンである。
2. 全文検索の速度及び分析機能を持つ。
3. 高度なクエリ言語で、構造、非構造、時系列デー
タの...
3-7. スケーラブルな検索エンジン
1. Elasticsearchは簡単にスケールアウトできる。
① 性能が不足、データの増加に、即時対応ができる。
2. クラスタが自動的に増えた分のハードウェアを活
用し、ノードがいくつあっても問題がない...
3-8. 全文検索の速度及び分析機能
1. 非常に検索が高速となっている。
① 膨大なデータからの処理速度が簡単である。
2. 検索結果から簡単に分析を行うことができる。
① 非常に高速なため、一部の分析を簡単に高速化できる。
② 平均、分散を...
3-9. 高度なクエリ言語
1. Elasticsearchは高度なクエリ言語を持っている。
2. JSONベースで記述し、様々なことが実現できる。
① 例えば、平均値と分散の計算をJSONで表記でき、かつ、ス
クリプトの記述によるカスタマイズ...
3-10. 高度なクエリ言語
1. 右図のクエリは異常検知をする為の
スコアを計算するクエリです。
内部にどれだけのロジックが
含められているでしょうか。
Copyright © Acroquest Technology Co., Ltd. A...
3-11. 高度なクエリ言語
1. 右図のクエリの中には次の処理が
含まれている。
① データの取得
② 取得期間の設定
③ 一定間隔日付ごとにグルーピング
④ 平均値の計算
⑤ 移動平均値の計算
⑥ 平均と移動平均の差分
⑦ ⑥の結果の90パ...
3-12. 本章のまとめ
1. ENdoSnipeのデータ管理をElasticsearchに切り替えま
した。
① データの多様化
② データの大量化
2. Elasticsearchの利点としては次の3点ある。
① スケーラビリティ
② 全文...
相関分析によるKPI/KRIの影響範囲の
特定
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
38
4-1. ENdoSnipeの分析で見たいもの
1. KPI/KRIの間の関係性を発見する。
① 改善するのに必要な情報を得たい。
2. 関係性をひと目で確認したいが、難しい。
① 膨大なデータがある。
② 膨大な系列がある。
3. 分析を工夫...
4-2. 相関分析の説明
1. 2変数の関係性を見るための一つの指標が相関
分析である。
2. 一般的には相関が1の場合は正の相関、-1の場
合は負の相関がある。
① 正の相関は一方の変数の値とともにもう一方の変数
の値も関連して上昇する関係
...
4-3. 相関分析の説明
変数A
変数B
変数B
変数A
変数A
変数B
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
41
4-3. 相関分析の説明
変数A
変数B
変数B
変数A
変数A
変数B
正の相関 負の相関
無相関
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
42
4-4. 相関分析可視化全体像
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
43
4-5. ENdoSnipe APMの相関分析
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
44
4-5. ENdoSnipe APMの相関分析
系列
系列名
系列が画面内に収まらなく
なっている
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
45
4-6. 相関分析の問題点
1. ひと目で関係性を見つけることができない。
① 数が多すぎて一画面に収まらず、描画すら難しい。
– APMの系列だけで900系列、UXMと合わせて2400程度
② 仮に描画ができたとして人力で発見できるデータで
...
4-7. Graph
1. Graphはデータの関係性をKibanaで可視化する
ためのPlugin(X-packのインストールが必要)
2. 関連性があるデータに対して非常に有効
① 購買履歴等の推薦
② IPアドレス等のつながり
Copyr...
4-8. Kibanaとは
1. ElasticsearchにIndexされたデータについて簡
単に可視化することできる。
① Elasticsearchとの親和性が高い。
2. データをわかりやすい形で簡単に表示できる。
3. セットアップが...
4-9. Kibanaによる可視化
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
49
4-10. Graph
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
50
Kibanaの中にGraph機
能がある。(X-pack必要)
4-11. Graphの説明
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
51
エッジ:つながり、太いほど、
強い関係性がある。
ノード:1つ1つの単語
色は属...
4-12. Graphの工夫ポイント
1. Graphは数値データをエッジにできない。
① 数値を頻度回数に変換して描画した。
2. 相関は負の値と正の値がある。
① 「1」を解消する際に絶対値でしか表現できなかった
ので工夫ができない。
Co...
4-13. エッジの表現について
1. エッジの関連性(スコア)の計算には2種類の
方法がある。
① 単純な要素の出現頻度を計算する。
② 一定のスコアリングを用いた重要度スコアの計算
(=Significant terms Aggregati...
4-14. Graph機能の工夫
1. 数値表現を頻度表現に変化する前処理を行った。
① 例えば、0.8の数値を0.2の区切りで頻度として表現
する。 0.8であれば、エッジとして4つ表現する。
Copyright © Acroquest Te...
4-15. Graphの工夫
項目A 項目B 相関値
cpu
usage
memory
usage
0.8
cpu
usage
disk io -0.2
項目A 項目 相関値
cpu
usage
memory usage 0.8
cpu
usa...
4-16. Graphの工夫
項目A 項目B 相関値
cpu
usage
memory
usage
0.8
cpu
usage
disk io -0.2
項目A 項目 相関値
cpu
usage
memory usage 0.8
cpu
usa...
4-17. 表現において問題が出てくる
1. 方向が表現できない。
① 頻度表現のため正と負の表現を行うことができない。
2. 現状はElasticsearchのIndexを別々して回避し
ている。
① 正は正、負は負の関係性を別々に見ることが...
4-18. 投入先の工夫(正負の相関)
項目A 項目 相関値
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
memory usage 0.8
cpu
usage
...
4-19. APM
SQLと他のAPIの処理
時間に正の相関がある。
SQLが改善すると、API
の処理時間が短くなる可
能性がある。
Copyright © Acroquest Technology Co., Ltd. All rights ...
4-20. APM
ファイルの読み込みとCPU使
用率の関係性がある。
ファイル読み込み処理がCPU
に負荷をかけて重い可能性が
ある。
Copyright © Acroquest Technology Co., Ltd. All rights...
4-21. APM
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
61
APIとSQL実行時間に関係性が
ある。SQLの実行時間の改善が
APIの改善につながる可...
4-23. UXM
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
62
平均アクセス回数とサイトからの
離脱率に関係性がある。ただペ
ージに飛んだが、離脱する人が...
4-24. APM + UXM
離脱率とAPIのレスポンスとの相
関が高い。当該APIを改善すると
離脱率が低くなる可能性がある。
Copyright © Acroquest Technology Co., Ltd. All rights re...
4-25. Graphを用いた相関分析のメリット
1. 可視化が容易である。
① マトリクス表記するよりも可視化が簡単である。
② 必要に応じてノードを追加できるのでシンプルに可
視化ができる。
2. Graphでの可視化で探索的に広げられる。...
4-26. ENdoSnipeの相関分析表現①
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
65
正の相関のGraph 負の相関のGraph
相関が強いKPIを...
4-27. ENdoSnipeの相関分析表現②
正の相関が高い変数ラ
ンキング
着目するポイントを探す
ことができる。
負の相関が高い変数
ランキング
負の相関の一覧表
正の相関の一覧表、実
際にはどのような値かを
見ることができる。
Copy...
4-28. 本分析のまとめ
1. 相関分析を使い関連性を分析したがヒートマップの可
視化が見づらい、検索しづらい問題点があった。
2. Graph機能を工夫して使って可視化することで関係性
を見出すことができた。
3. 売上と関係ある「離脱率」...
最後に
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
68
5-1. 最後に
システム効率化や分析したい方は
ENdoSnipeを構築してください。
Elasticsearchをやりたい人はぜひ、
Acroquestへ応募をお願いします・
ENdoSnipeを構築したい人はぜひ、
Acroquestへお...
6. Elastic使いを募集してます!
70
当社は国内最大の30名を超えるElastic使いが在籍してお
り、国籍問わずスタッフの募集をしております。
ぜひ興味がある方はご連絡ください。
https://www.wantedly.com/c...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
71
ご清聴、有難うございました。
アンケートご協力お願いします。
Infrastructures Evolution
Upcoming SlideShare
Loading in …5
×

[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 by Acroquest Technology株式会社 山本 大輝

4,527 views

Published on

ENdoSnipeはシステムの可視化、そしてビジネスの可視化を行うツールです。ENdoSnipeはアプリケーションのパフォーマンスを可視化する「APM」と、ユーザーの満足度を可視化する「UXM」、そして経営貢献度を可視化する「BVM」を提供し、一貫した可視化を行っています。本セッションでは、ENdoSnipeがElasticsearchを分析基盤として用いた理由、また、APM・UXM・BVMを用いたトラブルシューティングや、ユーザーの画面使用状況の可視化、システムパフォーマンス低下と売上の相関分析など、事例を交えてご紹介します。

Published in: Technology
  • Be the first to comment

[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 by Acroquest Technology株式会社 山本 大輝

  1. 1. デジタルデータの可視化基盤 を使った、 システムトラブルの未然防止、 経営判断につながる可視化の実践 2016/10/04 Acroquest Technology 株式会社 山本 大輝
  2. 2. 目次 1. 会社・自己紹介 2. ENdoSnipeのご紹介 3. Elasticsearchを使った分析基盤 4. 相関分析によるKPI/KRIの影響範囲の特定 5. 最後に Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2
  3. 3. 今回のSessionの概要 1. ENdoSnipeを使った分析をご紹介します。 2. ENdoSnipeがElasticsearchを分析基盤とした 理由をご紹介します。 3. 相関分析を使った分析方法をご紹介します。 ① ENdoSnipeでKPI/KRIの関係性を見つけます。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3
  4. 4. 会社・自己紹介 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4
  5. 5. 1-1. Acroquest Technologyのご紹介 5 1. 監視/制御分野で20年を超える実績があります。 2. 技術の専門家集団です。 3. プロジェクト管理・品質管理も実績あり。 米JavaOneでの発表 (2013、2015) 大学等で教科書として の採用実績多数 「なぜ、あなたはJava でオブジェクト指向開 発ができないのか」 (2013) 「Javaパフォーマンス」 の監訳を担当 (2015) 鉄道、電力、通信業界の監視制御 システムの構築を担ってきました。 培ったノウハウは、ENdoSnipeの KPI/KRI監視に活かされています。 CMMI Lv. 3を達成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  6. 6. 1-2.データ分析の実例 1. 不動産賃貸物件推薦サービス ① 二者択一型不動産賃貸物件推薦サービスの開発 (情報処理学会「デジタルプラクティス」Vol.5 No.2) ② 日経BP社が運営する大手IT情報サイト 「ITPro」などで紹介されました。 2. IoT研究開発(設備予知保全・人流分析) ① 富士山チャレンジ2016 安心・安全な富士登山を目指して、小型ビーコンを活用した 富士山登山者の動態データを収集・可視化 https://www.facebook.com/fujisanchallenge/ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 6
  7. 7. 1-3.データ分析の実例 3. 大規模ネットワークのトラフィック監視/分析 ① 約80万台の機器から、常時通知される情報をリアルタイムに 処理 ② 約20,000メッセージ/秒のデータを処理しつつ、 ネットワーク機器の障害の監視や、障害の要因判定を実施 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7
  8. 8. 1-4.自己紹介 1. 名前:山本 大輝(やまもと ひろき) 2. 出身:東京大学大学院 情報理工学系研究科 3. Twitter:@tereka114 4. Blog:のんびりしているエンジニアの日記 ① http://nonbiri-tereka.hatenablog.com/ 5. 専門:分析系、画像処理、異常検知 6. 普段はCV勉強会やPyData等で 活動しています。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8
  9. 9. ENDOSNIPEのご紹介 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9
  10. 10. 2-1. 私たちが目指すシステム • 私たちが目指すものは、ビッグデータから、即座に 有益な知見を見出し、顧客のビジネスを支援するシ ステムの実現です。 • 長期的なトレンドも、日々の変化も手に取るように理 解し、その影響を把握し、対処が打てる、そんな未 来を想像してください。 高度に洗練された「Intelligent Operational Excellence」の世界、それをENdoSnipeが実現しま す。 • ENdoSnipeを使うことで、企業はビジネス変革を確 信をもって、高速に進める事が可能になります。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10
  11. 11. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 BV M UXM APM Insight • User eXperience Management (ユーザ体感/業務効率可視化)  エンドユーザ体験を向上させ、ECサイトでの売り上げを向上。  社内システムから情報を収集、ボトルネックポイントを明確にし、 業務効率を向上します。 • Application Performance Management (サービス/システムレベルの可視化)  システムの性能を可視化し、改善のための内部診断情報を提 供する。 • Elasticsearch  強力なビッグデータの蓄積、分析を機能を持つ Elasticsearchを基盤に採用しています。  開発元であるElastic社とも提携しています。(国内初) • Insight(データ分析基盤)  ENdoSnipeの基盤となるデータ分析エンジンです。 ビッグデータを対象にした相関分析、差異分析機能を備えます。  可視化・分析用のUI基盤を提供します。 • Business Value Management(経営貢献度の可視化)  KPI/KRIの可視化・予測を通じた企業ビジョン/戦略実現の制御、 改善のためのInsightを提供する。 2-2. 一貫した可視化を提供する
  12. 12. 2-3.事業におけるPDCAを実現するために Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 可視化 分析 予測 対応型 積極型 予見型 改善 進化 損失最小化 Value創出 Highest & Effective Value Operationにおける優位性を構築し、速度/コスト面での卓越した競合優位性を獲得する。 GOAL (OE実現) Operational Excellence獲得のためには、PDCAサイクルの実現がかなめ。 その足掛かりとして、柔軟、機敏な可視化が非常に有効であり、不可欠!
  13. 13. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 KPI 間 の 相 関 ・ 因 果 の 理 解 が 重 要 2-4. 企業のVisionを支えるKPI/KRIを可視化する 収益向上 KPI/KRI System& Application メモリ使用量/率 ロードアベレージ ディスク使用量/率 スロークエリ 接続数 CPU使用率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (生産性) 顧客満足度 Strategy 利用者拡大 Vision 自社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満足度向上 生産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Experience エラー率 User Agent 最大/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 セッションハイジャック DOS攻撃 不正ログイン試行 業務外利用 ファイル UL/DL バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。
  14. 14. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 2-4. 企業のVisionを支えるKPI/KRIを可視化する 収益向上 KPI/KRI System& Application メモリ使用量/率 ロードアベレージ ディスク使用量/率 スロークエリ 接続数 CPU使用率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (生産性) 顧客満足度 Strategy 利用者拡大 Vision 自社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満足度向上 生産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Experience エラー率 User Agent 最大/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 セッションハイジャック DOS攻撃 不正ログイン試行 業務外利用 ファイル UL/DL バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。
  15. 15. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 2-4. 企業のVisionを支えるKPI/KRIを可視化する 収益向上 KPI/KRI System& Application メモリ使用量/率 ロードアベレージ ディスク使用量/率 スロークエリ 接続数 CPU使用率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (生産性) 顧客満足度 Strategy 利用者拡大 Vision 自社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満足度向上 生産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Experience エラー率 User Agent 最大/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 セッションハイジャック DOS攻撃 不正ログイン試行 業務外利用 ファイル UL/DL バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。
  16. 16. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 2-4. 企業のVisionを支えるKPI/KRIを可視化する 収益向上 KPI/KRI System& Application メモリ使用量/率 ロードアベレージ ディスク使用量/率 スロークエリ 接続数 CPU使用率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (生産性) 顧客満足度 Strategy 利用者拡大 Vision 自社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満足度向上 生産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Experience エラー率 User Agent 最大/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 セッションハイジャック DOS攻撃 不正ログイン試行 業務外利用 ファイル UL/DL バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。
  17. 17. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 2-4. 企業のVisionを支えるKPI/KRIを可視化する 収益向上 KPI/KRI System& Application メモリ使用量/率 ロードアベレージ ディスク使用量/率 スロークエリ 接続数 CPU使用率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (生産性) 顧客満足度 Strategy 利用者拡大 Vision 自社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満足度向上 生産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Experience エラー率 User Agent 最大/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 セッションハイジャック DOS攻撃 不正ログイン試行 業務外利用 ファイル UL/DL バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。
  18. 18. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 2-4. 企業のVisionを支えるKPI/KRIを可視化する 収益向上 KPI/KRI System& Application メモリ使用量/率 ロードアベレージ ディスク使用量/率 スロークエリ 接続数 CPU使用率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (生産性) 顧客満足度 Strategy 利用者拡大 Vision 自社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満足度向上 生産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Experience エラー率 User Agent 最大/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 セッションハイジャック DOS攻撃 不正ログイン試行 業務外利用 ファイル UL/DL 成 約 率 が 悪 化 し て い る の は エ ラ ー 率 が 増 え て い る た め バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。
  19. 19. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19 2-4. 企業のVisionを支えるKPI/KRIを可視化する 収益向上 KPI/KRI System& Application メモリ使用量/率 ロードアベレージ ディスク使用量/率 スロークエリ 接続数 CPU使用率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (生産性) 顧客満足度 Strategy 利用者拡大 Vision 自社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満足度向上 生産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Experience エラー率 User Agent 最大/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 セッションハイジャック DOS攻撃 不正ログイン試行 業務外利用 ファイル UL/DL 成 約 率 が 悪 化 し て い る の は エ ラ ー 率 が 増 え て い る た め バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。 エ ラ ー 率 が 増 え て い る の は ス ロ ー ク エ リ が あ る か ら
  20. 20. 20 2-5. ENdoSnipe APMの特徴 Copyright © Acroquest Technology Co., Ltd. All rights reserved. システムの稼働状況や負荷状況が手に取るように分かります。 • サーバやプロセス毎のCPU使用率やメモリ使用量を記録します。 • 機能やSQL毎の呼び出し回数や処理時間を記録します。 システムの処理フローを図示し、コードレベルで問題を特定すること ができます。 • 障害解析の効率を飛躍的に向上させる事が可能になります。 • デバッグログの出力を不要にできるため、処理速度の向上も見込めます。 プログラムの改善箇所を自動診断で見つけます。 • 非効率な処理や隠れて発生している例外を検出します。 • 時間のかかるSQLや非効率なSQLを検出し、改善ポイントを抽出します。
  21. 21. 2-6. APM システム全体で負荷が高い 個所を即座に把握可能です。 負荷が高い個所のリソース使用状況や、問題個 所を把握可能です。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21
  22. 22. 2-7. UXMの機能およびメリット Copyright © Acroquest Technology Co., Ltd. All rights reserved. 22 顧客の販売行動やスタッフの業務のボトルネックとなっている機能を特定し、 優先的に改善することができます。 • Webビーコンを用いて、ユーザの利用状況を収集し、よく使う機能を特定します。 • 収集した情報は、ユーザ毎や画面毎、機能毎と様々な軸で、集計や可視化し、どの機能がボトルネックに なっているか特定します。(ユーザの位置や端末種別毎の集計も可能です。) エンドユーザの操作毎にレスポンスタイムを収集、分析することで、顧客満足度を把握で きます。 • レスポンスタイムを1秒改善するごとに、コンバージョン率が2%向上するという調査結果が示す通り、レスポ ンスタイムの把握とボトルネックの特定はECサイトの収益向上に直結します。 • 同じく、業務システムのレスポンスタイムは、業務の生産性に直結します。利用頻度が高く、レスポンスタイ ムが大きい機能が特定できれば、企業の生産性を大きく向上させる可能性があります。 ユーザ端末側とサーバー側の処理時間を把握することで、問題がどこにあるか切り分ける ことができます。 • ユーザ端末側、ネットワーク側、サーバー側、それぞれの処理時間を紐づけることで一気通貫して性能を可 視化することができます。
  23. 23. 2-8. UXM Copyright © Acroquest Technology Co., Ltd. All rights reserved. 23
  24. 24. 2-9. 分析者の心の中 1. 分析すると結構色々わかって面白い。 ① CPU使用率とSQLとの関係性 – 実行が重いSQLをひと目で可視化することができる。 ② サイトからの離脱率とAPIの関係性 – 改善すべきAPIがわかり、注力すると離脱率を改善できるかもしれない。 2. しかし、分析するにあたって問題も出てきた。 ① データの多様化・大量化が進んだ。 ② データの系列が多すぎて思うように分析が進まない。 3. 今回はこれら分析の問題点についてお話します。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24
  25. 25. ELASTICSEARCHを使った分析基盤 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 25
  26. 26. 3-1. 従来まで 1. PostgreSQLを使ってENdoSnipeのデータを管 理していた。 2. しかし、RDBMSだと次のようなケースに対応し づらくなってきた。 ① ログ対応などデータの多様化 ② ビッグデータになったことによる性能問題 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26
  27. 27. 3-2. 抱えていた問題点 1. データの構造が多様化してきた。 ① 決められた構造を使うRDBMSでは対応が厳しくな った。 2. データの量も膨大になった。 ① 収集するデータが多様になったと共に、データの量 もそれに伴い膨大となった。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 27
  28. 28. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 28
  29. 29. 3-4. Elasticsearch(今、最も注目されている検索エンジン) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 29  2016年3月から、ElasticsearchはDB-ENGINESのラン キングにて、検索エンジン中、最高位の評価を得ています。
  30. 30. 3-5. UberのElasticserchの事例 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 30
  31. 31. 3-6. Elasticsearchの特徴 1. Elasticsearchはスケーラブル、高信頼、容易な 管理を特徴とする分析エンジンである。 2. 全文検索の速度及び分析機能を持つ。 3. 高度なクエリ言語で、構造、非構造、時系列デー タの解析が可能となる。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 31
  32. 32. 3-7. スケーラブルな検索エンジン 1. Elasticsearchは簡単にスケールアウトできる。 ① 性能が不足、データの増加に、即時対応ができる。 2. クラスタが自動的に増えた分のハードウェアを活 用し、ノードがいくつあっても問題がない。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 32
  33. 33. 3-8. 全文検索の速度及び分析機能 1. 非常に検索が高速となっている。 ① 膨大なデータからの処理速度が簡単である。 2. 検索結果から簡単に分析を行うことができる。 ① 非常に高速なため、一部の分析を簡単に高速化できる。 ② 平均、分散を計算させ、かつ、スクリプトを組み合わせてそれ らを一度のクエリで計算できる。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 33
  34. 34. 3-9. 高度なクエリ言語 1. Elasticsearchは高度なクエリ言語を持っている。 2. JSONベースで記述し、様々なことが実現できる。 ① 例えば、平均値と分散の計算をJSONで表記でき、かつ、ス クリプトの記述によるカスタマイズが可能である。 3. REST APIでのやり取りが可能である。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 34
  35. 35. 3-10. 高度なクエリ言語 1. 右図のクエリは異常検知をする為の スコアを計算するクエリです。 内部にどれだけのロジックが 含められているでしょうか。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 35
  36. 36. 3-11. 高度なクエリ言語 1. 右図のクエリの中には次の処理が 含まれている。 ① データの取得 ② 取得期間の設定 ③ 一定間隔日付ごとにグルーピング ④ 平均値の計算 ⑤ 移動平均値の計算 ⑥ 平均と移動平均の差分 ⑦ ⑥の結果の90パーセンタイルの計算 ①② ③ ④ ⑤ ⑥ ⑦ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 36
  37. 37. 3-12. 本章のまとめ 1. ENdoSnipeのデータ管理をElasticsearchに切り替えま した。 ① データの多様化 ② データの大量化 2. Elasticsearchの利点としては次の3点ある。 ① スケーラビリティ ② 全文検索の速度とその分析機能 ③ 高度なクエリ言語 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 37
  38. 38. 相関分析によるKPI/KRIの影響範囲の 特定 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 38
  39. 39. 4-1. ENdoSnipeの分析で見たいもの 1. KPI/KRIの間の関係性を発見する。 ① 改善するのに必要な情報を得たい。 2. 関係性をひと目で確認したいが、難しい。 ① 膨大なデータがある。 ② 膨大な系列がある。 3. 分析を工夫して、KPI/KRIの関係性を見つけ出した。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 39
  40. 40. 4-2. 相関分析の説明 1. 2変数の関係性を見るための一つの指標が相関 分析である。 2. 一般的には相関が1の場合は正の相関、-1の場 合は負の相関がある。 ① 正の相関は一方の変数の値とともにもう一方の変数 の値も関連して上昇する関係 ② 負の相関は一方の変数の値とともにもう一方の変数 の値も関連して下降する関係 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 40
  41. 41. 4-3. 相関分析の説明 変数A 変数B 変数B 変数A 変数A 変数B Copyright © Acroquest Technology Co., Ltd. All rights reserved. 41
  42. 42. 4-3. 相関分析の説明 変数A 変数B 変数B 変数A 変数A 変数B 正の相関 負の相関 無相関 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 42
  43. 43. 4-4. 相関分析可視化全体像 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 43
  44. 44. 4-5. ENdoSnipe APMの相関分析 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 44
  45. 45. 4-5. ENdoSnipe APMの相関分析 系列 系列名 系列が画面内に収まらなく なっている Copyright © Acroquest Technology Co., Ltd. All rights reserved. 45
  46. 46. 4-6. 相関分析の問題点 1. ひと目で関係性を見つけることができない。 ① 数が多すぎて一画面に収まらず、描画すら難しい。 – APMの系列だけで900系列、UXMと合わせて2400程度 ② 仮に描画ができたとして人力で発見できるデータで はない。 2. 特定の変数間を探ることはできるが、その変数 と更に別の変数を見つけるのが難しい。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 46
  47. 47. 4-7. Graph 1. Graphはデータの関係性をKibanaで可視化する ためのPlugin(X-packのインストールが必要) 2. 関連性があるデータに対して非常に有効 ① 購買履歴等の推薦 ② IPアドレス等のつながり Copyright © Acroquest Technology Co., Ltd. All rights reserved. 47
  48. 48. 4-8. Kibanaとは 1. ElasticsearchにIndexされたデータについて簡 単に可視化することできる。 ① Elasticsearchとの親和性が高い。 2. データをわかりやすい形で簡単に表示できる。 3. セットアップが非常に簡単 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 48
  49. 49. 4-9. Kibanaによる可視化 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 49
  50. 50. 4-10. Graph Copyright © Acroquest Technology Co., Ltd. All rights reserved. 50 Kibanaの中にGraph機 能がある。(X-pack必要)
  51. 51. 4-11. Graphの説明 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 51 エッジ:つながり、太いほど、 強い関係性がある。 ノード:1つ1つの単語 色は属性 (おかし名、概要etc.)
  52. 52. 4-12. Graphの工夫ポイント 1. Graphは数値データをエッジにできない。 ① 数値を頻度回数に変換して描画した。 2. 相関は負の値と正の値がある。 ① 「1」を解消する際に絶対値でしか表現できなかった ので工夫ができない。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 52
  53. 53. 4-13. エッジの表現について 1. エッジの関連性(スコア)の計算には2種類の 方法がある。 ① 単純な要素の出現頻度を計算する。 ② 一定のスコアリングを用いた重要度スコアの計算 (=Significant terms Aggregation)をする。 2. 今回の相関分析では①を利用する。 3. 因みに、Significant terms aggregationを使ったスコア の計算もでき、文書データでやると面白い。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 53
  54. 54. 4-14. Graph機能の工夫 1. 数値表現を頻度表現に変化する前処理を行った。 ① 例えば、0.8の数値を0.2の区切りで頻度として表現 する。 0.8であれば、エッジとして4つ表現する。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 54
  55. 55. 4-15. Graphの工夫 項目A 項目B 相関値 cpu usage memory usage 0.8 cpu usage disk io -0.2 項目A 項目 相関値 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage disk io -0.2 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 55
  56. 56. 4-16. Graphの工夫 項目A 項目B 相関値 cpu usage memory usage 0.8 cpu usage disk io -0.2 項目A 項目 相関値 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage disk io -0.2 同じデータを4つ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 56
  57. 57. 4-17. 表現において問題が出てくる 1. 方向が表現できない。 ① 頻度表現のため正と負の表現を行うことができない。 2. 現状はElasticsearchのIndexを別々して回避し ている。 ① 正は正、負は負の関係性を別々に見ることができる。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 57
  58. 58. 4-18. 投入先の工夫(正負の相関) 項目A 項目 相関値 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage memory usage 0.8 cpu usage disk io -0.2 負の相関 正の相関 正・負別々のIndexに入れる。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 58
  59. 59. 4-19. APM SQLと他のAPIの処理 時間に正の相関がある。 SQLが改善すると、API の処理時間が短くなる可 能性がある。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 59 SQLと他のAPIの処理 時間に正の相関がある。 SQLが改善すると、API の処理時間が短くなる 可能性がある。 (複数のボトルネックを 確認することができ る。)
  60. 60. 4-20. APM ファイルの読み込みとCPU使 用率の関係性がある。 ファイル読み込み処理がCPU に負荷をかけて重い可能性が ある。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 60
  61. 61. 4-21. APM Copyright © Acroquest Technology Co., Ltd. All rights reserved. 61 APIとSQL実行時間に関係性が ある。SQLの実行時間の改善が APIの改善につながる可能性が ある。 APIとAPIの間に 関係性がある。 たどると共通の 原因を発見でき る可能性がある。
  62. 62. 4-23. UXM Copyright © Acroquest Technology Co., Ltd. All rights reserved. 62 平均アクセス回数とサイトからの 離脱率に関係性がある。ただペ ージに飛んだが、離脱する人が 増える傾向な可能性がある。
  63. 63. 4-24. APM + UXM 離脱率とAPIのレスポンスとの相 関が高い。当該APIを改善すると 離脱率が低くなる可能性がある。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 63 APIがお互いに関係し ている。お互いが呼び 出しているコードに問題 があるかもしれない。
  64. 64. 4-25. Graphを用いた相関分析のメリット 1. 可視化が容易である。 ① マトリクス表記するよりも可視化が簡単である。 ② 必要に応じてノードを追加できるのでシンプルに可 視化ができる。 2. Graphでの可視化で探索的に広げられる。 ① 関係性のその先の関連を見ることができる。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 64
  65. 65. 4-26. ENdoSnipeの相関分析表現① Copyright © Acroquest Technology Co., Ltd. All rights reserved. 65 正の相関のGraph 負の相関のGraph 相関が強いKPIを結ぶ線 を太く表示されます。 コンバージョン率と強い相関 がB-レスポンス時間にありま す。 B-レスポンス時間を改善す れば、コンバージョン率が上が ることが分かります。
  66. 66. 4-27. ENdoSnipeの相関分析表現② 正の相関が高い変数ラ ンキング 着目するポイントを探す ことができる。 負の相関が高い変数 ランキング 負の相関の一覧表 正の相関の一覧表、実 際にはどのような値かを 見ることができる。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 66
  67. 67. 4-28. 本分析のまとめ 1. 相関分析を使い関連性を分析したがヒートマップの可 視化が見づらい、検索しづらい問題点があった。 2. Graph機能を工夫して使って可視化することで関係性 を見出すことができた。 3. 売上と関係ある「離脱率」と関係のあるAPMのパラメー タを検知することができた。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 67
  68. 68. 最後に Copyright © Acroquest Technology Co., Ltd. All rights reserved. 68
  69. 69. 5-1. 最後に システム効率化や分析したい方は ENdoSnipeを構築してください。 Elasticsearchをやりたい人はぜひ、 Acroquestへ応募をお願いします・ ENdoSnipeを構築したい人はぜひ、 Acroquestへお問い合わせください。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 69
  70. 70. 6. Elastic使いを募集してます! 70 当社は国内最大の30名を超えるElastic使いが在籍してお り、国籍問わずスタッフの募集をしております。 ぜひ興味がある方はご連絡ください。 https://www.wantedly.com/companies/acroque st/projects Elastic勉強会での発表や、 JJUGセミナーでの登壇 Elastic Technical Workshopも 開催しております。 一緒にElasticを盛り上げましょう! 本日B11で講演し ていました。
  71. 71. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 71 ご清聴、有難うございました。 アンケートご協力お願いします。 Infrastructures Evolution

×