Download as PDF, PPTX
Uploaded byJunya Suzuki
決済サービスの監視を支えるElastic Stack
Elastic{ON} TOUR Tokyo 2017 ユーザ事例紹介 発表資料 "膨大な取引データ、サービス提供状態の可視化やElastic Machine Learningによる異常検知の仕組化など年間取扱額2兆円を超える決済システムを支えるElastic活用事例をお話しします。 またシステムリソース以外のビジネスデータの可視化についても取り上げます。" Elasticsearch elasticsearch elastic elasticon
![[Cloud OnAir] Cloud Run & Firestore で、実践アジャイル開発 2020年6月25日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0625-200625094921-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AC05] マイクロサービスは分割がキモ！基幹システムのためのドメイン駆動設計](https://cdn.slidesharecdn.com/ss_thumbnails/ac05-170602093650-thumbnail.jpg?width=640&height=640&fit=bounds)
![[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長](https://cdn.slidesharecdn.com/ss_thumbnails/tittle-natgw-180403063018-thumbnail.jpg?width=640&height=640&fit=bounds)
決済サービスの監視を支えるElastic Stack
- 1.
- 2. 2 自己紹介 ソフトバンク・ペイメント・サービス株式会社に在籍 鈴木順也 ( @suzukij) Java,Webシステムなプログラマ Elasticsearch + Kibana は可視化目的で2年ほど 主な業務 • 新規サービスの開発 • 運用の改善 • 業務の効率化
- 3. 3 ソフトバンクグループの決済分野における中核事業会社です 会社紹介 – ソフトバンク・ペイメント・サービス SoftBankGroup 決済・金融 インターネット コンテンツ その他 海外投資 通信
- 4.
- 5.
- 6. 6 オンライン決済サービスの監視 • サービス状況を可視化してみた話 • MachineLearningを導入してみた話 1 今日お話しすること ビジネスデータの可視化 • 営業部門の実績やHP閲覧状況を可視化してみた話 2
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. 12 加盟店 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 チケット サービスの規模感 ECサイト向けに様々な決済手段を提供 加盟店に決済画面や決済APIを提供するシステム 決済手段 クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 年間実績 取扱高 2兆1,949億円 トランザクション件数 2億4,000万 件 ※2016年度 決済サービス 全て一本化 画面リンク型 API型 当社当社
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24. 24 決済サービスの監視ダッシュボード 決済手段ごとにエリアグラフを配置 グラフはシンプルに Green： 決済トランザクション OK Red：決済トランザクション NG クレジットカード クレジットカード 3Dセキュア 携帯キャリアB決済携帯キャリアA決済 携帯キャリアC決済 アカウント連携決済 クレジットカード与信
- 25. 25 決済サービスの監視ダッシュボード クレジットカード クレジットカード 3Dセキュア 携帯キャリアB決済携帯キャリアA決済携帯キャリアC決済 アカウント連携決済 クレジットカード与信 確認したいこと ✔ 各決済手段ごと ✔ OK / NGの比率 ✔ 時系列の推移
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34. 34 顧客コード カード番号ハッシュ値 結果別 加盟店別 エラーコード別 エラーコードの確認 ・カード番号 誤り ・有効期限誤り ・取扱不可 クレジットカード与信（不正与信）
- 35.
- 36.
- 37. 37 職場のモニターにダッシュボードを常時表示 “なんとなく” で見れる状態 • 思わぬ気付きを得る ‒障害、不正利用 • 周囲の関心を引く ‒ 他チームへの展開 ※v6.0 からフルスクリーンモード
- 38.
- 39.
- 40. 40 誰でも いつでも どこでも サービスの状況を把握できるように •障害以外でも加盟店の変化に気付くように（爆売れ、不正利用） • 決済トランザクションデータへの関心が高まった 取り組みの効果
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49. 49 ジョブ作成 決済トランザクション数 Multi MetricJob Fields 決済OK数、NG数の合計を 対象に設定
- 50. 50 ジョブ作成 決済トランザクション数 Multi MetricJob Split Data 決済方法で分割
- 51. 51 ジョブ作成 決済トランザクション数 Multi MetricJob Key Fields インフルエンサーとして 加盟店や商品名を設定 異常の要因となった値を表示してくれる
- 52. 52 ジョブ作成 決済トランザクション数 Multi MetricJob ジョブ作成はこれだけ かんたん
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61. 61 検知結果の通知 X-Pack の Watcherを使用して Slack へ通知 Slack Bot（アラートをトリガー） MLダッシュボード画像をPOST
- 62. 62 Machine Learning を使用してみて かんたんに使えるの？ •簡単なジョブ登録（異常検知に特化、教師なし機械学習） • Kibanaで可視化しているデータならすぐに導入可能 ちゃんと検知してくれるの？ • 障害時にはほぼ検知 • 可視化しても人間では見つけられない埋蔵した異常を検知 1 2
- 63. 63 気付き① 母数の少ない決済手段や加盟店の場合、1人のユーザが数 回エラーを起こすだけで異常検知されてしまう。 typial: 0.0425519 actual:5 ↑More than 100x higher 検知される回数はそれほど多くないため その都度問題がないことを確認する運用
- 64.
- 65. 65 気付き③ Alert通知用 Watcher JSONの設定が難しい つらい アップデート毎に改善 V6.0からGUIで設定可能
- 66.
- 67. 67 X-pack Notification X-pack Database Web API Machine Learning LogstashElasticsearch Kibana Watcher Master Data オンライン決済サービス Elastic Stack構成
- 68. 68 X-pack Notification X-pack Database Web API Machine Learning LogstashElasticsearch Kibana Watcher Master Data オンライン決済サービス Elastic Stack構成 一般的なよくある構成 DataノードとMLノードを分けている点
- 69.
- 70.
- 71.
- 72. 72 ダッシュボード（営業部門 目標達成率 –2年分） ヒートマップ 縦軸に人の名前 1マスが月ごとの目標達成率を示す
- 73. 73 ダッシュボード（加盟店契約 獲得状況 –年間） リージョンマップ 加盟店所在地を都道府県別にカウント
- 74.
- 75.
- 76. 76 データの取り込み 誰でもデータ登録できるようにクライアントツールを作成 ‒ Excelファイルをクライアントツールにドラッグ&ドロップするだけでデータ登録 ‒ クライアントツールはJavaFXで作成 ‒Elasticsearchから提供されているClientライブラリを使ってBulk登録 Excelファイルの 1 sheet を 1 index として登録
- 77. 77 効果 • Kibanaの表現力、簡単な操作で より詳細な分析が可能に •Excelでは扱えない大きなデータも可視化、share機能で共有可能に • 非エンジニアがデータの投入からダッシュボードの作成までできるように
- 78.
- 79. 79 本日のまとめ • 決済サービスの状況をほぼリアルタイムで可視化 ‒ 誰でもいつでもどこでもサービス状況を把握、俯瞰できるように ‒既存データの活用、データの価値が高まった • Machine Learningで決済トランザクションの異常検知 ‒ 可視化だけでは埋蔵してしまう変化を新たに発見 ‒ MLが有益な機能であることを確認 ‒ 決済サービスの不正利用検知 ‒ 脱しきい値 • 可視化をビジネスデータに広げる ‒ Kibanaの表現力とかんたんな操作で様々な角度で分析 ‒ Excelでは扱えない大きなデータも可視化、共有可能 ‒ 非エンジニアがデータの投入からダッシュボードの作成まで
- 80.
- 81.
- 82.
- 83.
- 84.