[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ by Acroquest Technology株式会社樋口慎

ビッグデータを高速に検索処理する「Elasticsearch」
～新プラグイン「Graph」を用いた販売データの関連分析～
2016/10/04
Acroquest Technology 株式会社
樋口慎
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1

Copyright © Acroquest Technology Co., Ltd. All rights reserved.
自己紹介
樋口慎 (Acroquest Technology 株式会社)
情報学専攻• (情報検索、自然言語処理)
Elastic• テクニカルワークショップ講師
JJUG CCC(• 2016 spring, 2016 fall)
elasticsearch• 勉強会など
Elasticテクニカルワークショップ(https://info.elastic.co/japan-technical-workshop.html)
JJUG CCC (http://www.java-users.jp/?page_id=2377)
Data Analytics Showcase (http://www.db-tech-showcase.com/data-analytics-showcase)
Twitter : @shin0higuchi
2

アウトライン
1. はじめに
2. Elasticsearchとは
3. 可視化ツールKibana
4. Graphを用いたデータ分析
5. まとめ
3

1.はじめに (Acroquest紹介)
IoTプラットホーム
「Torrentio」集中監視制御システム開発
Elasticsearchをベースにした
データ分析基盤「ENdoSnipe」
Elasticsearch構築/コンサルティングサービス
4
A15 15:00～

1.はじめに
概要
1. 全文検索エンジン「elasticsearch」の概要
および活用事例の紹介
2. Graphプラグインを使った販売データの関連分析
5

2.Elasticsearchとは
http://db-engines.com/en/ranking_trend/search+engine
 2016年3月から現在まで、DB-ENGINESのランキングに
て、検索エンジン中、最高位の評価を得ています。
(今、最も注目されている検索エンジン)
6

2. Elasticsearchとは (事例：Uber)
7

2. Elasticsearchとは (事例：US Geological Survey)
 US Geological Survey (USGS)では、マイクロブログサービスのテ
キストデータを地震の検出や被害の把握に役立てています。
9
以前(青線)はRDBMSにデータを蓄積
して処理していましたが、データ量の増
大に対応できなかったため、現在(緑線
)では、Elasticsearchにデータを投入
し、Kibanaで可視化して分析していま
す。
時系列分析も位置情報分析も
Elasticsearchはネイティブで対応して
おり、規模、柔軟性ともに、RDBMSを
凌駕します。
Twitterのようなマイクロブログサ
ービスをデータソースとすることで
、センサーの配備していない場所
からも、広くデータが収集できるよ
うになり、分析の範囲や精度を向
上させることが出来ています。
画像データも収集すること
で、それぞれの個所での
被害情報の把握にも役立
てています。

10
2. Elasticsearchとは (事例：その他)

11

12

13
経営情報
可視化
2. Elasticsearchとは (ユースケース
)

2. Elasticsearchとは (自社事例：星野リゾート)
14

15

16

17

Elasticsearch◆ の特徴
ドキュメント① 指向の検索エンジン
JSON② ベースのデータ構造
柔軟‣ なデータ構造での保存が可能
スキーマを‣ 厳密に定義する必要がない
index‣ という単位で検索などを行う
スケーリングが③ 容易
分散‣ を考慮した設計になっているため簡単にスケーリング
できる
18

Elastic Stack
elasticserachの周辺ツールもオープンソース
製品として提供されている。
①logstash：データの収集・加工・転送を行う
②kibana：elasticserach内のデータを可視化する
19

20

データ分析に用いる際のメリット
① データ分析に活用するための周辺プロダクトが充実している
(ex. logstash , kibana , beats)
② ログデータのような非構造化データも分析して可視化するこ
とができる
③ 高速かつリアルタイムな分析が実現できる
21

3. 可視化ツール「Kibana
」
Kibanaの特徴
① Elasticsearchに蓄積されたデータを可視化するためのプロダクト
② 様々な種類の表やグラフが用意されている
22

4. Graphとは
◆ Graphとは
①データ間の関連をKibana上で可視化することので
きるプラグイン
②関連度の大きさがエッジの太さで表現される
特徴のある関連のみ絞って表示できる。
※Graphの利用には別途X-Packのインストールが必要
(https://www.elastic.co/jp/downloads/x-pack)
23

4. 分析データ概要
◆分析するデータの概要
‣ コンビニエンスストアのお菓子に関する販売データ
① 商品名(pname)
② 性別・年齢層(segment)
ex. 「w20_49」 → 「20歳〜49歳の女性」
③ 商品の説明書き(token)
24

25

26

4. 分析データ概要（segment別のデータ割合）
27

4. 分析データ概要（商品数）
28

4. Graphの使い方
29
Graph
◆Kibanaにアクセスし、Graphを選択する

30
index pattern
field(s)
query
◆index patternやfieldを設定する

31
segment
クリックする
指定◆ したフィールドのノードが表示される
segment

32
segment
fieldを追加できる
◆指定したフィールドのノードが表示される
pname

DEMO
36

5. まとめ
Elasticsearch1. のGraphプラグインを用いることでデータの関連の分
析を行うことができた。
➡探したい情報をインタラクティブに可視化できるのが大きなメリッ
トの一つ。
Graph2. で得られた知見や仮説は、他のvisualizationを使って深掘り
するということも可能
37

6. おまけ
38
‣Graph以外の機能も充実している

We're hiring!
39
当社は国内最大の30名を超えるElastic使いが在籍しており
、国籍問わずスタッフの募集をしております。
ぜひ興味がある方はご連絡ください。
https://www.wantedly.com/companies/acroque
st/projects
Elastic勉強会での発表や、
JJUGセミナーでの登壇
Elastic Technical Workshopも
開催しております。
一緒にElasticを盛り上げましょう！

40
ご清聴、有難うございました。
アンケートのご回答をよろしくお願い致します
Infrastructures Evolution

[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ by Acroquest Technology株式会社樋口慎

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to [data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ by Acroquest Technology株式会社樋口慎

Similar to [data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ by Acroquest Technology株式会社樋口慎 (20)

More from Insight Technology, Inc.

More from Insight Technology, Inc. (20)

Recently uploaded

Recently uploaded (15)