Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ビッグデータを高速に検索処理する「Elasticsearch」
~新プラグイン「Graph」を用いた販売データの関連分析~
2016/10/04
Acroquest Technology 株式会社
樋口 慎
Copyright © Acroqu...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
自己紹介
樋口 慎 (Acroquest Technology 株式会社)
情報学専攻• (情報検索、自然言語処理)...
アウトライン
1. はじめに
2. Elasticsearchとは
3. 可視化ツールKibana
4. Graphを用いたデータ分析
5. まとめ
3
Copyright © Acroquest Technology Co., Ltd. Al...
1.はじめに (Acroquest紹介)
IoTプラットホーム
「Torrentio」集中監視制御システム開発
Elasticsearchをベースにした
データ分析基盤「ENdoSnipe」
Elasticsearch構築/コンサルティングサー...
1.はじめに
概要
1. 全文検索エンジン「elasticsearch」の概要
および活用事例の紹介
2. Graphプラグインを使った販売データの関連分析
5
Copyright © Acroquest Technology Co., Lt...
2.Elasticsearchとは
http://db-engines.com/en/ranking_trend/search+engine
 2016年3月から現在まで、DB-ENGINESのランキングに
て、検索エンジン中、最高位の評価を...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
2. Elasticsearchとは (事例:Uber)
7
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
2. Elasticsearchとは (事例:US Geological Survey)
 US Geologic...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10
2. Elasticsearchとは (事例:その他)
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11
2. Elasticsearchとは (事例:その他)
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12
2. Elasticsearchとは (事例:その他)
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13
経営情報
可視化
2. Elasticsearchとは (ユースケース
)
2. Elasticsearchとは (自社事例:星野リゾート)
14
2. Elasticsearchとは (自社事例:星野リゾート)
15
2. Elasticsearchとは (自社事例:星野リゾート)
16
2. Elasticsearchとは (自社事例:星野リゾート)
17
2. Elasticsearchとは
Elasticsearch◆ の特徴
ドキュメント① 指向の検索エンジン
JSON② ベースのデータ構造
柔軟‣ なデータ構造での保存が可能
スキーマを‣ 厳密に定義する必要がない
index‣ という単位...
2. Elasticsearchとは
Elastic Stack
elasticserachの周辺ツールもオープンソース
製品として提供されている。
①logstash:データの収集・加工・転送を行う
②kibana:elasticsera...
2. Elasticsearchとは
20
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
データ分析に用いる際のメリット
① データ分析に活用するための周辺プロダクトが充実している
(ex. logstash , kibana , beats)
② ログデータのような非構造化データも分析して可視化するこ
とができる
③ 高速かつリ...
3. 可視化ツール「Kibana
」
Kibanaの特徴
① Elasticsearchに蓄積されたデータを可視化するためのプロダクト
② 様々な種類の表やグラフが用意されている
22
Copyright © Acroquest Techno...
4. Graphとは
◆ Graphとは
①データ間の関連をKibana上で可視化することので
きるプラグイン
②関連度の大きさがエッジの太さで表現される
特徴のある関連のみ絞って表示できる。
※Graphの利用には別途X-Packのインストー...
4. 分析データ概要
◆分析するデータの概要
‣ コンビニエンスストアのお菓子に関する販売データ
① 商品名(pname)
② 性別・年齢層(segment)
ex. 「w20_49」 → 「20歳〜49歳の女性」
③ 商品の説明書き(toke...
4. 分析データ概要
25
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4. 分析データ概要
26
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4. 分析データ概要(segment別のデータ割合)
27
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4. 分析データ概要(商品数)
28
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4. Graphの使い方
29
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
Graph
◆Kibanaにアクセスし、Graphを選択する
4. Graphの使い方
30
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
index pattern
field(s)
query
◆index patter...
4. Graphの使い方
31
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
segment
クリックする
指定◆ したフィールドのノードが表示される
segme...
4. Graphの使い方
32
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
segment
fieldを追加できる
◆指定したフィールドのノードが表示される
p...
33
34
35
DEMO
36
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5. まとめ
Elasticsearch1. のGraphプラグインを用いることでデータの関連の分
析を行うことができた。
➡探したい情報をインタラクティブに可視化できるのが大きなメリッ
トの一つ。
Graph2. で得られた知見や仮説は、他の...
6. おまけ
38
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
‣Graph以外の機能も充実している
We're hiring!
39
当社は国内最大の30名を超えるElastic使いが在籍しており
、国籍問わずスタッフの募集をしております。
ぜひ興味がある方はご連絡ください。
https://www.wantedly.com/companie...
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
40
ご清聴、有難うございました。
アンケートのご回答をよろしくお願い致します
Infrastructures Ev...
Upcoming SlideShare
Loading in …5
×

[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」を用いた販売データの関連分析~ by Acroquest Technology株式会社 樋口 慎

4,040 views

Published on

ビッグデータを高速に検索処理できる全文検索エンジン「Elasticsearch」。近年ではデータ分析プラットフォームとしての活用が注目を集めています。本セッションではデータ分析の観点から、Elasticsearchについての簡単な紹介と、特徴や利用のコツ、そして事例紹介を行います。また、ElasticsearchのプラグインであるGraphを用いて、実際に販売データを分析して得られた知見を、Graphの使い方や分析方法と共にお話しします。

Published in: Technology

[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」を用いた販売データの関連分析~ by Acroquest Technology株式会社 樋口 慎

  1. 1. ビッグデータを高速に検索処理する「Elasticsearch」 ~新プラグイン「Graph」を用いた販売データの関連分析~ 2016/10/04 Acroquest Technology 株式会社 樋口 慎 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1
  2. 2. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 自己紹介 樋口 慎 (Acroquest Technology 株式会社) 情報学専攻• (情報検索、自然言語処理) Elastic• テクニカルワークショップ講師 JJUG CCC(• 2016 spring, 2016 fall) elasticsearch• 勉強会 など Elasticテクニカルワークショップ(https://info.elastic.co/japan-technical-workshop.html) JJUG CCC (http://www.java-users.jp/?page_id=2377) Data Analytics Showcase (http://www.db-tech-showcase.com/data-analytics-showcase) Twitter : @shin0higuchi 2
  3. 3. アウトライン 1. はじめに 2. Elasticsearchとは 3. 可視化ツールKibana 4. Graphを用いたデータ分析 5. まとめ 3 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  4. 4. 1.はじめに (Acroquest紹介) IoTプラットホーム 「Torrentio」集中監視制御システム開発 Elasticsearchをベースにした データ分析基盤「ENdoSnipe」 Elasticsearch構築/コンサルティングサービス 4 Copyright © Acroquest Technology Co., Ltd. All rights reserved. A15 15:00~
  5. 5. 1.はじめに 概要 1. 全文検索エンジン「elasticsearch」の概要 および活用事例の紹介 2. Graphプラグインを使った販売データの関連分析 5 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  6. 6. 2.Elasticsearchとは http://db-engines.com/en/ranking_trend/search+engine  2016年3月から現在まで、DB-ENGINESのランキングに て、検索エンジン中、最高位の評価を得ています。 (今、最も注目されている検索エンジン) 6 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  7. 7. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2. Elasticsearchとは (事例:Uber) 7
  8. 8. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2. Elasticsearchとは (事例:US Geological Survey)  US Geological Survey (USGS)では、マイクロブログサービスのテ キストデータを地震の検出や被害の把握に役立てています。 9 以前(青線)はRDBMSにデータを蓄積 して処理していましたが、データ量の増 大に対応できなかったため、現在(緑線 )では、Elasticsearchにデータを投入 し、Kibanaで可視化して分析していま す。 時系列分析も位置情報分析も Elasticsearchはネイティブで対応して おり、規模、柔軟性ともに、RDBMSを 凌駕します。 Twitterのようなマイクロブログサ ービスをデータソースとすることで 、センサーの配備していない場所 からも、広くデータが収集できるよ うになり、分析の範囲や精度を向 上させることが出来ています。 画像データも収集すること で、それぞれの個所での 被害情報の把握にも役立 てています。
  9. 9. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 2. Elasticsearchとは (事例:その他)
  10. 10. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 2. Elasticsearchとは (事例:その他)
  11. 11. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 2. Elasticsearchとは (事例:その他)
  12. 12. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 経営情報 可視化 2. Elasticsearchとは (ユースケース )
  13. 13. 2. Elasticsearchとは (自社事例:星野リゾート) 14
  14. 14. 2. Elasticsearchとは (自社事例:星野リゾート) 15
  15. 15. 2. Elasticsearchとは (自社事例:星野リゾート) 16
  16. 16. 2. Elasticsearchとは (自社事例:星野リゾート) 17
  17. 17. 2. Elasticsearchとは Elasticsearch◆ の特徴 ドキュメント① 指向の検索エンジン JSON② ベースのデータ構造 柔軟‣ なデータ構造での保存が可能 スキーマを‣ 厳密に定義する必要がない index‣ という単位で検索などを行う スケーリングが③ 容易 分散‣ を考慮した設計になっているため簡単にスケーリング できる 18 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  18. 18. 2. Elasticsearchとは Elastic Stack elasticserachの周辺ツールもオープンソース 製品として提供されている。 ①logstash:データの収集・加工・転送を行う ②kibana:elasticserach内のデータを可視化する 19 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  19. 19. 2. Elasticsearchとは 20 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  20. 20. データ分析に用いる際のメリット ① データ分析に活用するための周辺プロダクトが充実している (ex. logstash , kibana , beats) ② ログデータのような非構造化データも分析して可視化するこ とができる ③ 高速かつリアルタイムな分析が実現できる 21 2. Elasticsearchとは Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  21. 21. 3. 可視化ツール「Kibana 」 Kibanaの特徴 ① Elasticsearchに蓄積されたデータを可視化するためのプロダクト ② 様々な種類の表やグラフが用意されている 22 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  22. 22. 4. Graphとは ◆ Graphとは ①データ間の関連をKibana上で可視化することので きるプラグイン ②関連度の大きさがエッジの太さで表現される 特徴のある関連のみ絞って表示できる。 ※Graphの利用には別途X-Packのインストールが必要 (https://www.elastic.co/jp/downloads/x-pack) 23 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  23. 23. 4. 分析データ概要 ◆分析するデータの概要 ‣ コンビニエンスストアのお菓子に関する販売データ ① 商品名(pname) ② 性別・年齢層(segment) ex. 「w20_49」 → 「20歳〜49歳の女性」 ③ 商品の説明書き(token) 24 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  24. 24. 4. 分析データ概要 25 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  25. 25. 4. 分析データ概要 26 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  26. 26. 4. 分析データ概要(segment別のデータ割合) 27 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  27. 27. 4. 分析データ概要(商品数) 28 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  28. 28. 4. Graphの使い方 29 Copyright © Acroquest Technology Co., Ltd. All rights reserved. Graph ◆Kibanaにアクセスし、Graphを選択する
  29. 29. 4. Graphの使い方 30 Copyright © Acroquest Technology Co., Ltd. All rights reserved. index pattern field(s) query ◆index patternやfieldを設定する
  30. 30. 4. Graphの使い方 31 Copyright © Acroquest Technology Co., Ltd. All rights reserved. segment クリックする 指定◆ したフィールドのノードが表示される segment
  31. 31. 4. Graphの使い方 32 Copyright © Acroquest Technology Co., Ltd. All rights reserved. segment fieldを追加できる ◆指定したフィールドのノードが表示される pname
  32. 32. 33
  33. 33. 34
  34. 34. 35
  35. 35. DEMO 36 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  36. 36. 5. まとめ Elasticsearch1. のGraphプラグインを用いることでデータの関連の分 析を行うことができた。 ➡探したい情報をインタラクティブに可視化できるのが大きなメリッ トの一つ。 Graph2. で得られた知見や仮説は、他のvisualizationを使って深掘り するということも可能 37 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  37. 37. 6. おまけ 38 Copyright © Acroquest Technology Co., Ltd. All rights reserved. ‣Graph以外の機能も充実している
  38. 38. We're hiring! 39 当社は国内最大の30名を超えるElastic使いが在籍しており 、国籍問わずスタッフの募集をしております。 ぜひ興味がある方はご連絡ください。 https://www.wantedly.com/companies/acroque st/projects Elastic勉強会での発表や、 JJUGセミナーでの登壇 Elastic Technical Workshopも 開催しております。 一緒にElasticを盛り上げましょう!
  39. 39. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 40 ご清聴、有難うございました。 アンケートのご回答をよろしくお願い致します Infrastructures Evolution

×