Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Japan elasticusergroup01 Acroquest

1,271 views

Published on

2018/06/19に開催されたJapan Elastic User Group第1会で発表した「Elastic Stack Ver.6.3の紹介」です。

Published in: Technology
  • Be the first to comment

Japan elasticusergroup01 Acroquest

  1. 1. Elastic Stack Ver.6.3の紹介 2018/06/19 Acroquest Technology 株式会社 吉岡 洋 Copyright © Acroquest Technology Co., Ltd. All rights reserved. Japan Elastic User Group 第1回
  2. 2. 自己紹介  名前:吉岡 洋(よしおかひろし)  所属:Acroquest Technology株式会社 (データアナリティクスエンジニア)  領域:ビッグデータ分析/可視化  その他: ─Microsoft MVP for Powershell(2006~2010) ─「Windows PowerShell宣言!」(2007) ─IBM Certified Specialist IBM SPSS Modeler Professional(2014~) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2
  3. 3. Acroquest Technology株式会社 1.新横浜にあるITベンチャー 2.事業(データ活用ビジネス) ①Elastic Stack活用支援サービス – 日本唯一のElastic OEMパートナ ②IoTデータ分析プラットフォーム ③機械学習/AI Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3
  4. 4. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4 本日のテーマ Elastic Stack Ver.6.3の紹介
  5. 5. More Use Cases Ver.6.3の新機能を3つのカテゴリーで紹介 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 Easier to Use More Efficiency より多くの人に 使いやすく 1 2 3 ユースケースを 拡大する新機能 より効率的な 開発/運用
  6. 6. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 6 1. Easier to use
  7. 7. 1. Easier to use~より多くの人に使いやすく~ 1. X-Pack ① X-Packのソースコード公開 1. Elasticsearch ① ElasticsearchへのSQLアクセスが可能に ② SQLからクエリを生成する「SQL Translate API」 2. Kibana ① KibanaからIndexの一括管理が実行可能に Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7
  8. 8. 1. Easier to use X-Packのソースコード公開 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8
  9. 9. 1. Easier to use X-Packのソースコード公開 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9
  10. 10. 1. Easier to use X-Packのソースコード公開 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10
  11. 11. 1. Easier to use ElasticsearchへのSQLアクセスが可能に Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11
  12. 12. 1. Easier to use ElasticsearchへのSQLアクセスが可能に 例) POST /_xpack/sql?format=txt { "query": "SELECT * FROM tweets" } Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 ※format=txt/csv/json/yaml(デフォルト:json)
  13. 13. 1. Easier to use SQLからクエリを生成する「SQL Translate API」 例) POST /_xpack/sql/translate { "query": "SELECT * FROM tweets where user='yoshioka'" } Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 複雑なクエリを書く前に、SQL Translate APIで 叩き台を生成するという使い方も可能。
  14. 14. 1. Easier to use KibanaからIndexの一括管理が実行可能に Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 1. Elasticsearchでは運用業務の1つとして、 Indexのライフサイクル管理を行う必要がある ※これまではCUI(DevTools)から実行 ① IndexのOpen/Close ② Hot/Warm Nodeへのデータ移動など 2. Ver.6.3からはKibana UIからIndexを一括管理可能 Active Read Only ClosedSnapshot Delete
  15. 15. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 2. More Use Cases
  16. 16. 2. More Efficiency~活用ユースケースの拡大~ 1. Kibana ① Vegaによる可視化表現の拡大 – 例)相関分析、関連の可視化、グラフ間連動、売上分析 ② Dashboardの機能強化 – Dashboardのレイアウトグリッドの改良 – TimePickerのカスタマイズ – 入力コントロールの連動機能 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16
  17. 17. 2. More Use Cases Vegaによる可視化表現の拡大 1. Vegaとは ① インタラクティブな可視化表現を作成するための宣言型Web言語 2. できること ① データのロード/変換 – Elasticsearch/JSONファイル/CSVファイル ② 様々なインタラクティブな可視化表現の描画 ③ 作成した可視化表現はVisualizeとして保存できる。 Dashboardへの配置も可能 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17
  18. 18. 2. More Use Cases Vegaによる可視化表現の拡大 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 Vega Example
  19. 19. 2. More Use Cases Vegaによる可視化表現の拡大 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19 Vega Example
  20. 20. 2. More Use Cases Vegaによる可視化表現の拡大 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 Vega Example
  21. 21. 2. More Use Cases Vegaによる可視化表現の拡大 1. 相関分析マトリクスの例 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21
  22. 22. 2. More Use Cases Vegaによる可視化表現の拡大 1. 関連性の可視化の例 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 22
  23. 23. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 23 3. More Efficiency
  24. 24. 3. More Efficiency~より効率的な開発/運用~ 1. Elasticsearch ① Rollup API(利用ディスクサイズの削減) ② Painless Exeution API(Painlessデバッグ環境) 1. Kibana ① クエリバーのオートコンプリート ② SavedObject APIの導入 ③ X-Pack APIのオートコンプリート Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24
  25. 25. 3. More Efficiency Rollup API(利用ディスクサイズの削減) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 25 ロギングデータ/メトリクスデータのアグリゲーションで必要なデータを 保持しつつデータサイズを 小さくするのに有効 Rollup機能は、データを定期的にアグリゲートするジョブを実行して、 結果をElasticsearchのIndexとして保存する事が可能 ElasticsearchのIndexとして保存して、 そのままKibanaで表示も可能 例えば、Webサーバのアクセス数や 転送データ量などをアグリゲートする 事が想定されるユースケース
  26. 26. 3. More Efficiency Rollup API(利用ディスクサイズの削減) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26 Metricbeatの例 900万ドキュメント 3GB 1万4千ドキュメント 27MB 基本設定 グループ メトリクス
  27. 27. 3. More Efficiency クエリバーのオートコンプリート Copyright © Acroquest Technology Co., Ltd. All rights reserved. 27
  28. 28. 3. More Efficiency Painless Exeution API(Painlessデバッグ環境) 1. Elasticsearchでは様々な機能でスクリプトをサポート 1. 6.3.x以前では、スクリプト(Painless)の開発/デバッ グ環境がなく、生産性が低かった。 1. Painless Exeution APIを利用すると、Painlessスクリ プトのシミュレーションが可能。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 28
  29. 29. 3. More Efficiency Painless Exeution API(Painlessデバッグ環境) 例) POST /_scripts/painless/_execute { "script": { "source": "params.count / params.total", "params": { "count": 100.0, "total": 1000.0 } } } Copyright © Acroquest Technology Co., Ltd. All rights reserved. 29
  30. 30. 3. More Efficiency SavedObject APIの導入 1. SavedObject(以下)のCRUD API。 細かな環境バックアップ/データ移行が可能になる。 ① Visualization ② Dashboard ③ Index Pattern – フィールドのフォーマット、Scripted Field含む <過去のVersion> 2. ①②はUIからしかExport/Import不可 3. ③はUIからExport不可 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 30
  31. 31. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 31 Infrastructures Evolution ご清聴ありがとうございました。 さらに詳しい話については 本日の交流会でお話しましょう!

×