各種新機能と、今後のリリース予定をデモとプレゼンテーションでご紹介します。Elasticsearchのクラスター横断レプリケーションやフローズンインデックスやKibana Spaces、さらに充実したBeatsやLogstashでのデータ統合などについて取り上げます。

1. Miki Matsumoto
Principal Consulting Architect, Services Delivery
Jun 10th, 2020
Elastic Stackロードマップとディープダイブ

2. Elasticsearch Kibana

3. Enterprise Search Observability Security
Elasticsearch Kibana

6. データ管理理
データ分析
アクション & アラート

7. データ管理理

9. Hot Warm Cold
Snapshot

10. Hot Warm Cold
スナップショットライフサイクル管理理
インデックスライフサイクル管理理

11. myindex
myindex-01
エイリアス

12. myindex
myindex-01
エイリアス
myindex-02

13. myindex-03
myindex
myindex-01
エイリアス
myindex-02

14. myindex-03
myindex
myindex-01
Datastream
myindex-02
• テンプレートから⾃自動作成
• スマートなロールアップの統合
• スマートなクエリルーティング
• インデックス管理理の統合

15. Hot Warm Cold
Snapshot
$$ $

16. メモリ使⽤用量量の改善
ディスク使⽤用量量の改善

17. Heap File system cache
Disk
< 30GB

18. Heap File system cache
Disk

19. Heap File system cache
Disk

20. Heap File system cache
Disk
6TB
10GB

21. Heap File system cache
Disk
6TB
1.5GB

22. Disk

23. Disk

24. Archive
Disk
Cold

25. Doc Values
Stored Fields
Term Dictionary
Term Proximity
Normalization Factors
Point Values
Meta Lookup

26. Doc Values
Stored Fields
Term Dictionary
Term Proximity
Normalization Factors
Point Values
Meta Lookup

27. Archive
Disk
Frozen

28. Archive
Disk
Frozen

29. スマートなクエリルーティング

30. SELECT *
FROM logs-*
WHERE region = “us-east”
AND service = “mysql”
AND @timestamp > “2020-01-01”
ORDER BY @timestamp DESC
LIMIT 20

31. SELECT *
FROM logs-*
WHERE region = “us-east”
AND service = “mysql”
AND @timestamp > “2020-01-01”
ORDER BY @timestamp DESC
LIMIT 20

32. SELECT *
FROM logs-*
WHERE region = “us-east”
AND service = “mysql”
AND @timestamp > “2020-01-01”
ORDER BY @timestamp DESC
LIMIT 20
WHERE region = “us-east”
AND service = “mysql”
const_keyword フィールド

33. WHERE region = “us-east”
AND service = “mysql”
AND @timestamp > “2020-01-01” AND @timestamp > “2020-01-01”
Range normalization

34. AND @timestamp > “2020-01-01”
ORDER BY @timestamp DESC
LIMIT 20
Sorted execution

35. Kibanaに忍耐⼒力力を

36. Elasticsearchは速度を重視
• 全てのフィールドに対して、インデックスを作成
• データ取り込み時にインデックスを作成
• データの⾮非正規化、ジョインは使わない
• 分散実⾏行行
ディスク、CPU、メモリが必要 !!

37. Warm
Cold
⻑⾧長期保存でデータの増⼤大
低速なノード
リモートファイルストア
Frozen

38. 408 リクエストタイムアウト

41. 新しい検索…

42. 条件にマッチするユーザを探す
• 過去１２ヶ⽉月に
• アプリケーションを起動した
• 最新のマルウェアリストに存在
• エンコードされたパラメータに
”powershell.exe” を含む

43. 条件にマッチするユーザを探す
Limited Join
}• 過去１２ヶ⽉月に
• アプリケーションを起動した
• 最新のマルウェアリストに存在
• エンコードされたパラメータに
”powershell.exe” を含む

44. ”powershell.exe” を含む
条件にマッチするユーザを探す
Schema on Read
}
• 過去１２ヶ⽉月に
• アプリケーションを起動した
• 最新のマルウェアリストに存在
• エンコードされたパラメータに

45. データ分析

46. 得意な “⾔言語” で会話

47. GET logs-*/_search
{
“query”: {
“bool”: {
“filter”: {
“range”: {
“@timestamp”: {
“gte”: “2020-01-01”,
“lt”: “2020-02-01”
}
}
}
}
}
}

48. SELECT *
FROM logs-*
WHERE @timestamp
BETWEEN “2020-01-01”
AND “2020-02-01”
SQL

49. @timestamp >= "2020-01-01" AND @timestamp < "2020-02-01"
KQL

50. GET /api/v1/query_range?
start=2020-01-01T00:00:00Z
&end=2020-02-01T00:00:00Z
&query=node_network_receive_bytes_total{device="eth1"}
PromQL

51. sequence by unique_pid
[process where process_name in
("mshta.exe", "rundll32.exe")]
[image_load where image_name in
("jscript9.dll",
"winhttp.dll")]
EQL

53. 53

54. 54

55. 55

56. 56

57. アクション & アラート

64. タスクマネージャー アラート アクション
API

65. 65

67. 67

68. 68

69. 69

71. Enterprise Search Observability Security
Elasticsearch Kibana

72. Closing
Thank You!