See product roadmaps for Elasticsearch, Kibana, Beats, and Logstash with demos and announcements for everything from rollups to Elasticsearch SQL.

1. !1
Elastic Stack 의 진화
What’s Evolving in the Elastic Stack

2. Stack Overview

3. Elastic Stack
Elasticsearch - 검색 및 분석 엔진

4. Elastic Stack
Beats - 경량 데이터 수집 및 전송

5. Elastic Stack
Logstash - ETL : 다양한 입/출력 파이프라인 지원

6. Elastic Stack
Kibana - UI 도구

7. Elastic Stack
추가 기능

8. Elastic Stack
솔루션

9. 데이터 수집
Ingest Inputs

10. Data UI 추가

11. Logstash - Netflow 모듈

12. Logstash - Arcsight 모듈

13. Elastic Common Schema
https://github.com/elastic/ecs
agent.version
@timestamp
message
cloud.region
container.runtime
destination.ip
device.hostname
error.code
event.severity
geoip.city_name

14. Auditbeat
파일 통합 모니터링 및 리눅스 커널 감사
• Linux, macOS, Windows 의 파일 변경 감시
• 짧은 시간동안 실행된 프로세스 및 연결 감지
• Elasticsearch로 직접 색인
• 커널 감사 이벤트와 상호 작용
• 사용자 ID로 부터 사용자 이름 파악

15. !15
컨테이너
아키텍처에서는
모든 표적들이
움직입니다.

16. !16

17. !17

18. 수집 회복성
Ingest Resilience

19. Logstash: Persistent Queue
input filter output

20. Logstash: Persistent Queue
input
Disk queue
filter output

21. Logstash: Dead Letter Queue
input
Disk queue
Dead letter queue
filter output

22. Logstash: Dead Letter Queue
input
Disk queue
Dead letter queue
filter output
DLQ input filter output

23. Disk queue
PublishEvent () OutputACK ACK
libbeat
Beats: Spool-to-Disk

24. ACK ACK
End-to-End ACKing

25. 색인
Indexing

26. 색인 성능 향상
1.x 2.x 5.x 6.x 7.x

27. 0
25
50
75
100
5.x 6.0
OOTB
_all disabled
디스크의 용량 줄이기
Sample Metricbeat dataset

28. Data Rollups

29. Data Rollups
지원되는 메트릭
min max countavgsum

30. Data Rollups
지원되는 메트릭
cardinality percentiles
min max countavg

31. Data Rollups
시간, 히스토그램, 텀 들을 이용한 유연한 버킷 생성
prod-1.myco.com
prod-2.myco.com
prod-3.myco.com
prod-4.myco.com
prod-5.myco.com
Date Histogram Histogram Terms

32. Data Rollups
@timestamp
datacenter
url.path
시간, 히스토그램, 텀 들을 이용한 유연한 버킷 생성

33. Data Rollups
@timestamp
datacenter
url.path
시간, 히스토그램, 텀 들을 이용한 유연한 버킷 생성

34. Data Rollups
@timestamp
datacenter
url.path
시간, 히스토그램, 텀 들을 이용한 유연한 버킷 생성

35. Data Rollups
@timestamp
group by
datacenter
url.path
시간, 히스토그램, 텀 들을 이용한 유연한 버킷 생성

36. Data Rollups
@timestamp
datacenter
url.path
시간, 히스토그램, 텀 들을 이용한 유연한 버킷 생성

37. Data Rollups
시간, 히스토그램, 텀 들을 이용한 유연한 버킷 생성
@timestamp
datacenter
filter by
url.path

38. Data Rollups
데이터가 많을수록 더 많은 공간의 절약이 가능합니다. 보통 90%+
Raw data

39. Data Rollups

40. 검색
Search

42. 확장 가능한 Cross Cluster Search
Elasticsearch
Kibana
ElasticsearchElasticsearch

43. 확장 가능한 Cross Cluster Search
서로 다른 메이져 버전간의 클러스터 검색
5.latest 7.x6.latest
Elasticsearch
Kibana
ElasticsearchElasticsearch

44. 2R2P1R
복사본 선택 최적화
Adaptive Replica Selection
1P

45. 복사본 선택 최적화
Adaptive Replica Selection
2R2P1R1P

46. 복사본 선택 최적화
Adaptive Replica Selection
지연 시간이 큰 노드 배제
Avoids nodes with higher latency
2R2P1R1P

47. SQL 클라이언트
SELECT course, avg(age),count(*)
FROM mytable
WHERE match(uni,"oxford")
GROUP BY course
ORDER BY course, avg(age)
HAVING avg(age) > 18

48. SQL 클라이언트 CLI
JDBC
Kibana Canvas
SQL over RESTGET /_sql {}

49. SQL 클라이언트 CLI
JDBC
Kibana Canvas
SQL over RESTGET /_sql {}
ODBC

50. 보안
Security

51. 온 누리에 보안을
Secure All the Things
노드들 간 통신은 의무적으로 TLS 활성
Mandatory TLS between nodes

52. 온 누리에 보안을
Secure All the Things
스택 간 통신은 선택적으로 TLS 활성
Optional TLS across stack

53. changeme
changeme
changeme
changeme
온 누리에 보안을
Secure All the Things
더 이상의 기본 패스워드는 없습니다
No default passwords

54. 온 누리에 보안을
Secure All the Things
패스워드를 일반 텍스트로 저장하지 않습니다
No plaintext passwords

55. Single Sign On with SAML

56. Kibana Spaces

57. Kibana Spaces

58. Kibana Spaces
작업환경 전환
Workspace switcher

59. Kibana Spaces
스페이스 별 애플리케이션 권한
Application privileges per space

60. 관리
Administration

61. 인덱스 관리자 - Index Management UI

62. 메이저 버전간 롤링 업그레이드
Rolling Major Version Upgrades
5.2 5.2 5.2 5.25.25.6 5.6 5.6 5.6 5.6

63. Upgrade Assistant
5.6 5.6 5.6 5.65.66.x 6.x 6.x 6.x 6.x
메이저 버전간 롤링 업그레이드
Rolling Major Version Upgrades

64. 6.x 6.x 6.x 6.x 6.x
Zero Downtime
메이저 버전간 롤링 업그레이드
Rolling Major Version Upgrades

65. 메이저 버전간 롤링 업그레이드
Rolling Major Version Upgrades

66. Segment 1
파일 기반 복구 (5.x)
File-Based Recovery (5.x)
Primary
Segment 2
Segment 3
Segment 1
Replica
Segment 2
Segment 3

67. Segment 1
Primary
Segment 2
Segment 3
Segment 1
Replica
Segment 2
Segment 3
파일 기반 복구 (5.x)
File-Based Recovery (5.x)

68. Segment 4
Segment 1
Primary
Segment 1
Replica
Segment 2
Segment 3
파일 기반 복구 (5.x)
File-Based Recovery (5.x)

69. Segment 4
Segment 1
Primary
Segment 1
Replica
Segment 4
파일 기반 복구 (5.x)
File-Based Recovery (5.x)

70. Segment 4
Segment 1
Primary
Segment 1
Replica
Segment 4
파일 기반 복구 (5.x)
File-Based Recovery (5.x)

71. 5 6 7
Primary Replica
1 2 3 4 5 6 7 1 2 3 4
작업 기반 복구 (6.0)
Opt-Based Recovery (6.0)

72. 1 2 3 4 5 6 7
Primary Replica
1 2 3 4 5 6 7
작업 기반 복구 (6.0)
Opt-Based Recovery (6.0)

73. 클러스터 간 복제
Cross-Cluster Replication
New YorkTokyo London
ny_sales ny_sales
lnd_salestk_sales

74. 1 2 3 4
인덱스 수축
Index Shrinking

75. 1 2
3 4
인덱스 수축
Index Shrinking

76. 4321
인덱스 수축
Index Shrinking

77. 4321
인덱스 분리
Index Splitting

78. 431 2
인덱스 분리
Index Splitting

79. 431 2
인덱스 분리
Index Splitting

80. 고정(Frozen) 인덱스
• 오래된 데이터를 저장하고 검색하기 위한 목적으로 사용
• 매우 적은양의 힙 사용
• 순서대로 인덱스를 오픈하고 검색
• 리플리카 생성 - 데이터 유실 방지
검색 속도를 내어주고 더 큰 디스크 저장 공간을 얻는다

81. 인덱스 생명 주기 관리 - Index Lifecycle Management

82. Hot Phase - Index to my-logs, Search on my-logs
인덱스 생명 주기 관리 - Index Lifecycle Management

83. Hot Nodes
1
2
3
Cold Nodes
Hot Phase - Index to my-logs, Search on my-logs
Warm Nodes
인덱스 생명 주기 관리 - Index Lifecycle Management

84. 1
2
3
Hot Phase - Rollover
1
2
3
Hot Nodes Warm Nodes Cold Nodes
인덱스 생명 주기 관리 - Index Lifecycle Management

85. 1
2
3
Warm Phase - Allocate
1 2 3
Hot Nodes Warm Nodes Cold Nodes
인덱스 생명 주기 관리 - Index Lifecycle Management

86. 231
2
3
Warm Phase - Shrink
1
Hot Nodes Warm Nodes Cold Nodes
인덱스 생명 주기 관리 - Index Lifecycle Management

87. 11
2
3
Warm Phase - Compress
Hot Nodes Warm Nodes Cold Nodes
인덱스 생명 주기 관리 - Index Lifecycle Management

88. 1
1
2
3
Cold Phase - Allocate
Hot Nodes Warm Nodes Cold Nodes
인덱스 생명 주기 관리 - Index Lifecycle Management

89. 1
2
3
Cold Phase - Freeze
Hot Nodes Warm Nodes Cold Nodes
1
인덱스 생명 주기 관리 - Index Lifecycle Management

90. 1
2
3
Delete Phase
Hot Nodes Warm Nodes Cold Nodes
1
인덱스 생명 주기 관리 - Index Lifecycle Management

91. 인덱스 생명 주기 관리 - Index Lifecycle Management

92. GIS