[제3회 스포카콘] Elasticsearch 동기화 개선을 위한 고군분투기

Elasticsearch
동기화 개선을 위한 고군분투기
Yool 한유리
Full Stack Programmer
SPOQA conference 2021 : Always Evolving!

풀스택 프로그래머
도도 포인트 1년 3개월
도도 카트 1년(~ing)
프로덕트 만드는 걸 좋아해요. 😋

목차
1. Elasticsearch 도입 계기
2. Elasticsearch?
3. logstash와 데이터 동기화 과정
4. 문제점
5. 해결 과정
- index template, logstash pipeline
- index alias, delete index
- curator, Kubernetes cronjob
6. 후기

Elasticsearch, 우리도 도입합시다! 🗣
AS-IS
각각 분리되어 있는 검색 폼

Elasticsearch, 우리도 도입합시다! 🗣
TO-BE
단 하나의 통합 검색 폼

Elasticsearch가 뭐죠? 👀
모든 유형의 데이터를 위한 검색 및 분석엔진

애플리케이션 / 웹사이트 / 엔터프라이즈 검색
로깅과 로그 분석
인프라 메트릭과 컨테이너 모니터링
애플리케이션 성능 모니터링
비즈니스 분석
…

1. 검색이 빠르다! (Inverted Index)
2. 검색에 용이하다! (가중치, tokenizer 등)

RDBMS vs Elasticsearch
RDBMS Elasticsearch
Database Index
Table Type
Row Document

Logstash는 이렇게 동작해요 ✨
input { … } — 집계
filter { … } — 변환
output { … } — 저장

Logstash 설정 🧐
참고: <Logstash와 JDBC를 사용해 Elasticsearch와 관계형 데이터베이스의 동기화를 유지하는 방법>
input {
jdbc {
…
schedule => "*/10 * * * * *"
statement => "SELECT id, category, name, standard, unit, created_at, extract(epoch FROM updated_at) AS unix_ts_in_secs FROM product
WHERE updated_at > to_timestamp(:sql_last_value) AND updated_at < now()
ORDER BY updated_at ASC”
use_column_value => true
tracking_column => "unix_ts_in_secs"
tracking_column_type => “numeric"
…
}
}
10초마다 마지막으로 트래킹 된 updated_at 이후 변경된 품목들을 집계

output {
elasticsearch {
cloud_id => '${ELASTICSEARCH_CLOUD_ID}'
cloud_auth => '${ELASTICSEARCH_CLOUD_USER_NAME}:${ELASTICSEARCH_CLOUD_PASSWORD}'
index => "cart_product"
document_id => "%{[@metadata][_id]}"
}
}
Logstash 설정 🧐
cart_product index에 데이터 저장

여기서 드는 의문 🤭
DB에서 delete된 row는 그럼 어떻게 동기화 되는 거지?

해결책 🤨
1. soft deletion (delete하지 않고 deleted_at 컬럼에 삭제 시간 기록하기)
2. row가 삭제될 때 elasticsearch에 삭제 요청 보내기

Soft Deletion?
실제로 삭제되어야 하는 데이터인데
비즈니스 로직이 복잡해지는 것을 수용할 것인가?
쌓이기만 하는 데이터 괜찮을까?
🙅

직접 요청하기?
과연 매번 Elasticsearch를 고려할 수 있을까?
어떠한 상황에서도 100% 동기화시킬 수 있을까?
🙅

Idea 💡
C님 🗣 “ 종종 동기화가 깨져서 인덱스를 새로 만들어서 다시 동기화해주어야 했어요.”
+
삭제된 데이터가 실시간으로 동기화되지 않아도 괜찮음
=
그럼 주기적으로 인덱스를 새로 만들자!

요구사항 📌
- 특정 주기마다 인덱스 새로 만들기
- 새로운 index를 통해 검색할 수 있도록 하기
- 이전에 만들어진 index 삭제하기 (저장공간 절약)
- 어떠한 과정에서도 검색은 항상 잘되도록 하기

행복회로 💗
- Elasticsearch REST API
- AWS lambda
- AWS CloudWatch Events

설계
인덱스 생성 동기화 인덱스
교체
이전 인덱스
삭제

문제
인덱스 생성 동기화 이전 인덱스
삭제
시점 불명확!
인덱스
교체

해결책
Index Template
새로운 logstash pipeline 추가

특정 주기마다 인덱스 새로 만들기
PUT _index_template/<템플릿 이름>
{
"index_patterns": ["cart_product*"],
"template": {
"mappings": {
"properties": {
"category": {
"type": "text",
"fields": {
"ngram": {
"type": "text",
"analyzer": "korean_ngram"
}
},
"analyzer": "korean"
}
}
…
인덱스 설정
인덱스 이름 패턴

input {
jdbc {
…
schedule => “0 3 * * * Asia/Seoul"
statement => "SELECT id, category, name, standard, unit, created_at, extract(epoch FROM updated_at) AS unix_ts_in_secs FROM product
ORDER BY updated_at ASC"
…
}
}

filter {
ruby {
init => "require 'time'"
code => "event.set('kstDate', Time.now.utc.getlocal('+09:00').strftime('%Y.%m.%d'))"
}
…
}
참고) %{+YYYY.MM.dd}를 이용해도 됨 (컨테이너 타임존을 따라감)

output {
…
elasticsearch {
index => "cart_product_%{kstDate}"
…
}
}

PUT /_security/role/<Role 이름>
{
"cluster": ["manage_index_templates", "monitor"],
"indices" : [
{
"names" : ["cart_product*"],
"privileges" : ["write","create", "delete", "create_index"]
}
]
}

설계 (1)
인덱스 생성
& 동기화
인덱스
이름 변경
이전 인덱스
삭제

문제 (1)
인덱스 생성
& 동기화
이전 인덱스
삭제
검색이 불가능!
기존 인덱스
이름 변경
cart_product
👇
cart_product_legacy
새로운 인덱스
이름 변경
cart_product_2021.02.01
👇
cart_product

해결책
Reindex
Clone
Index Alias

Index Alias
POST /_aliases
{
"actions" : [
{ "add" : { "index" : "cart_product_2021.02.14", "alias" : "cart_product" } },
{ "remove": {"index": “cart_product_2021.02.12.15", "alias" : "cart_product" } }
]
}

설계 (2)
인덱스 생성
& 동기화
인덱스 alias
수정
이전 인덱스
삭제

DELETE /<인덱스 이름>
Delete Index

설계 (2)
인덱스 생성
& 동기화
이전 인덱스
삭제
인덱스 alias
수정

발전 시키기
- index 관리

index 관리의 또 다른 방법
Curator
원하는 index (or snapshot)을 가져와 원하는 액션을 취할 수 있도록 함
yaml 파일로 어떠한 액션을 취할 것인지 선언

Curator 구성
- Action File
- Configuration File

Action File 구조
actions:
1:
action: ACTION1
description: OPTIONAL DESCRIPTION
options:
option1: value1
...
optionN: valueN
filters:
- filtertype: *first*
filter_element1: value1
...
filter_elementN: valueN
- filtertype: *second*
filter_element1: value1
...
filter_elementN: valueN
어떤 동작을 수행할 것인가
액션에 사용될 설정
어떤 인덱스를 대상으로 수행할 것인가

alias 업데이트
actions:
1:
action: alias
description: “…”
options:
name: cart_product
remove:
filters:
- filtertype: alias
aliases: cart_product
exclude: False
cart_product라는 alias를 가진 index로부터
cart_product alias를 제거
cart_product alias를 가진 index

alias 업데이트
remove:
…
add:
filters:
- filtertype: pattern
kind: prefix
value: cart_product_
- filtertype: count
count: 1
use_age: True
source: creation_date
reverse: True
exclude: False
cart_product_로 시작하는 index
가장 최근에 만들어진 index 1개
가장 마지막에 생성된 cart_proudct_로 시작하는
index에 cart_product alias 추가

2:
action: delete_indices
description: "…"
options:
timeout_override: 300
continue_if_exception: False
filters:
- filtertype: alias
aliases: cart_product
exclude: True
- filtertype: pattern
kind: prefix
value: cart_product_
index 삭제하기
cart_product alias를 가지지 않은 index
cart_product_로 시작하는 index
cart_product alias가 없으며 (=검색에 사용 중이지 않은)
cart_product_로 시작하는 인덱스 삭제

Curator 주기적으로 실행하기
Kubernetes Cronjob
참고: <Running Curator as a Kubernetes CronJob>
각자의 환경에서 가장 적절한 방법으로 실행

발전 시키기
- 조합하기

인덱스 생성
& 동기화
cart_product
pipeline
cart_product_yyyy.mm.dd
pipeline
스케쥴
새로운 인덱스
기존 인덱스
curator

매일 달라짐
curator
스케쥴
cart_product
pipeline
pipeline

새로운 인덱스
기존 인덱스
curator
스케쥴
cart_product
pipeline
pipeline

누락
curator
스케쥴
cart_product
pipeline
pipeline

curator
스케쥴
cart_product
pipeline
pipeline
새로운 인덱스
기존 인덱스

0.1% 모자람
하나의 인덱스에 동기화하는 파이프라인은 2개
curator
cart_product
pipeline
pipeline

input {
jdbc {
…
schedule => "*/5 3 * * * Asia/Seoul"
statement => "SELECT id, category, name, standard, unit, created_at, FROM product
WHERE now() - interval '1 hour' >= :sql_last_value
or (updated_at > :sql_last_value AND updated_at < now())
ORDER BY updated_at ASC”
use_column_value => false
…
}
}
logstash 수정

최종
3:00 3:45 4:00
curator
cart_product
pipeline
pipeline

요구사항 📌
- 특정 주기마다 인덱스 새로 만들기 ✅
- 새로운 index를 통해 검색할 수 있도록 하기 ✅
- 이전에 만들어진 index 삭제하기 ✅
- 어떠한 과정에서도 검색은 항상 잘되도록 하기 ✅ . o 0 (🤔)

후기
(너무 공들였나…)

같이 이야기해 봐요! ✨👀
비슷한 문제를 해결하기 위한 시도를 해보았다면
채팅창으로 공유해주세요!

[제3회 스포카콘] Elasticsearch 동기화 개선을 위한 고군분투기

[제3회 스포카콘] Elasticsearch 동기화 개선을 위한 고군분투기

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to [제3회 스포카콘] Elasticsearch 동기화 개선을 위한 고군분투기

Similar to [제3회 스포카콘] Elasticsearch 동기화 개선을 위한 고군분투기 (20)

Recently uploaded

Recently uploaded (20)

[제3회 스포카콘] Elasticsearch 동기화 개선을 위한 고군분투기