[NUGU CONFERENCE 2019] 트랙 A-5 : 검색 데이터 저장소 구축기

검색 데이터 저장소 구축기
검색서비스셀 조일환

Contents
Overview
Challenges
Next Steps

검색서비스
서비스모델링데이터

Data Platform
Data Platform
( 수집 / 저장 / 변환 / 제공 )
CP 검색서비스
• De-coupling
• Pre-Processing / Batch-Processing
• A/B Test

Data Source
Meta 데이터 로그 데이터

누적 48억건(90 TB)
Data Size?
증분 1200만건/일

요구사항 추가! - Data Join
마블 영화 찾아줘
영화정보
검색
데이터
저장소
제작사정보

음악
검색 필드 출처
메타 데이터
(제목, 출연진, 방영일자 등)
사용자 액션
(시청, 구매 등)
부가정보
(음원 컨텐츠와 구분)
음악
부가정보
(동의어, 시청정보, 제작사,
배급사 등)
색인문서

검색 필드 출처
메타 데이터
(제목, 앨범,
아티스트 정보 등)
사용자 액션
(청취, 좋아요 등)
NUGU Log
부가정보
(시의성, 관련 검색어) 뉴스
부가정보
(동의어, 관련 아티스트정보)
색인문서
뉴스
NUGU
Log

Shaker
“칵테일 셰이커(cocktail shaker)는 칵테일 등을 만들기 위한 도구이다. 금속으로 되어있는 경우가 많으며, 스테인레스과 양은 등으
로 만들어진다. 드물게 유리나 세라믹으로 만들어지기도 한다.
셰이커는 칵테일 재료에서 혼합하기 어려운 재료를 혼합하게 해주며, 알코올 도수가 너무 높은 술을 공기와 혼합해준다. 칵테일의 재료
를 냉각하게 할 수도 있다.“
https://ko.wikipedia.org/wiki/칵테일_셰이커
수집 저장 혼합 제공

System - Before
StorageCP 수집기
Storage StorageStorage
데이터 처리데이터 처리데이터 처리
…
…
API 검색엔진

CP 수집기 API 검색엔진
Kafka Cluster
Catalog
System - After

CP
수집기
Storage
API
검색엔진
⚠️ 수집
• Data Format
• Push vs Pull
⚠️ 저장
• Partitions
• Data Distribution
⚠️ 제공
• Join
• CRUD vs CQRS

CP 수집기
⚠️ 언제부터 안들어 온거죠?
⚠️ 서버 장애가 발생했습니다
POST “http://data-service/doc”
Body: { data … }

CP 수집기
⚠️ 유입량 조절해서 보내 드릴게요
⚠️ 데이터 유입량이 너무 많아요
POST “http://data-service/doc”
Body: { data … }

CP 수집기
GET “http://cp-service/v1/doc”
Response: { data … }
• De-couping
• 장애 전파 방지
• Versioning
• Throttling (유입량 제어)

CP 수집기 CP 수집기
Push Pull
• 보내는쪽 Active
• 유입량 조절을 보내는 쪽에서 함
• 불필요한 polling 없음
• 받는 쪽 Active
• 유입량 조절을 받는쪽에서 함
• de-coupling
vs

검색엔진
⚠️데이터가 중간중간 빠져서 오네요
⚠️확인해 보니 데이터가 있는데
요???!!!!!
GET “http://data-service/v1/doc?offset=??”
Response: { data: […], … }

ID (Auto Increment) Event Data
51 INSERT { … }
?? ??
53 DELETE { … }
54 UPDATE { … }
55 UPDATE { … }
56 UPDATE { … }
57 UPDATE { … }
58 UPDATE { … }
59 INSERT { … }
Parallel
Bulk Insert
ID > 51, limit 2
Last ID = 53 ???

51 INSERT { … }
52 INSERT {… }
53 DELETE { … }
54 UPDATE { … }
55 UPDATE { … }
56 UPDATE { … }
57 UPDATE { … }
58 UPDATE { … }
59 INSERT { … }
ID > 53, limit 2
Last ID = 55}
ID > 55, limit 2
Last ID = 57}
ID > 57, limit 2
Last ID = 59}
Parallel
Bulk Insert

51 INSERT { … }
52 INSERT {… }
53 DELETE { … }
54 UPDATE { … }
55 UPDATE { … }
56 UPDATE { … }
57 UPDATE { … }
58 UPDATE { … }
59 INSERT { … }
}
다시 확인해 보면?
ID > 51, limit 2
Last ID = 52 ???
Parallel
Bulk Insert
=< MySQL 6.x

검색엔진
GET “http://data-service/v1/doc”
Response: { data … }
• 이벤트 순서를 꼬이지 않게 유지
• Partitioning
• Fault-Tolerance

CP
수집기
Storage
API
검색엔진
⚠️ 늘어나는 데이터량…
어떻게 분산하지?

데이터 Bulk 처리
데이터 저장 클러스터
데이터 분산 저장
CP
수집기
Storage
API
검색엔진

출처: https://medium.com/system-design-blog/cap-theorem-1455ce5fc0a0

다수의 데이터 노드
데이터 자체는 HDFS 의
Replication 을 통해 보존
Consistency
특정 리전서버가 다운되더라도
다른 리전 서버들이 보완
HBase – Consistency & Partition-Tolerance

바람이 분다
Track
CP DATA 검색 결과SHAKER DATA
Track
바람이분다
눈썹달
이소라
발라드, 솔로
Join?
눈썹달
Album
이소라
Artist
발라드
솔로
Genre

SELECT
track.title,
album.title,
artist.name,
genre.name
FROM
track,
album,
artist,
genre
WHERE
track.album_id =
album.id AND
track.artist_id =
artist.id AND
track.genre_id =
genre.id AND
…
DATA API
Identical
SQL query
per API call
바람이 분다
Track
MYSQL
눈썹달
Album
이소라
Artist
발라드
솔로
Genre
API1
API10
VIP
API2

Shaker
Track
API1
API10
VIP
API2
바람이 분다
Track
눈썹달
Album
이소라
Artist
발라드
솔로
Genre
바람이분다
눈썹달
이소라
발라드, 솔로
Recipe

HBase – Tables
HISTORY
데이터 변경 이력 저장
M-View
색인용 데이터 저장
SOURCE
최근 원본을 저장

HBase – Join 예시
Source M-View
key track:100011
r:js { “title”: “바람이 분다“, … }
x:artist { “name”: “이소라”, …}
x:album { “title”: “눈썹달”, …}
…
key track:1
r:js { “title”: “바람이 분다“, … }
key artist:101
r:js { “name”: “이소라“, … }
i:track:1 UPDATE
key album:201
r:js { “name”: “이소라“, … }
i:track:1 UPDATE
…

CRUD CQRSvs
Create
Update
Delete
Query
Query
Query
Query
Query
Query
Create
Update
Delete

Track
Album
Artist Collector
Source
Updater
M-View
Source Events View Events
Genre
Shaker Internal – CQRS(Event Sourcing)
Catalog (Recipe – Mapping Rule)

Track
Album
Artist Collector
Source
Updater
M-View
Genre
Shaker Internal - CQRS(Event Sourcing)
action: UPDATE
key: track:12345
value: { … }
action: UPDATE
target: track:12345
origin: track12345

Track
Album
Artist Collector
Source
Updater
M-View
Genre
action: UPDATE
target: track:12345
origin: track12345
action: UPDATE
key: track:12345
value: { … }

Track
Album
Artist Collector
Source
Updater
M-View
Genre
action: UPDATE
target: track:12345
origin: artist:10003
action: UPDATE
key: track:12345
value: { … }
action: UPDATE
key: artist:10003
value: { … }
action: UPDATE
target: track:12345
action: UPDATE
target: track:12345
action: UPDATE
key: track:12345
value: { … }
action: UPDATE
key: track:12345
value: { … }

API
/catalog
메타 데이터 조회
/static
Join 된 최종 결과 조회
/event
데이터 변경 이벤트 조회
/operate
데이터 운영
/source
데이터 원본 조회
/history
데이터 이력 조회

API – 전체 데이터 조회
$ curl -XGET “http://shaker-cluster/shaker/static/{collection}/split"
{
“code”: 200,
“data”: [
”http://shaker-cluster/shaker/static/{collection}?start={start1}&end={end1}”,
”http://shaker-cluster/shaker/static/{collection}?start={start2}&end={end2}”,
…
]
}

API – 증분 데이터 조회
$ curl -XGET “http://shaker-cluster/shaker/dynamic/{collection}
{
“code”: 200,
“data”: [
{
“key”: ”track:12345”,
“value”: { … },
“status”: “UPDATE”,
…
}
…
],
next_url: “http://shaker-cluster/shaker/dynamic/{collection}/{partition}?offset={next_offset}”
}

Kafka Cluster
Catalog
• Partitions → Throughput 향상 (약 10x)
• Shards → 장애 내구성, 데이터 제공 성능 향상
• Event Sourcing → 대량의 Data Join

Kafka Cluster
Catalog
Anomaly Detection Security Visualization

[NUGU CONFERENCE 2019] 트랙 A-5 : 검색 데이터 저장소 구축기

Recommended

Recommended

More Related Content

More from NUGU developers

More from NUGU developers (20)

Recently uploaded

Recently uploaded (6)

[NUGU CONFERENCE 2019] 트랙 A-5 : 검색 데이터 저장소 구축기