Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Level 300) - 발표자: 이덕현, Sr. Database SA, WWSO, AWS ::: AWS Data Roadshow 2023

AWS DATA WEEK 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
이덕현
Senior Database Solutions Architect
AWS
Amazon Elasticache & MemoryDB
Fully managed, Redis & Memcached Compatible Service

AWS DATA WEEK 2023
Agenda
• Introduction to Amazon ElastiCache &MemoryDB
• Elasticache & MemoryDB Redis Architecture
• Redis Data Structures
• Monitoring & Trouble Shooting & Optimization
• Caching Patterns and Strategies
• Advanced Features

© 2023, Amazon Web Services, Inc. or its Affiliates.
Introduction to Amazon ElastiCache
&MemoryDB

AWS DATA WEEK 2023
Modern real-time applications require
성능, 확장성 및 가용성
사용자 1M+
데이터크기 Terabytes—petabytes
서비스위치 Global
성능 Microsecond latency
요청비율 Millions per second
엑세스 Mobile, IoT, devices
규모 Up-down-out-in
과금 형태 Pay-as-you-go
개발자 접속 Open API
Online
gaming
Social
media
Media
streaming
E-Commerce Shared economy

AWS DATA WEEK 2023
What is Memcached?
• 단순한 인메모리 LRU 캐시
• 단순 키-값(문자열-문자열) 저장
• strings objects 지원
• 멀티 쓰레드
• 클라이언트 측 라이브러리를 통한 샤딩
• 간편한 확장
• 지속성 없음
• 오픈 소스
Clients
Clients
Clients
Clients
Single-Node Instance
Clients
Clients
Clients
Clients
Sharded Instance
2003년에 처음 출시

AWS DATA WEEK 2023
What is Redis?
• 다양한 인메모리 데이터 구조:
Strings, Lists, Sets, Sorted Sets, Hash Tables,
HyperLogLog, Geospatial, and Streams
• 복제를 통한 고가용성
• 온라인 샤딩을 통한 확장성
• 스냅샷/복원을 통한 지속성
• 다중 키 atomic 연산
• LUA 스크립팅
• 오픈소스
2009년에 처음 출시
고속의 인메모리 비관계형 데이터 저장소입니다.
고객들은 Redis가 사용하기 쉽다는 점을 좋아합니다.

AWS DATA WEEK 2023
고성능
마이크로초 단위의 응답
시간을 위한 메모리 내 데이터
저장 및 캐시
대규모 워크로드로
쉽게 확장
샤딩 및 복제본으로 쓰기 및
읽기 확장
안전하고 신뢰할 수
있음
네트워크 격리, 저장/전송 시
암호화, HIPAA, PCI, FedRAMP,
다중 AZ 및 자동 장애 조치
IAM 연동 (redis)
Amazon ElastiCache – Fully Managed Service
Redis 및 Memcached
호환
오픈 소스 Redis 및
Memcached와 완벽하게 호환

AWS DATA WEEK 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8
Amazon MemoryDB for Redis
초고속 성능을 제공하는 Redis 호환, 내구성(durable), 인메모리 데이터베이스 서비스
내구성(Durability)
및 고가용성
내구성 및
고가용성을 위한
다중 AZ 트랜잭션
로그 , 저널로그
레디스 호환성
유연하고 친숙한
Redis API 및 데이터
구조
완전 관리형
AWS 관리형
하드웨어 및
소프트웨어 설정,
구성, 모니터링 및
스냅샷
높은 확장성
클러스터당 100TB
이상의
스토리지(샤드당
1개의 복제본 포함)
초고속 성능
수백만 TPS의
마이크로초 읽기 및
한 자릿수 밀리초
쓰기 지연 시간
보안
Amazon VPC, 저장
및 전송 중 암호화,
액세스 제어
목록(ACL)

AWS DATA WEEK 2023
임시성 내구성
반내구성
지속성 없음
트랜잭션 로그
스냅샷
비동기 복제
AWS in-memory durability spectrum
MemoryDB
for Redis
ElastiCache
for Memcached
ElastiCache
for Redis

AWS DATA WEEK 2023
Simplified architecture and access
Amazon EC2
SQL / Other protocol
Caching protocol
High performance,
ephemeral
Moderate performance,
durable
Amazon MemoryDB
for Redis
High performance,
durable
Fast, simple Redis API
캐시의 목적으로는 Elasticache 가
완전한 내구성과 고성능을 필요하는 경우는 MemoryDB가 적당

AWS DATA WEEK 2023
When to use MemoryDB versus ElastiCache for Redis?
MemoryDB for Redis 사용 사례
• 초고속 성능을 제공하는 내구성 있는 데이터베이스가 필요한 애플리케이션
• Redis의 API 및 데이터 구조를 사용하지만 데이터 손실 위험을 피하기 위해 내구성을
원하는 애플리케이션
• 짧은 대기 시간을 위해 캐시와 데이터베이스를 사용하고 비용 절감을 위해 아키텍처를
단순화하려는 애플리케이션
ElastiCache for Redis 사용 사례
• 기존 기본 데이터베이스로 데이터 액세스를 가속화하려는 캐싱 워크로드의 경우
• Redis 데이터 구조 및 API를 사용하여 기본 데이터베이스 또는 데이터 저장소에 저장된
데이터에 액세스하려는 경우

AWS DATA WEEK 2023
MemoryDB versus ElastiCache Cost Simulation
Elasticache for Redis 예상비용
• 5,739.26 USD ( 월)
MemoryDB for Redis 예상비용
• 8,809.62 USD (월)
• 서울리전 , R6g 8xlarge 2node 구성
• Elasticache ondemand mode ( 24시간)
• MomoryDB write 1TB ( GB 당 0.2$)
Elasticache 가 65% 수준으로 저렴

AWS DATA WEEK 2023
MemoryDB versus ElastiCache Write Performance Simulation
• 서울리전 , R6g 2xlarge 2node 구성
• redis-benchmark -t set -n 10000 -r 10000 -d 100
• redis 6.2 engine version
Redis-benckmark
ap-northeast-2b
EC2
Primary
ap-northeast-2b
Secondary
ap-northeast-2c
Elasticache Redis
Primary
ap-northeast-2b
Secondary
ap-northeast-2c
MemoryDB

AWS DATA WEEK 2023
MemoryDB versus ElastiCache Write Performance Simulation
• Elasticache redis : 0.15 초 , MemoryDB : 0.91초

AWS DATA WEEK 2023
Optimized M5 and R5 instances & Enhanced I/O
• 최대 까지
• 성능 제공
향상을 위한 동적
네트워크 처리

Elasticache & MemoryDB Redis
Architecture

AWS DATA WEEK 2023
ElastiCache Redis: Distributed In-Memory Data Store
Client
Geospatial
Set
Hash
Sorted Set
List String
Stream
Bitmap
HyperLogLog
ElastiCache for Redis Node
Client
Client
Client
Client
Client
Client
Client

AWS DATA WEEK 2023
Client
Geospatial
Set
Hash
Sorted Set
List String
Stream
Bitmap
HyperLogLog
ElastiCache for Redis Node
A=1
Write Client
Sub ms
String
Read Client
A=1
A:1
Read Client
A=1
Read Client
A=1
Read Client
A=1
Read Client
A=1
Read Client
A=1
Read Client
A=1
ElastiCache Redis: Distributed In-Memory Data Store

AWS DATA WEEK 2023
Amazon MemoryDB durability
Redis Client
SET A 100
ACK
SET
A
100
SET
A
100
ACK
SET
A
100
Amazon MemoryDB for Redis Cluster
Availability Zone A
Primary
Availability Zone B
Replica
Availability Zone C
Replica
동기 모드
비동기 모드
Multi-AZ Transaction Log
트랜잭션이 작성된 후에만
클라이언트에게 승인이 전송됩니다.
데이터는 트랜잭션 로그를 통해
복제되고 복제본에서 사용됩니다.
복제본에 대한 쓰기 전달 보장

AWS DATA WEEK 2023
Amazon MemoryDB consistency
프라이머리 에서
강력한 읽기 일관성 (strong)
GET A(nil)
Redis Client
SET A 100
ACK
SET
A
100
SET
A
100
ACK
SET
A
100
Availability Zone A
Primary
Availability Zone B
Replica
Availability Zone C
Replica
GET A(100)
GET A(100)
리플리카에서는 최종 읽기 일관성
(eventual)
REMEMBER:
데이터는 항상 메모리에 있으므로
읽기가 매우 빠릅니다.

AWS DATA WEEK 2023
Amazon MemoryDB Durability Failover
Primary
Redis Client
Availability Zone A
Primary
Availability Zone B
Replica
Availability Zone C
Replica
Synchronous
Asynchronous
SET A,B,C
Roll-up
ACK
x3
SET
A,B,C
SET
A
SET
B
SET
C
ACK x3
SET
A
SET
B
SET
C
리플리카는 로그에서 모든
트랜잭션을 반영한 이후
프라이머리로 승격됩니다.
리플리카는 비동기식으로
로그에서 계속 반영합니다.
클라이언트는 이제 모든
쓰기에 대해 새로 승격된
프라이머리로 전달됩니다.

AWS DATA WEEK 2023
Amazon MemoryDB Durability Failover
Primary
Redis Client
Availability Zone A Availability Zone B Availability Zone C
Replica
페일오버 과정에서
데이터 유실 없음!

AWS DATA WEEK 2023
0-5461
Shard 1 Shard 2 Shard
3
5462--10922 10923-16383
aws elasticache modify-replication-group-shard-configuration --replication-group-id rep-group-id
--apply-immediately --node-group-count 5
Simple API
Scale In || Out
Online Re-Sharding – Zero Downtime

AWS DATA WEEK 2023
0-5461
reads/ writes
Shard 1 Shard 2 Shard 3
Shard 4 Shard 5
5462--10922 10923-16383
0-2909,
5095-5461
5462-5783,
6876-9830
10923-14199
2910-5094,
9831--10922
애플리케이션 중단 없음
샤드 전체에 균일하게 슬롯 분포
5784-6875,
14200-16383
Zero downtime - Online re-sharding - scale out
Amazon EC2

AWS DATA WEEK 2023
0-5461
Shard 1 Shard 2 Shard 3
Shard 4 Shard 5
5462--10922 10923-16383
샤드 전체에 균일한 슬롯 분포
애플리케이션 중단 없음
Zero downtime - Online re-sharding - scale in
Amazon EC2
reads/ writes

Redis Data Structures

AWS DATA WEEK 2023
Redis Data Structures
String "Hi there! My name is Amazon ElastiCache for Redis!"
Bitmap (String) 0011011100010001001101101
Bitfield (String) {112345569}{2334}{2334}{655567}
Hash { A:”Amazon", W:”Web", S:”Services" }
List [ A -> B -> C -> D -> E ]
Set { A, C, E, D, B }
Sorted Set { A:1, B:2, C:3, D:4, E:5 }
Geospatial { A:(32.1,34.7), B:(51.5,0.12) }
HyperLogLog 01101110 00100010 01101101
PubSub … msg1 … msg2 … msg3
Stream … 1:msg1 … 2:msg2 … 3:msg3

AWS DATA WEEK 2023
Redis Data Structures – String
SELECT
SUM(orders.num_items)
FROM
customers, orders
WHERE
customers.id = X AND
orders.customer_id = customers.id
>
4c41cf422a24020734a3675fcc78c7a5
"x80x03Mxd2x06cdecimalnDecimaln…"
Key
Value
MD5 Hash
"4c41cf422a24020734a3675fcc78c7a5"

AWS DATA WEEK 2023
Redis Data Structures – Hash
user:mike
first
team
location
Michael
ElastiCache
ORD
>
OK
>
1) "0"
2) 1) "first"
2) "Michael"
3) "team"
4) "ElastiCache"
5) "location"
6) "ORD"
HMSET user:mike first Michael team ElastiCache location ORD
HSCAN user:mike 0 MATCH *

AWS DATA WEEK 2023
Redis Data Structures – List
Input
앱,배치 및 워크플로 푸시
Amazon
ElastiCache
for Redis
레디스는 빠르고 강력한 대기열
제공
Output
결과는 다양한 애플리케이션으로 푸시

AWS DATA WEEK 2023
Redis Data Structures – Set
value:
39
A collection of unique, unordered String values
Duplicate!
player
s
value:
1
value:
39
value:
27
value:
22
SADD players 1 39 27 22 39
>
(integer) 4
SSCAN players 0 MATCH *
>
1) "0"
2) 1) "1"
2) "22"
3) "27"
4) "39"

AWS DATA WEEK 2023
Redis Data Structures – Sorted Set (Commands)
game:1
value: mike
score: 50
value: dan
score: 75
value: emma
score: 79
value: luke
score: 123
value: lina
score: 350
ZADD game:1 50 mike 123 luke 75 dan 350 lina 79 emma
>
(integer) 5
ZREVRANGE game:1 0 2 WITHSCORES
>
1) "lina"
2) "350"
3) "luke"
4) "123"
5) "emma"
6) "79"
dan 75
mike 50
emma 79
luke 123
lina 350

AWS DATA WEEK 2023
Redis Data Structures – Hyperloglog
PFADD visitors mike lina
>
(integer) 1
PFCOUNT visitors
>
(integer) 4
PFADD visitors emma luke
>
(integer) 1
PFADD visitors mike emma
>
(integer) 0
mike
lina
emma
luke
실행시간 일정: O(1)
최대 12k 메모리 사용
큰 카운트에 더 좋은 정확도 (264)
오차율 < 1%
실제 값을 저장하지 않습니다. 따라서 검색 용도로 사용할 수 없습니다.

Monitoring & Trouble Shooting &
Optimization

AWS DATA WEEK 2023
Time Complexity (Big O)
실행시간은 데이터크기와 상관없이 일정
O(1)
O(n)
실행시간은 데이터크기에 비례하여 선형적 증가
O(log(n))
실행시간은 상황과 계산에따름(logarithm); “
최악의 경우＂ n;
ㅇbinary search.

AWS DATA WEEK 2023
Cluster Isolation - Eviction Policy by Workload
allkeys-lru TTL 설정에 관계없이 LRU(최소 최근 사용)를 제거합니다.
volatile-lru* TTL이 설정된 LRU(최소 최근 사용)를 제거합니다.
allkeys-lfu 대략적인 최소 빈도 사용(LFU)을 사용하여 모든 키를 제거합니다.
volatile-lfu* TTL이 설정된 키 중 근사치 LFU를 사용하여 제거
volatile-random* TTL이 설정된 키를 무작위로 제거합니다
allkeys-random TTL 설정에 관계없이 임의로 키를 제거합니다.
no-eviction 키를 전혀 제거하지 않습니다. 이렇게 하면 메모리가 해제될 때까지 향후 쓰기가
차단됩니다
TTL이 가장 짧은 키를 제거합니다.
volatile-ttl*
* 휘발성 정책은 TTL이 있는 키만 제거합니다.

AWS DATA WEEK 2023
EngineCPUUtilization = Redis 엔진 스레드 사용 비율
CPUUtilization = 노드에서 모든 CPU 코어의 평균 사용률(향상된 IO 작업도 나타냄)
ReplicationLag = 복제본이 프라이머리 보다 얼마나 뒤떨어져 있는지 나타내는 지표
Important cluster performance metrics in CloudWatch
NetworkBytesOut = 인스턴스가 모든 네트워크 인터페이스에서 보낸 바이트 수
NetworkBytesIn = 호스트가 네트워크에서 읽은 바이트 수
Performance & Monitoring
CloudWatch 알람 설정 고려 : WARN @ 65% HIGH @ 90%

AWS DATA WEEK 2023
Important cluster health metrics in CloudWatch
NewConnections = 커넥션 스파이크 이슈 확인 가능
DatabaseMemoryUsagePercentage = 사용 중인 총 클러스터 메모리의 주요 지표
CacheHitRate = 캐시 사용 효율성의 핵심 지표 (goal should be > 0.8)
Evictions = maxmemory 제한으로 인해 제거된 키 수 (goal is low, usually)
Performance & Monitoring
CurrConnections = Redis가 등록한 동시 및 활성 연결 수

AWS DATA WEEK 2023
202
3
© , Amazon Web
Services, Inc. or its
CPU
• EngineCPUUtilization
• CPUUtilization
• CPUCreditUsage
• CPUCreditBalance
Metrics

AWS DATA WEEK 2023
Network
• NetworkBytesIn
• NetworkBytesOut
• NetworkPacketsIn
• NetworkPacketsOut
• NetworkBandwidthInAllowan
ceExceeded
• NetworkBandwidthOutAllowa
nceExceeded
Metrics

AWS DATA WEEK 2023
202
3
© , Amazon Web
Services, Inc. or its
Memory
• BytesUsedForCache
• DatabaseMemoryUsage
Percentage
• Evictions
• Reclaimed
• SwapUsage
• FreeableMemory
Metrics

AWS DATA WEEK 2023
The latency
• 헬스와 퍼포먼스 측면 첫번째 지표
• 다른 모든 주요 구성 요소가 높은 워터마크(예: 높은 CPU, 높은 메모리
사용률...)를 향하고 있는 경우에도 대기 시간이 양호할 수 있습니다.
• 다른 모든 주요 구성 요소가 낮은 워터마크를 향하고 있는 경우에도 대기
시간이 높을 수 있습니다.
Amazon ElastiCache for Redis
AWS Lambda
Clients
Amazon EC2
Write Latency
Read Latency
VPC

AWS DATA WEEK 2023
Latency monitoring
The latency metrics are calculated using commandstats statistic from Redis INFO
• EvalBasedCmdsLatency
• GeoSpatialBasedCmdsLatency
• HashBasedCmdsLatency
• HyperLogLogBasedCmdsLatenc
y
• KeyBasedCmdsLatency
• ListBasedCmdsLatency
• SetBasedCmdsLatency
• SortedSetBasedCmdsLatency
• StringBasedCmdsLatency
• StreamBasedCmdsLatency
• GetTypeCmdsLatency
• SetTypeCmdsLatency
CloudWatch는 대기 시간 모니터링 전용 지표 세트를 제공합니다.

AWS DATA WEEK 2023
Latency monitoring
Example: GetTypeCmdsLatency

AWS DATA WEEK 2023
Log delivery
• ElastiCache 슬로우 로그와 엔진 로그를 모두 CloudWatch 또는 Amazon
Kinesis Data firehose로 스트리밍할 수 있습니다.
• 슬로우 로그는 ElastiCache 클러스터에서 명령 실행 시간에 대한 가시성을
제공합니다.
• Redis 엔진용 ElastiCache 로그는 Redis 엔진의 내부 작업에 대한 가시성을
제공합니다.

AWS DATA WEEK 2023
Log delivery

Caching Patterns and Strategies

AWS DATA WEEK 2023
Rendered Page
Trending Products
각 페이지 액세스에는 여러 데이터베이스 쿼리가 필요합니다.
Recommendations
Header
Footer
Main Content
The Need for Caching
Database

AWS DATA WEEK 2023
Rendered Page
Trending Products
Recommendations
Header
Footer
Main Content
필요한 경우에만
캐시 업데이트
Amazon
ElastiCache
The Need for Caching

AWS DATA WEEK 2023
Caching Concepts
Writes
Reads
Disk
Memory
쿼리 응답 시간 향상
서비스로 인한 부담 완화
기존 서비스에 대한 새로운 워크로드 허용
Amazon RDS
Amazon
ElastiCache
Amazon EC2

AWS DATA WEEK 2023
Amazon S3
Amazon RDS
Amazon DynamoDB
Amazon Redshift
Amazon Elasticsearch
Service
Amazon API Gateway
Amazon Neptune
Amazon
ElastiCache
Caching Concepts - AWS Architecture
Clients
AWS Lambda
Amazon EC2
메모리 내 데이터 저장소
및 캐시로 액세스 대기
시간을 줄이고 처리량을
늘리며 데이터베이스 및
애플리케이션의 부하를
완화합니다

AWS DATA WEEK 2023
Caching Concepts - Redis Data Structures
캐싱 사용을
위해서 사용되는
데이터 구조
저장 구조에 맞는
고유한 방식으로
데이터 저장 및 작동
String "Hi there" 1 .. 2 .. 3 .. n
Hash { A:"hello", B:"wonderful", C:"world" }
List [ A -> B -> C -> D -> E ]
Set { D, A, E, C, B }
Sorted Set { A:1, B:2, C:3, D:4, E:5 }
Geospatial { A:(32.1,34.7), B:(51.5,0.12) }
HyperLogLog 01101110 00100010 01101101
Stream … msg1 … msg2 … msg3

AWS DATA WEEK 2023
1) "first_name"
2) "Carlos"
3) "last_name"
4) "Salazar"
Useful with Java HashMap,
Python Dictionary, Database Row
Hash 테이블 구조
"x80x03(K+Xax00x00x00..."
Useful with Strings, Numbers, Serialized Objects
String 바이너리 세이프(binary safe)
Caching Concepts - Redis Data Structures
GET app1:my_key_name
>
HGETALL app1:customer:1
>
Set 고유하지만 순서가 보장되지 않은 경우
Useful with any Set-type structure
1) "98105"
2) "98101"
3) "98109
SMEMBERS app1:set:valid_zips
>
Sorted Set 고유하고 순서가 지정된 경우
ZREVRANGE items_by_zip 0 -1
>
1) "78723"
2) "500"
3) "78701"
4) "329"
5) "78705"
6) "303"
Useful with any sorted Set-type structure

AWS DATA WEEK 2023
Amazon
ElastiCache for
Redis
AWS Lambda
Clients
Amazon EC2
1. 캐시에서 읽기
2. 소스에서 읽기 (1번 실패시)
3. 캐시에 쓰기
2 - Read
3 - Write
Amazon RDS
1 - Read
장점
캐시에서 불필요한 데이터 방지
캐시는 언제든지 다시 채울 수 있음
단점
캐시 미스는 매우 느릴 수 있음
데이터 캐시 유지 펙텨 요소
즉각적인 혜택
Lazy Loading

AWS DATA WEEK 2023
SELECT
customers.name, SUM(orders.num_items)
FROM
customers, orders
WHERE
customers.id = X AND
orders.customer_id = customers.id
>
"SELECT customers.name, SUM(orders…"
"x80x03Mxd2x06cdecimalnDecimaln…"
Key
Value
"ecf361704f15aa0e26e3b24e1ce6d1d6"
MD5 Hash
Lazy Loading
ecf361704f15aa0e26e3b24e1ce6d1d6 ~140 bytes
32 bytes

AWS DATA WEEK 2023
def fetch(sql):
key=get_md5_hash(sql)
if r.get(key) is not None:
return pickle.loads(value)
else:
cursor=m.cursor()
cursor=execute(sql)
value=cursor.fetchall()
r.setex(key, TTL, pickle.dumps(value))
return value
Lazy Loading
1. 캐시에서 읽기
2. 소스에서 읽기 (1번 실패시)
3. 캐시에 쓰기

AWS DATA WEEK 2023
def fetch(sql):
key=get_md5_hash(sql)
if r.get(key) is not None:
return pickle.loads(value)
else:
cursor=m.cursor()
cursor=execute(sql)
value=cursor.fetchall()
r.setex(key, TTL, pickle.dumps(value))
return value
SELECT
customers.customer_id,
reviews.review_id
FROM customers, reviews
WHERE . . .
SELECT
COUNT(*) FROM users
WHERE . . .
Lazy Loading

AWS DATA WEEK 2023
Amazon
ElastiCache for
Redis
AWS Lambda
Clients
Amazon EC2
Amazon
DynamoDB
Lambda
function
Example 1
1. 소스에 쓰기
2. 람다 함수 트리거
3. 람다 함수 트리거 쓰기
1 - Write
2 – Trigger
Lambda function
3 - Update cache
장점
데이터는 항상 최신
단점
불필요한 데이터 캐시 등록
대부분의 데이터가 캐시로 등록되지
않을 수 있음
(update 가 거의 없는경우)
Write-Through

AWS DATA WEEK 2023
Amazon
ElastiCache for
Redis
Example 2
1 - Write
Amazon RDS
2 - Write
AWS Lambda
Clients
Amazon EC2
1. 소스에 쓰기
2. 캐시에 스기
Write-Through
장점
데이터는 항상 최신
Write latency better tolerated
by customers vs. read latency
단점
Unnecessary data, cache churn
Delayed vs. immediate benefit

Advanced Features

Connections
AWS Lambda
Amazon EC2
Configuration
Endpoint
startup_nodes = [
{"host": "node1", "port": "6379"},
{"host": "node2", "port": "6379"},
{"host": "node3", "port": "6379"},
{"host": "node4", "port": "6379"},
{"host": "node5", "port": "6379"},
{"host": "node6", "port": "6379"}]
rc = RedisCluster(startup_nodes=startup_nodes)
startup_nodes = [
{"host": "config_endpoint", "port": "6379"}]
rc = RedisCluster(startup_nodes=startup_nodes)
코드 변경 필요 없음
클러스터 변경 시 코드 업데이트 필요

Connection Handling - Open Source Redis v5
Client 1
Client 2
Client 3
Client 1
Client 2
Client 3
Main Redis thread
Redis node

Enhanced I/O
Main Redis thread
Client 1
Client 2
Client 3
Available thread
Available thread
Available thread
Client I/O 1
Client I/O 2
Client I/O 3
Redis Commands
Redis node

Enhanced I/O
0
50,000
100,000
150,000
200,000
250,000
300,000
350,000
400,000
450,000
+ 49%
+
54%
+
55%
+
13%

Security – Data Access
입증
권한 부여
AUTH 토큰 설정 기능
인증된 연결은 데이터에 대한 무제한 액세스 권한을 가집니다.
Redis 6.0에는 RBAC(역할 기반 액세스 제어)에 대한 적용.

Security - Encryption
전송 중 암호화 At-Rest 암호화
애플리케이션-노드 및 노드-노드 암호화
네트워크 통신
TLS 1.0 – 1.2 지원
서버 검증/인증
성능에 영향을 줄 수 있음
스냅샷 및 복제 중에 사용됨
성능에 영향을 줄 수 있음
컴플라이언스
• Redis용 ElastiCache에 대한 HIPAA 적격성
• 레디스 3.2.6

Encryption in Transit
Client
Client
Client
Primar
y
Primar
y
Primar
y
Replica
Replica
Replica
Encrypted
Encrypted
Encrypted
Encrypted
Encrypted
Encrypted

AWS DATA WEEK 2023
Connection Reset by peer
Reason Suggested Solution
Redis Encryption과 호환되지 않는
클라이언트
암호화를 지원하는 Redis 클라이언트 사용
E.g. :
Java : Lettuce, Redisson
Python : redis-py
.NET : stackexchange.redis
PHP : phpredis

AWS DATA WEEK 2023
Lettuce Connections
Topology정보갱신(refresh)
DNS사용시DNS캐시사용
ElastiCache노드는변경될수있는DNS이름항목을사용하므로TTL값을5~10초로짧게설정하여JVM을구성
노드의IP주소가변경될때애플리케이션이DNS항목을다시쿼리하여리소스의새IP주소를수신하고사용
java.security파일수정 networkaddress.cache.ttl=10
java.security.Security.setProperty("networkaddress.cache.ttl","10");

Authentication
readcache
marketing
analytics
User Group A
User Group B
Cluster
1
Cluster
2
Cluster
3
Users
readcache marketing
marketing analytics
readcache marketing
readcache marketing
marketing analytics
User Groups Clusters

ElastiCache Resources and IAM
AWS Identity and
Access Management
(IAM)
User
UserGroup
Cluster
Snapshot
Parameter group
Replication group
Security group
Subnet group
Reserved instance
Global replication group
ElastiCache Resources
Permissions policies
CreateCacheCluster
CopySnapshot
CreateSnapshot
CreateUser
CreateUserGroup
DeleteCacheCluster
DeleteUser
DescribeEvents
IncreaseReplicaCount
ModifyCacheCluster
Actions (subset)
StartMigration
TestFailover

ElastiCache and Operational Auditing
AWS CloudTrail Amazon
CloudWatch
Logs
Logs Insights
(Query logs)
Amazon Simple Storage
Service (Amazon S3)

Global Datastore Architecture
Replicas
Primary Region
VPC
ElastiCache Redis Cluster
Primary Nodes [1..n]
Replicas
Read-Write Client
Replicas
Secondary Region
VPC
Secondary Nodes [1..n]
Replicas
Read Only Client
Replicas
Secondary Region
VPC
Secondary Nodes [1..n]
Replicas
Read Only Client
AWS
Cross-region link
AWS
Cross-region link

Online Vertical Scaling Up
Writes
Reads
Shard
Amazon EC2 AWS Lambda
Clients
Shard Shard Shard

Online Vertical Scaling Up
Clients
Writes
Reads
Shard Shard

Scaling Reads
Clients
Replica
Asynchronous
replication
Replica
Primary
Writes
Reads
Shard
리플리카 추가하여
읽기 용량 확장

ElastiCache for Redis auto scaling
• 샤드 또는 복제본을 클러스터에
자동으로 추가
• 사전 정의된 규칙 또는 Amazon
CloudWatch 지표를 사용하여 수평
확장 및 축소
• 예측 가능한 워크로드 및 용량
변경에 대한 조정 활동 예약
VPC
AWS Cloud
Availability Zone 1 Availability Zone 2
NAT gateway NAT gateway
Instance Instance
Cache node Cache node
Amazon EC2
Auto Scaling
Auto Scaling group
Auto Scaling group

Auto scaling best practices
• 단일 측정항목 및 측정기준 사용 권장
• 맞춤 측정항목보다 미리 정의된 측정항목으로 시작
단순함 유지
이탈 방지
테스트!
• 복제본/샤드 전체에 걸쳐 균일한 배포에서 가장 잘
작동합니다.
• 축소 제한, 휴지 사용, 적절한 경우 예약
• 최소 4주간의 데이터를 사용하여 목표 값 설정

Introducing R6gd nodes with data tiering
정기적으로 데이터 세트의 최대 20%에
액세스하는 워크로드에 적합
최대 용량 활용 시 GB당 60% 이상 절약
애플리케이션 변경이 필요하지 않으며
성능에 미치는 영향 최소화
클러스터는 최대 1PiB 크기로 확장됩니다.
Example: R6gd.16xlarge
SSD
RAM
LRU
64 vCPU
25 Gbps network
419.1 GiB memory 1592.56 GiB NVMe
2011.66 GiB
total capacity

Data tiering node specs (도쿄 , MemoryDB . 2node)
Vcpu memory SSD total price (USD) 동일type 상위type
r6gd.xlarge 4 26.32 99.33 125.65 1,620.60 1.5 0.75
r6gd.2xlarge 8 52.82 199.07 251.89 3,236.82 1.5 0.75
r6gd.4xlarge 16 105.81 398.14 503.95 6,469.26 1.5 0.75
r6gd.8xlarge 32 209.55 796.28 1005.83 12,934.14 1.5 1
r6g.xlarge 4 26.32 1,080.40
r6g.2xlarge 8 52.82 2,157.88
r6g.4xlarge 16 105.81 4,312.84
r6g.8xlarge 32 209.55 8,622.76
r6g.12xlarge 48 317.77 12,934.14
r6g.16xlarge 64 419.09 17,244.06
• 예시 : 총 data size 400GB , 자주 호출되는 data 100GB
• R6gd.4xlarge : 6469$ , R6g : 17,244$ , 37.5% 수준

Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Level 300) - 발표자: 이덕현, Sr. Database SA, WWSO, AWS ::: AWS Data Roadshow 2023

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Level 300) - 발표자: 이덕현, Sr. Database SA, WWSO, AWS ::: AWS Data Roadshow 2023

Similar to Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Level 300) - 발표자: 이덕현, Sr. Database SA, WWSO, AWS ::: AWS Data Roadshow 2023 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (14)

Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Level 300) - 발표자: 이덕현, Sr. Database SA, WWSO, AWS ::: AWS Data Roadshow 2023