2017 Pivotal Big Data Roadshow

1. Southwest 항공사 사례를 통한
실시간 데이터 처리 방법 소개
Haewon Shin
Sr. Platform Architect, Pivotal Korea
hshin@pivotal.io

2. We believe transforming how the
world builds software will shape
the future of our world

3. In-Memory @ Southwest
OPS SUITE
CARGO
CREW
SOUTHWEST.COM

4. 4
“통합”된
스케줄 정보로
최적화된 의사 결정

5. 향후 10년동안
지속적인 성장이 목표

6. 6
수천명의 웹 사용자가
실시간 운항 정보 조회

7. 7
데이터 센터 확장
및
일관성 보장

8. NOC
(Network
Operation Control)
8

13. Southwest notched an 87.6 percent on-time arrival
rate for February. Delta was second among the four
largest domestic carriers, with 82.3 percent of its
flights arriving on time in February. United States
Department of Transportation rules say a flight must
arrive within 14 minutes of its scheduled arrival time
to be designated on-time.
To pull off its win, Southwest in recent weeks has
been more aggressive in its boarding procedures –
loading departing passengers sooner and faster on to
its planes and, whenever possible, trying to push back
from the gate ahead of the scheduled departure time.

14. Boundaries
DOMAINS
CORE DOMAIN
SUPPORTING
DOMAIN
PATTERNS
PARREL
PROCESSING
ASYNC
BEHAVIOR
TEAMS
SOFTWARE
FOCUS
ORG FOCUS
GEMFIRE
NODES ACROSS
AZs
GC, WAN

15. Domain tradeoffs
DOMAINS
CORE DOMAIN
SUPPORTING
DOMAIN
PATTERNS
PARREL
PROCESSING
ASYNC
BEHAVIOR
TEAMS
SOFTWARE
FOCUS
ORG FOCUS
GEMFIRE
NODES ACROSS
AZs
GC, WAN

16. Domain tradeoffs
Ÿ 무엇을 소유합니까?
Ÿ 무엇이 필요합니까?
Ÿ 얼마나 오랫동안 데이터를 갖고 있어야 하나요?

17. Domain Driven Design (DDD)
CORE DOMAIN
SUPPORTING DOMAIN
UBIQUITOUS LANGUAGE
AGGREGATES
DOMAIN EVENTS

18. Ÿ 무엇을 소유합니까? (core)
<invest>
Ÿ 무엇이 필요합니까? (supporting)
<simplify>
Ÿ 얼마나 오랫동안 데이터를 갖고 있어야 하나요?
<intentional>

20. Vangard

21. Ÿ 무엇을 소유합니까? (core)
<invest>
Ÿ 무엇이 필요합니까? (supporting)
<simplify>
Ÿ 얼마나 오랫동안 데이터를 갖고 있어야 하나요?
<intentional>

22. 추가는 아주 쉽다
너무 오래 저장되는 데이터를 조심하라
데이터 저장소
크기
모든 데이터가
메모리에 있어야
하는가?
오랫동안 사용되지
않는 데이터
(> 365일)

23. Pattern tradeoffs
DOMAINS
CORE DOMAIN
SUPPORTING
DOMAIN
PATTERNS
PARREL
PROCESSING
ASYNC
BEHAVIOR
TEAMS
SOFTWARE
FOCUS
ORG FOCUS
GEMFIRE
NODES ACROSS
AZs
GC, WAN

24. OLD NEW
NORMALIZED JOINS
REGIONS FOR READS
REGIOS FOR AGGREGATES
BLOCKING THREADS ASNC – AKKA / ACTORS
ACTIVE / PASSIVE ACTIVE / ACTIVE
MUTABLE STATE
IMMUTABILITY / EVENT SOURCING
DATA CONVERGENCE
CRUD
CQRS / DDD
EVENT DRIVEN

25. Safety Tips
Ÿ 타임아웃 주의
Ÿ Alert 주의
Ÿ Join 주의
Ÿ Large value 주의
Ÿ 오래된 습관 주의

26. Teams
DOMAINS
CORE DOMAIN
SUPPORTING
DOMAIN
PATTERNS
PARREL
PROCESSING
ASYNC
BEHAVIOR
TEAMS
SOFTWARE
FOCUS
ORG FOCUS
GEMFIRE
NODES ACROSS
AZs
GC, WAN

27. 분산 시스템별 역할 분담
DBA
UNIX
DEVs
Middleware
Release
Management
Offshore Support
New GemFire Team
DevOps
GemFire 보안 통합
JVM 크기 및 GC 튜닝
환경 배치 및 업그레이드
VM 사이징 및 구성
운영 이벤트 지원
WAN Gateway Sender/Receiver 구성
환경 간 스냅샷 로드
클러스터 구동/중지 자동화
CAP 이론 등 분산 개념 전수

28. opssuite-all-schedule-core.jar
Ÿ 레파지토리를 분리해서 사용
Ÿ 팀별로 레파지토리 오너십 분리
Ÿ 팀 간 jar 종속성을 최소화

29. GemFire
DOMAINS
CORE DOMAIN
SUPPORTING
DOMAIN
PATTERNS
PARREL
PROCESSING
ASYNC
BEHAVIOR
TEAMS
SOFTWARE
FOCUS
ORG FOCUS
GEMFIRE
NODES ACROSS
AZs
GC, WAN

30. GemFire 특징
Cloud-ready
수평적 확장 자동 장애 복구 신뢰성 있는 이벤트 모델
멀티사이트 고가용성
데이터베이스와의 통합
App 1 App 3App 2

31. Locators
동기화 읽기/쓰기 및
비동기 쓰기 가능
탐지 및 부하 분산
클라이언트에서도 디스크
캐시 사용 가능
(cache w/ disk overflow)
Java
Client
C#
Client
C++
Client
DB
클라이언트에 투명한 데이터 파
티션, 중복 처리
동적 노드 추가 확장
데이터 퍼시스턴스 / 디스크 백
업
M… M1 M2 M3
GemFire 아키텍처

32. • Check out http://geode.incubator.apache.org
• Subscribe: user-subscrube@geode.incubator.apache.org
• Download: http://geode.incubator.apache.org/releases