© 2013 Gruter. All rights reserved.
SNS 서비스 구축 사례
2013.08.29
장정식 수석 연구원
© 2013 Gruter. All rights reserved.2
Contents
• SNS: architectural considerations
– Distributed DB
– Cache Cluster
– Distr...
© 2013 Gruter. All rights reserved.3
SNS – Key architectural considerations
• 확장
- 데이터 증가
- 관계 증가
• 관리
- 데이터 re-balancing
...
© 2013 Gruter. All rights reserved.4
Distributed DB (code name: trotter)
• MySQL 기반의 sharding
• Shard master (meta), shard...
© 2013 Gruter. All rights reserved.5
Distributed DB
© 2013 Gruter. All rights reserved.6
Cache cluster (code name: chamber)
• memcached, redis 기반의 캐시 클러스터
• 캐시 proxy client; ...
© 2013 Gruter. All rights reserved.7
Distributed Queue Workers
• Zookeeper 기반의 producer/consumer
• 작업 내용별 worker daemon
• ...
GRUTER: YOUR PARTNER
IN THE BIG DATA REVOLUTION
Phone +82-70-8129-2950
Fax +82-70-8129-2952
E-mail contact@gruter.com
Web ...
Upcoming SlideShare
Loading in...5
×

GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례

1,119

Published on

- SNS 서비스의 빅데이터 요구 사항
- 캐시, 샤딩, 메시지큐 등 아키텍처 적용 사례

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,119
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
105
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례

  1. 1. © 2013 Gruter. All rights reserved. SNS 서비스 구축 사례 2013.08.29 장정식 수석 연구원
  2. 2. © 2013 Gruter. All rights reserved.2 Contents • SNS: architectural considerations – Distributed DB – Cache Cluster – Distributed Queue Workers
  3. 3. © 2013 Gruter. All rights reserved.3 SNS – Key architectural considerations • 확장 - 데이터 증가 - 관계 증가 • 관리 - 데이터 re-balancing - 복잡도 증가; 수작업 관리 불가 • 성능 - decent 저장소 성능 - read intensive (캐시) - asynchronous processing (큐)
  4. 4. © 2013 Gruter. All rights reserved.4 Distributed DB (code name: trotter) • MySQL 기반의 sharding • Shard master (meta), shard 데이터 DB로 구성 • 아키텍처 검증 테스트: vs. MongoDB vs. HBase – decent 성능 – 안정성 – 운영/관리 편의 – 다양한 지원 library
  5. 5. © 2013 Gruter. All rights reserved.5 Distributed DB
  6. 6. © 2013 Gruter. All rights reserved.6 Cache cluster (code name: chamber) • memcached, redis 기반의 캐시 클러스터 • 캐시 proxy client; connection관리, consistent hashing • zookeeper 기반 membership 관리 • 원본 메세지, 타임라인, shard meta info
  7. 7. © 2013 Gruter. All rights reserved.7 Distributed Queue Workers • Zookeeper 기반의 producer/consumer • 작업 내용별 worker daemon • 메세지 전파/삭제, 문서 프로세싱 Work queue/coordinator Zookeeper Application work producer work producer Task spec Worker node docproc. worker Worker node propa. worker . . . propa. worker docproc. worker . . . T T T T T T
  8. 8. GRUTER: YOUR PARTNER IN THE BIG DATA REVOLUTION Phone +82-70-8129-2950 Fax +82-70-8129-2952 E-mail contact@gruter.com Web www.gruter.com © 2013 Gruter. All rights reserved. Gruter, Inc. 5F Sehwa Office Building 889-70 Daechi-dong, Gangnam-gu, Seoul, South Korea 135-839

×