GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례
Upcoming SlideShare
Loading in...5
×
 

GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례

on

  • 1,096 views

- SNS 서비스의 빅데이터 요구 사항

- SNS 서비스의 빅데이터 요구 사항
- 캐시, 샤딩, 메시지큐 등 아키텍처 적용 사례

Statistics

Views

Total Views
1,096
Views on SlideShare
1,096
Embed Views
0

Actions

Likes
2
Downloads
93
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례 GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례 Presentation Transcript

  • © 2013 Gruter. All rights reserved. SNS 서비스 구축 사례 2013.08.29 장정식 수석 연구원
  • © 2013 Gruter. All rights reserved.2 Contents • SNS: architectural considerations – Distributed DB – Cache Cluster – Distributed Queue Workers
  • © 2013 Gruter. All rights reserved.3 SNS – Key architectural considerations • 확장 - 데이터 증가 - 관계 증가 • 관리 - 데이터 re-balancing - 복잡도 증가; 수작업 관리 불가 • 성능 - decent 저장소 성능 - read intensive (캐시) - asynchronous processing (큐)
  • © 2013 Gruter. All rights reserved.4 Distributed DB (code name: trotter) • MySQL 기반의 sharding • Shard master (meta), shard 데이터 DB로 구성 • 아키텍처 검증 테스트: vs. MongoDB vs. HBase – decent 성능 – 안정성 – 운영/관리 편의 – 다양한 지원 library
  • © 2013 Gruter. All rights reserved.5 Distributed DB
  • © 2013 Gruter. All rights reserved.6 Cache cluster (code name: chamber) • memcached, redis 기반의 캐시 클러스터 • 캐시 proxy client; connection관리, consistent hashing • zookeeper 기반 membership 관리 • 원본 메세지, 타임라인, shard meta info
  • © 2013 Gruter. All rights reserved.7 Distributed Queue Workers • Zookeeper 기반의 producer/consumer • 작업 내용별 worker daemon • 메세지 전파/삭제, 문서 프로세싱 Work queue/coordinator Zookeeper Application work producer work producer Task spec Worker node docproc. worker Worker node propa. worker . . . propa. worker docproc. worker . . . T T T T T T
  • GRUTER: YOUR PARTNER IN THE BIG DATA REVOLUTION Phone +82-70-8129-2950 Fax +82-70-8129-2952 E-mail contact@gruter.com Web www.gruter.com © 2013 Gruter. All rights reserved. Gruter, Inc. 5F Sehwa Office Building 889-70 Daechi-dong, Gangnam-gu, Seoul, South Korea 135-839