D2 sonic시스템구조및활용

내용 I. 모아보기란? II. 싸이월드 서비스의 특징 III. 모아보기를 제공 하기 위해 고려 되어야 할 점 IV. SONIC 구성 V. SONIC 세부 구조 VI. 질문 / 답변2

모아보기란?  SONIC 시스템을 이용, 싸이월드 회원들의 활동을 뉴스 피드로 제공  SOcial Network Information Connector  일촌 / 팬 기반의 소식 전달  3가지 분류의 소식을 제공  자싞의 활동 내역  일촌/팬의 활동 내역  „나‟를 대상으로 한 활동내역3

모아보기란? 발표자의 C로그4

싸이월드 서비스의 특징 (1/2)  공개 설정이 다양함  4개의 일촌 그룹 (1/2/3/4)  관심일촌  팬5

싸이월드 서비스의 특징 (2/2)  다양한 플랫폼 (플랫폼별 Data Format 상이)  미니홈피  싸이블로그  Clog  네이트6

모아보기를 제공 하기 위해 고려 되어야 할 점 피드 전달이 실 서비스에 •비동기 데이터 처리 영향을 주지 않음 •예) 태극 홈피 일촌 수 100만명 서비스의 변화에 •스크립트를 통한 비즈니스 로직 처리 유연하게 대응 가능 •서버 정지 없이 로직 변경 가능 •분당 8,000건의 새글 데이터 빈번한 데이터 •분당 600,000건의 피드 발송 삽입 / 수정 •DB 처리시 상당한 부하 예상 문서의 수정 및 일촌 그룹 •데이터의 중복 저장 시 과다한 수정 비용 발생 변경의 실시갂 반영 •키 데이터와 컨텐츠 데이터의 분리 저장7

SONIC 시스템 구성  Sonicd 데몬 제작  비 동기 처리 가능  스크립트로 비즈니스 로직을 구성 가능 • 스크립트에 따라 로직이 바뀌므로 한 종류의 데몬으로 시스템 구성 가능  저장소 기능 • 자체 제작 B+tree 기반의 DB • Message-Queue • 각 삽입 / 수정 / 삭제 연산에 대해 트랜잭션 로그로 관리(장애 복구)  SONIC 시스템 구성  피드 = 키와 활동자 정보만 저장하는 토큰  피드에 저장된 키를 통해 데이터를 쿼리 Buddy Feed/Inbox Data Input (SVC) Dispatcher Meta Interface Query (WEB) Contents DBCache8

SONIC 세부 구조  각 사용자는 자싞의 저장소를 가짐  저장소에 „피드‟라는 작은 데이터만 저장  피드는 하나의 데이터에 여러 개가 생성  내부 키, 작성자, 초기 열람 권한, 서비스 종류 등  저장 공갂을 낭비하지 않기 위해 큰 데이터는 Contents 서버에 별도로 저장  회원당 3개의 목록 Feed/Inbox  내가 쓴 글 Query (WEB) Interface  일촌/팬이 쓴 글 Contents DBCache  반가운 소식 A가 글을 작성 나에게 피드 발송 A의 내 모아보기 A A A A A B의 일촌/팬 모아보기 일촌인 B,C에게 발송 모아보기 서비스 A C A D C 한 번에 모아보기 화면에 C의 일촌/팬 모아보기 필요한 데이터를 가져옴 A B D A E9

SONIC 세부 구조  Dispatcher  피드 생성, 일촌변경 등 실제 Operation 수행  모아보기의 모든 데이터 입력 처리 (입력 데이터 분석)  외부 키 추출 후, 내부 키 매핑 작업 {SVC:”미니홈피 게시판”, 폴더번호 : 3, 게시글번호 : 501, 홈주인 : “나주인”, 제목 : “즐거운 모아보기”, 내 용 : “즐거운 세상~”, 폴더권 한 : “1촌공개-그룹1,3”, 글권 한 : “1촌공개”, …} Buddy Feed/Inbox Query Data Input (SVC) Dispatcher Meta Interface Contents DBCache10

SONIC 세부 구조  Meta-comment list  외부 데이터의 키를 Contents 서버의 UID와 연결 SVC Key -> UID (시계열 key – timestamp) 사용자 : 나주인 의 키 매핑 테이블 홈주인 : “나주인” 서비스 종류 폴더 번호 게시글 번호 발급된 키 미니홈피 게시판 3 495 12eef5718ef 서비스 종류 : ”미니홈피 게시판” 미니홈피 게시판 4 498 1300f5708ef 블로그 게시판 201 10071 1200f5708ef 폴더번호 : 3 게시글번호 : 501 Buddy Feed/Inbox Data Input Dispatcher Meta Interface Query Contents DBCache11

SONIC 세부 구조  Dispatcher  외부키 – 내부키 매핑이 없을 시 내부키 싞규 발급  매핑 테이블 저장 -> Meta 서버  내부 키 : UID (시계열 key – timestamp) 사용자 : 나주인 의 키 매핑 테이블 홈주인 : “나주인” 서비스 종류 폴더 번호 게시글 번호 발급된 키 서비스 종류 : 미니홈피 게시판 3 495 12eef5718ef ”미니홈피 게시판” 미니홈피 게시판 3 501 1400f0708ef 폴더번호 : 3 미니홈피 게시판 4 498 1300f5708ef 블로그 게시판 201 10071 1200f5708ef 게시글번호 : 501 Buddy Feed/Inbox Data Input Dispatcher Meta Interface Query Contents DBCache12

SONIC 세부 구조  Contents-Data  글 Feed의 실제 내용이 저장되는 서버  UID가 key인 B+tree 테이블 (Berkeley DB를 사용해 구현)  일부 필드 (공개권한, 댓글수, 폴더번호)는 부분 업데이트 기능을 제공 { 1400f0708ef : 내부 키 (UID) 내용 { SVC:”미니홈피 게시판”, 1400f0708ef { 폴더번호 : 3, SVC : ”미니홈피 게시판”, 게시글번호 : 501, 폴더번호 : 3, 홈주인 : “나주인”, 게시글번호 : 501, 제목 : “즐거운 모아보기”, 홈주인 : “나주인”, 내용 : “즐거운 세상~”, 제목 : “즐거운 모아보기”, 내용 : “즐거운 세상~”, 폴더권한 : “1촌공개-그룹1,3”, 폴더권한 : “1촌공개-그룹1,3”, 글권한 : “1촌공개”, … 글권한 : “1촌공개” } } } Buddy Feed/Inbox Message Query (WEB) Queue Dispatcher Meta Interface Contents DBCache13

SONIC 세부 구조  Dispatcher  피드 생성 후 발송  피드 : 서비스번호 + 내부키 + 활동자 + 피드 생성시 권한  발송 대상은 Buddy 서버로 부터 조회  Buddy  싸이월드 회원의 일촌/팬 관계를 가지고 있는 서버 • 항상 실시갂으로 일촌/팬DB와 동기화 중 { 서비스 : 미니홈피 게시판 글, 내부키 : 1400f0708ef. 작성자 : 박문자, 권한 : 1촌그룹 1,3에 공개 Buddy } Feed/Inbox Message Query Queue Dispatcher Meta Interface Contents DBCache14

SONIC 세부 구조 사용자 : 나주인 의 반가운 소식 테이블 서비스 종류 내부 키 활동자 권한 미니홈피 게시판 글 1400f0708ef 박문자 1촌 그룹 1,3에 공개 … … … … 사용자 : 박문자 의 내가 쓴 글 테이블 서비스 종류 내부 키 활동자 권한 미니홈피 게시판 글 1400f0708ef 박문자 1촌 그룹 1,3에 공개 … … … … 사용자 : 박문자 의 일촌 나일촌 의 일촌/팬 소식 테이블 서비스 종류 내부 키 활동자 권한 미니홈피 게시판 글 1400f0708ef 박문자 1촌 그룹 1,3에 공개 … … … … { 서비스 : 미니홈피 게시판 글, 내부키 : 1400f0708ef. 작성자 : 박문자, Buddy 권한 : 1촌그룹 1,3에 공개 } Feed/Inbox Dispatcher15

SONIC 세부 구조  조회 시 동작 (Query)  HTTP request 수싞 홈주인 : 나주인 방문자 : 박문자 타입 : 내가 쓴 글 개수 : 20 Buddy Feed/Inbox Interface Query Contents DBCache16

SONIC 세부 구조  조회 시 동작  홈주인과 방문자가 다른 경우, Buddy서버에서 홈주인과 방문자의 관계 쿼리 사용자 : 12345678 의 일촌 테이블 홈주인 : 나주인 일촌 그룹 관심일촌 수싞금지 설정 박문자 3 O 수신 허용 방문자 : 박문자 나일촌 1 X 수신금지 개수 : 20 … … … … 방문자는 홈주인의 Buddy 일촌 그룹 3에 속함 Feed/Inbox Interface Query Contents DBCache17

SONIC 세부 구조  조회 시 동작  Feed-inbox 서버에서 공개 권한(그룹 3이 볼 수 있는)에 맞는 피드 n개 가져옴  데이터가 필요한 피드는 Contents서버나 외부 서비스 서버에서 내용을 가져옴 • 데이터가 삭제되거나 오류로 인해 조회할 수 없는 경우에는 해당 피드를 결과목록에서 제거 사용자 : 나주인 의 내가 쓴 글 테이블 서비스 종류 내부 키 활동자 권한 홈주인 : 나주인 미니홈피 게시판 글 1412f0708ef 나주인 1촌 그룹 1,3에 공개 … … … … 타입 : 내가 쓴 글 { 1412f0708ef : 방문자 : 박문자 { SVC:”미니홈피 게시판”, 폴더번호 : 3, 게시글번호 : 501, 개수 : 20 홈주인 : “나주인”, 제목 : “즐거운 모아보기”, 내용 : “즐거운 세상~”, 폴더권한 : “1촌공개-그룹1”, 글권한 : “1촌공개”, … } } Buddy 방문자는 홈주인의 일촌 그룹 3에 속함 Feed/Inbox Interface Query Contents DBCache18

SONIC 세부 구조  조회 시 동작  데이터의 공개권한을 보고 보여줄 수 없는 피드라면 결과목록에서 제거 • 예) 1) 최초 피드 발송시 공개권한 : 그룹 1, 3 2) 게시글 권한 수정으로 그룹 1에만 공개로 수정 홈주인 : 나주인 3) 최종 그룹 1에만 공개 권한이 있으므로 해당 피드 제거 타입 : 내가 쓴 글 방문자 : 박문자  결과목록의 피드 수가 부족하면 위의 과정을 다시 반복 개수 : 20 사용자 : 나주인 의 내가 쓴 글 테이블 { 1412f0708ef : 서비스 종류 내부 키 활동자 권한 { SVC:”미니홈피 게시판”, 폴더번호 : 3, 게시글번호 : 501, 홈주인 : “나주인”, 제목 : “즐거운 모아보기”, 내용 : “즐거운 세상~”, 미니홈피 게시판 글 1412f0708ef 나주인 1촌 그룹 1,3에 공개 폴더권한 : “1촌공개-그룹1”, 글권한 : “1촌공개”, … } } … … … … Buddy Feed/Inbox Interface Query Contents DBCache19

SONIC 시스템의 활용20

Q&A  감사합니다.21

D2 sonic시스템구조및활용

by deview on Oct 17, 2011

Accessibility

Upload Details

Usage Rights

Statistics

D2 sonic시스템구조및활용 — Presentation Transcript