Your SlideShare is downloading. ×
0
Google을 통해 살펴보는분산 파일 시스템의현재와 미래분신기술Lab I 김홍모
분산 파일 시스템분산 파일 시스템
분산 파일 시스템 파일 시스템이란?파일을 저장하고 읽을 수 있는 시스템
분산 파일 시스템파일 시스템과 창고 관리
분산 파일 시스템     메타 정보란?물건의 위치를꼼꼼히 기록해야잃어버리지 않아요            box99 ; 1열 2층
분산 파일 시스템파일 시스템
분산 파일 시스템저장하고자 하는 파일이 너무 많을 경우에는?
분산 파일 시스템여러 대의 컴퓨터를 이용 한다면?
분산 파일 시스템분산 파일 시스템이란?   다수의 컴퓨터를이용해서 구현한 파일 시스템
분산 파일 시스템  많은 웹 서비스들이분산 파일 시스템을 이용해서    자료를 관리
GFSGoogle File System(GFS)
GFS 구글은 얼마나 많은문서를 가지고 있을까?
GFS색인된 문서 수 > 25,270,000,000
GFS문서 하나의 크기를 1KB로 잡으면     총 자료의 크기 >   25,270,000,000 * 1KB      = 25.27 TB
GFSGFS(Google File System)           노트는 필요 없다네
GFS용도
Gmail 만들기Gmail 만들기
Gmail 만들기2004년
Gmail 만들기     Google 최초의Interactive Web Service  효율             반응속도
Gmail 만들기Gmail을 만들어 봅시다
Gmail 만들기           재료들         Google Servlet            Engine                          Big TableGoogle File System
Gmail 만들기    재료 소개 #1Google Servlet Engine 웹 서버 프로그래밍을 위한 도구       Google Servlet          Engine
Gmail 만들기      재료 소개 #2       BigTable GFS 위에서 구동되는 구글의 DBMS         BigTable
Gmail 만들기     방법 #1GFS에 메일 자료를 직접 저장        Google Servlet           Engine      Google File System
Gmail 만들기작은 파일이 너무 많아요!    요즘 두통이 심해
Gmail 만들기       방법 #2BigTable에 메일 자료를 저장        Google Servlet           Engine          BigTable      Google File System
Gmail 만들기BigTable에 자료를  저장하는 것은?
Gmail 만들기GFS가 처리해야 할 파일 수 감소   이것은 선물이야
Gmail 만들기GFS 단일 마스터 구조     모든 요청은 나를     통해야 하지
Gmail 만들기           방법 #3               이중화           Google Servlet              Engine    BigTable                BigTab...
Gmail 만들기  지금까지 우리는1) 메일 자료를 잘 처리하며  2) 서버 장애에 강한     시스템을    성공적으로      구축
Gmail 만들기문제는비용
Gmail 만들기비용 분석GFS 복제 정책  +
Gmail 만들기비용 분석GFS 복제 정책+ 이중화 모델+           ?
Gmail 만들기외전     2011년 2월 27일
Gmail 만들기외전     2011년 2월 28일
Gmail 만들기외전     2011년 3월 1일
Gmail 만들기외전     2011년 3월 2일      복구 완료
Gmail 만들기    비용 분석GFS 복제 정책+ 이중화 모델+ Tape Backup+         ?
Gmail 만들기    전체 비용?+
Gmail 만들기결과는?
GFS를 뛰어넘자GFS를 뛰어넘자
GFS를 뛰어넘자 이 상황을 극복할좋은 방법은 없을까?
GFS를 뛰어넘자  GFS의 단점1) 파일 수 문제2) 마스터 장애에 취약3) 고비용
GFS를 뛰어넘자   작은 파일을잘 처리하기 위해서는?장애 영향을 줄이려면?     나 홀로 외우기는     이제 그만할래
GFS를 뛰어넘자다수의 서버로 많은 메타 정보를 효율적으로 관리할 수 있어야 혼자서는 저 많은 자료를 관리할 수 없어요
GFS를 뛰어넘자#1 메타 정보 꾸러미 도입이름 사전 순으로정리하면 노트 주인만 정하면                  A   하지만 노트들을 어떻게                      분배해야 할까요?         ...
GFS를 뛰어넘자         #2 메타 정보 꾸러미와            서버의 짝 맺음                                                   나는 D                ...
GFS를 뛰어넘자#3 서버에 장애가 발생하더라도     영향을 최소화                                                      나는 D    나는 T                  ...
GFS를 뛰어넘자Distributed Hash Table
GFS를 뛰어넘자작은 파일을 잘 처리하고서버 장애 영향 최소화     성공!
GFS를 뛰어넘자저장 비용을 줄이려면?
GFS를 뛰어넘자그전에 복제는 왜 할까?
GFS를 뛰어넘자외전        조선 왕조 실록      춘추관(서울)   충주서고     세종 8년 등사 해서 분산 보관
GFS를 뛰어넘자외전             조선 왕조 실록 춘추관(서울)     충주서고   전주서고   성주서고           세종 27년 2부씩 추가 등사
GFS를 뛰어넘자외전            조선 왕조 실록  춘추관(서울)   충주서고   전주서고   성주서고선조 25년 임진왜란으로 전주를 제외하고 모두 소실
GFS를 뛰어넘자외전        조선 왕조 실록              전주서고1997년 10월 1일 유네스코 세계기록유산으로 등록
GFS를 뛰어넘자   복제를 하는 이유는자료를 잃어버리지 않기 위해서
GFS를 뛰어넘자자료는 안전하게 보호하지만비용을 줄이는 방법은 없을까?     비용   신뢰성
GFS를 뛰어넘자  Erasure Code자료의 일부를 잃어버려도나머지 자료로 원본을 복구
GFS를 뛰어넘자Erasure Code 사용 #1 원본을 k 조각으로 분할               k Data Slices D        D0   D1    D2 … Dk-1
GFS를 뛰어넘자          Erasure Code 사용 #2 분할된 자료를 이용해 코드 자료 생성     k Data Slices              m Code SlicesD0   D1    D2 … Dk-...
GFS를 뛰어넘자  Erasure Code 사용 #3분할된 자료 및 코드 자료를 모두 저장      k Data Slices        m Code Slices D0   D1   D2 … Dk-1   +   C0 … ...
GFS를 뛰어넘자             Erasure Code 사용 #4 저장된 자료의 일부를 잃어버려도 원본을 복구     k Data Slices    m Code SlicesD0   D1   D2 … Dk-1 + ...
GFS를 뛰어넘자     시뮬레이션             MTTF = 27216h12           MTTR = 24h + alpha             Availability may vary by site env...
GFS를 뛰어넘자           비용 비교  Erasure Code를 이용하면      비용이 절반으로           복제             Erasure Code가용성        99.99999999%  ...
GFS를 뛰어넘자   낮은 비용으로자료를 안전하게 저장하기     성공!
GFS를 뛰어넘자GFS를 뛰어넘는 두 가지 키워드  1) 분산 메타 관리 체계     2) Erasure Code
GFS를 뛰어넘자Google의 답안은?  Colossus
GFS를 뛰어넘자KTH의 답안은? PrismFS !!
PrismFSPrismFS
PrismFS                              PrismFS 구조                    Data Server Group   Data Server Group   Management Grou...
PrismFS       PrismFS 특징1)   분산 메타 관리 체계2)   Erasure Code 기반 자료 보호3)   REST API4)   모든 자료에 check-sum 적용5)   통합된 관리 체계
QnAQnA
감사합니다.클라우드연구소 / 분산기술 Lab / 김홍모     aadvarkk@kthcorp.com
Upcoming SlideShare
Loading in...5
×

H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모

578

Published on

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
578
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
11
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Transcript of "H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모"

  1. 1. Google을 통해 살펴보는분산 파일 시스템의현재와 미래분신기술Lab I 김홍모
  2. 2. 분산 파일 시스템분산 파일 시스템
  3. 3. 분산 파일 시스템 파일 시스템이란?파일을 저장하고 읽을 수 있는 시스템
  4. 4. 분산 파일 시스템파일 시스템과 창고 관리
  5. 5. 분산 파일 시스템 메타 정보란?물건의 위치를꼼꼼히 기록해야잃어버리지 않아요 box99 ; 1열 2층
  6. 6. 분산 파일 시스템파일 시스템
  7. 7. 분산 파일 시스템저장하고자 하는 파일이 너무 많을 경우에는?
  8. 8. 분산 파일 시스템여러 대의 컴퓨터를 이용 한다면?
  9. 9. 분산 파일 시스템분산 파일 시스템이란? 다수의 컴퓨터를이용해서 구현한 파일 시스템
  10. 10. 분산 파일 시스템 많은 웹 서비스들이분산 파일 시스템을 이용해서 자료를 관리
  11. 11. GFSGoogle File System(GFS)
  12. 12. GFS 구글은 얼마나 많은문서를 가지고 있을까?
  13. 13. GFS색인된 문서 수 > 25,270,000,000
  14. 14. GFS문서 하나의 크기를 1KB로 잡으면 총 자료의 크기 > 25,270,000,000 * 1KB = 25.27 TB
  15. 15. GFSGFS(Google File System) 노트는 필요 없다네
  16. 16. GFS용도
  17. 17. Gmail 만들기Gmail 만들기
  18. 18. Gmail 만들기2004년
  19. 19. Gmail 만들기 Google 최초의Interactive Web Service 효율 반응속도
  20. 20. Gmail 만들기Gmail을 만들어 봅시다
  21. 21. Gmail 만들기 재료들 Google Servlet Engine Big TableGoogle File System
  22. 22. Gmail 만들기 재료 소개 #1Google Servlet Engine 웹 서버 프로그래밍을 위한 도구 Google Servlet Engine
  23. 23. Gmail 만들기 재료 소개 #2 BigTable GFS 위에서 구동되는 구글의 DBMS BigTable
  24. 24. Gmail 만들기 방법 #1GFS에 메일 자료를 직접 저장 Google Servlet Engine Google File System
  25. 25. Gmail 만들기작은 파일이 너무 많아요! 요즘 두통이 심해
  26. 26. Gmail 만들기 방법 #2BigTable에 메일 자료를 저장 Google Servlet Engine BigTable Google File System
  27. 27. Gmail 만들기BigTable에 자료를 저장하는 것은?
  28. 28. Gmail 만들기GFS가 처리해야 할 파일 수 감소 이것은 선물이야
  29. 29. Gmail 만들기GFS 단일 마스터 구조 모든 요청은 나를 통해야 하지
  30. 30. Gmail 만들기 방법 #3 이중화 Google Servlet Engine BigTable BigTableGoogle File System Google File System
  31. 31. Gmail 만들기 지금까지 우리는1) 메일 자료를 잘 처리하며 2) 서버 장애에 강한 시스템을 성공적으로 구축
  32. 32. Gmail 만들기문제는비용
  33. 33. Gmail 만들기비용 분석GFS 복제 정책 +
  34. 34. Gmail 만들기비용 분석GFS 복제 정책+ 이중화 모델+ ?
  35. 35. Gmail 만들기외전 2011년 2월 27일
  36. 36. Gmail 만들기외전 2011년 2월 28일
  37. 37. Gmail 만들기외전 2011년 3월 1일
  38. 38. Gmail 만들기외전 2011년 3월 2일 복구 완료
  39. 39. Gmail 만들기 비용 분석GFS 복제 정책+ 이중화 모델+ Tape Backup+ ?
  40. 40. Gmail 만들기 전체 비용?+
  41. 41. Gmail 만들기결과는?
  42. 42. GFS를 뛰어넘자GFS를 뛰어넘자
  43. 43. GFS를 뛰어넘자 이 상황을 극복할좋은 방법은 없을까?
  44. 44. GFS를 뛰어넘자 GFS의 단점1) 파일 수 문제2) 마스터 장애에 취약3) 고비용
  45. 45. GFS를 뛰어넘자 작은 파일을잘 처리하기 위해서는?장애 영향을 줄이려면? 나 홀로 외우기는 이제 그만할래
  46. 46. GFS를 뛰어넘자다수의 서버로 많은 메타 정보를 효율적으로 관리할 수 있어야 혼자서는 저 많은 자료를 관리할 수 없어요
  47. 47. GFS를 뛰어넘자#1 메타 정보 꾸러미 도입이름 사전 순으로정리하면 노트 주인만 정하면 A 하지만 노트들을 어떻게 분배해야 할까요? B됩니다. … Y Z
  48. 48. GFS를 뛰어넘자 #2 메타 정보 꾸러미와 서버의 짝 맺음 나는 D U 부터 D 까지 관리 나는 T P 부터 T 까지 관리 X YZA B C D D W E VT U F T G S H 나는 O R I E 부터 O 까지 관리 Q J PO K NM L O
  49. 49. GFS를 뛰어넘자#3 서버에 장애가 발생하더라도 영향을 최소화 나는 D 나는 T U 부터 D 까지 관리 P 부터 T 까지 관리 추가로 E 부터 O 도 관리 X YZA B C D D W E VT U F T G S H X R I 오늘부터 휴가 Q J PO K NM L O
  50. 50. GFS를 뛰어넘자Distributed Hash Table
  51. 51. GFS를 뛰어넘자작은 파일을 잘 처리하고서버 장애 영향 최소화 성공!
  52. 52. GFS를 뛰어넘자저장 비용을 줄이려면?
  53. 53. GFS를 뛰어넘자그전에 복제는 왜 할까?
  54. 54. GFS를 뛰어넘자외전 조선 왕조 실록 춘추관(서울) 충주서고 세종 8년 등사 해서 분산 보관
  55. 55. GFS를 뛰어넘자외전 조선 왕조 실록 춘추관(서울) 충주서고 전주서고 성주서고 세종 27년 2부씩 추가 등사
  56. 56. GFS를 뛰어넘자외전 조선 왕조 실록 춘추관(서울) 충주서고 전주서고 성주서고선조 25년 임진왜란으로 전주를 제외하고 모두 소실
  57. 57. GFS를 뛰어넘자외전 조선 왕조 실록 전주서고1997년 10월 1일 유네스코 세계기록유산으로 등록
  58. 58. GFS를 뛰어넘자 복제를 하는 이유는자료를 잃어버리지 않기 위해서
  59. 59. GFS를 뛰어넘자자료는 안전하게 보호하지만비용을 줄이는 방법은 없을까? 비용 신뢰성
  60. 60. GFS를 뛰어넘자 Erasure Code자료의 일부를 잃어버려도나머지 자료로 원본을 복구
  61. 61. GFS를 뛰어넘자Erasure Code 사용 #1 원본을 k 조각으로 분할 k Data Slices D D0 D1 D2 … Dk-1
  62. 62. GFS를 뛰어넘자 Erasure Code 사용 #2 분할된 자료를 이용해 코드 자료 생성 k Data Slices m Code SlicesD0 D1 D2 … Dk-1 Coding C0 … Cm-1
  63. 63. GFS를 뛰어넘자 Erasure Code 사용 #3분할된 자료 및 코드 자료를 모두 저장 k Data Slices m Code Slices D0 D1 D2 … Dk-1 + C0 … Cm-1
  64. 64. GFS를 뛰어넘자 Erasure Code 사용 #4 저장된 자료의 일부를 잃어버려도 원본을 복구 k Data Slices m Code SlicesD0 D1 D2 … Dk-1 + C0 … Cm-1 D
  65. 65. GFS를 뛰어넘자 시뮬레이션 MTTF = 27216h12 MTTR = 24h + alpha Availability may vary by site env10 8 6 Additional Space (Ratio) Payload (Ratio) 4 Availability (# of 9) 2 0
  66. 66. GFS를 뛰어넘자 비용 비교 Erasure Code를 이용하면 비용이 절반으로 복제 Erasure Code가용성 99.99999999% 99.999999999%비용(원본대비) 300% 150%
  67. 67. GFS를 뛰어넘자 낮은 비용으로자료를 안전하게 저장하기 성공!
  68. 68. GFS를 뛰어넘자GFS를 뛰어넘는 두 가지 키워드 1) 분산 메타 관리 체계 2) Erasure Code
  69. 69. GFS를 뛰어넘자Google의 답안은? Colossus
  70. 70. GFS를 뛰어넘자KTH의 답안은? PrismFS !!
  71. 71. PrismFSPrismFS
  72. 72. PrismFS PrismFS 구조 Data Server Group Data Server Group Management Group Deploy Map Distributed Meta System Status CollectorREST Client Group REST Front REST Front Dash Board REST Front REST Front REST Front REST Front Distributed Data Server Group Data Server Group Directory Service Data Server Group
  73. 73. PrismFS PrismFS 특징1) 분산 메타 관리 체계2) Erasure Code 기반 자료 보호3) REST API4) 모든 자료에 check-sum 적용5) 통합된 관리 체계
  74. 74. QnAQnA
  75. 75. 감사합니다.클라우드연구소 / 분산기술 Lab / 김홍모 aadvarkk@kthcorp.com
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×