디지털콘텐츠  SCOTT
<ul><li>MapReduce </li></ul><ul><li>Sawzell </li></ul>
<ul><li>Map + Reduce </li></ul>
<ul><li>MapReduce </li></ul><ul><li>Map -  어떤 데이터의 집합을 받아들여 데이터를  </li></ul><ul><li>생성하는 프로세스 </li></ul><ul><li>Reduce -  ...
데이터 데이터 데이터 Reduce Reduce Map Map Map
<ul><li>MapReduce 의  흐름 </li></ul><ul><li>인덱스의 생성과정과 비슷함 </li></ul><ul><li>Map  -  웹페이지를 가져와 단어 정보 등을 추출  </li></ul><ul><l...
Map Map 에는 키가 되는 데이터와 그에 대응하는 값  2 가지 존재 Map  안에서는 주어진 키를 사용하여 새로운 키와 값을 원하는 만큼 생성  Map 에 의해서 만들어진 새로운 키 값은 자동적으로 정리 한곳으로 ...
Map Map Reduce Reduce 키  1 값  1 키  2 값  2 키  A 값  X 키  B 값  Y 키  B 값  Z A = X B = Y, Z
Map 과  Reduce  과정의 구조도 단어 WordID 학교 101 의 201 페이지 203 벚꽃 301 단풍 302 WordID docID 위치 101 1 1 2 1 201 1 2 2 2 203 1 3 2 3 30...
Shuffle  이란  ? 키 (wordID) 값 (docID) 301 1:0 101 1:1 201 1:2 203 1:3 키 (wordID) 값 (docID) 302 2:0 101 2:1 201 2:2 203 2:3 키...
<ul><li>프로그래밍 언어를 이용한  Reduce 과정 </li></ul>Map(“1”, “ 벚꽃나무학교 페이지” ) ->  (“301”, “1:0”), (“101”, “1:1”), (“201”, “1:2”), (“...
<ul><li>Reduce 과정을 사용하면서 할 수 있는 일들 </li></ul><ul><li>카운터 </li></ul><ul><li>분산 Grep </li></ul><ul><li>분산  Sort </li></ul>
<ul><li>MapReduce  전체 모습 </li></ul>GFS GFS Map Map Reduce Reduce 마스터 워커 워커
<ul><li>Reduce 과정을 사용하면서 할 수 있는 일들 </li></ul><ul><li>카운터 </li></ul><ul><li>분산 Grep </li></ul><ul><li>분산  Sort </li></ul>
<ul><li>Reduce  과정의 전체적 정리 </li></ul><ul><li>Map  처리가 시작된다 . </li></ul><ul><li>셔플이 시작된다 . </li></ul><ul><li>셔플이 계속된다 . </l...
<ul><li>Sawzell </li></ul>
<ul><li>Sawzall  이란 ? </li></ul><ul><li>전반적으로  MapReduce 과정과 유사하나  Map  과정에서 </li></ul><ul><li>Reduce  과정으로 넘어가는 것이  Filte...
데이터 데이터 데이터 필터 필터 필터 어그리게이터
Upcoming SlideShare
Loading in …5
×

구글분산데이터처리

1,224 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,224
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • 구글분산데이터처리

    1. 1. 디지털콘텐츠 SCOTT
    2. 2. <ul><li>MapReduce </li></ul><ul><li>Sawzell </li></ul>
    3. 3. <ul><li>Map + Reduce </li></ul>
    4. 4. <ul><li>MapReduce </li></ul><ul><li>Map - 어떤 데이터의 집합을 받아들여 데이터를 </li></ul><ul><li>생성하는 프로세스 </li></ul><ul><li>Reduce - Map 에 의해서 만들어진 데이터를 모아서 </li></ul><ul><li>최종적으로 원하는 결과로 만들어 내는 </li></ul><ul><li>프로세스 </li></ul>
    5. 5. 데이터 데이터 데이터 Reduce Reduce Map Map Map
    6. 6. <ul><li>MapReduce 의 흐름 </li></ul><ul><li>인덱스의 생성과정과 비슷함 </li></ul><ul><li>Map - 웹페이지를 가져와 단어 정보 등을 추출 </li></ul><ul><li>Reduce - 하나의 인덱스로 모아서 완성 </li></ul><ul><li>웹페이지는 하나의 독립적으로 표현이 가능하기 때문에 </li></ul><ul><li>Map 과 Reduce 라는 프레임워크로 간결하게 표현하는 것이 </li></ul><ul><li>가능 </li></ul>
    7. 7. Map Map 에는 키가 되는 데이터와 그에 대응하는 값 2 가지 존재 Map 안에서는 주어진 키를 사용하여 새로운 키와 값을 원하는 만큼 생성 Map 에 의해서 만들어진 새로운 키 값은 자동적으로 정리 한곳으로 모임 새로운 키와 모든 값들이 Reduce 로 전달 된다 . Reduce 같은 wordID( 키 ’ ) 를 가진 모든 단어 정보 ( 값 ’ ) 를 사용하여 하나로 모으면 Reduce 모여진 wordID( 키 ’ ) 와 단어 정보 ( 값 ’ ) 를 사용하여 검색을 위한 역 인덱스 만듬
    8. 8. Map Map Reduce Reduce 키 1 값 1 키 2 값 2 키 A 값 X 키 B 값 Y 키 B 값 Z A = X B = Y, Z
    9. 9. Map 과 Reduce 과정의 구조도 단어 WordID 학교 101 의 201 페이지 203 벚꽃 301 단풍 302 WordID docID 위치 101 1 1 2 1 201 1 2 2 2 203 1 3 2 3 301 1 0 302 2 0 키 (docID) 값 ( 텍스트 ) 1 벚꽃나무학교의 페이지 2 단풍나무학교의 페이지
    10. 10. Shuffle 이란 ? 키 (wordID) 값 (docID) 301 1:0 101 1:1 201 1:2 203 1:3 키 (wordID) 값 (docID) 302 2:0 101 2:1 201 2:2 203 2:3 키 (wordID) 값 (docID: 위치 ) 의 리스트 101 1:1 2:1 201 1:2 2:2 203 1:3 2:3 301 1:0 302 2:0
    11. 11. <ul><li>프로그래밍 언어를 이용한 Reduce 과정 </li></ul>Map(“1”, “ 벚꽃나무학교 페이지” ) -> (“301”, “1:0”), (“101”, “1:1”), (“201”, “1:2”), (“203”, “1:3”), Map(“2”, “ 단풍나무학교 페이지” ) -> (“302”, “2:0”), (“101”, “2:1”), (“201”, “2:2”), (“203”, “2:3”), Reduce 과정 Reduce(“101”, [“1:1”, “2:1”]) -> “101 = 1:1, 2:1” Reduce(“201”, [“1:2”, “2:2”]) -> “201 = 1:2, 2:2”
    12. 12. <ul><li>Reduce 과정을 사용하면서 할 수 있는 일들 </li></ul><ul><li>카운터 </li></ul><ul><li>분산 Grep </li></ul><ul><li>분산 Sort </li></ul>
    13. 13. <ul><li>MapReduce 전체 모습 </li></ul>GFS GFS Map Map Reduce Reduce 마스터 워커 워커
    14. 14. <ul><li>Reduce 과정을 사용하면서 할 수 있는 일들 </li></ul><ul><li>카운터 </li></ul><ul><li>분산 Grep </li></ul><ul><li>분산 Sort </li></ul>
    15. 15. <ul><li>Reduce 과정의 전체적 정리 </li></ul><ul><li>Map 처리가 시작된다 . </li></ul><ul><li>셔플이 시작된다 . </li></ul><ul><li>셔플이 계속된다 . </li></ul><ul><li>Reduce 처리가 시작된다 . </li></ul><ul><li>Reduce 에 의한 출력 </li></ul><ul><li>MapReduce 의 완료 </li></ul>
    16. 16. <ul><li>Sawzell </li></ul>
    17. 17. <ul><li>Sawzall 이란 ? </li></ul><ul><li>전반적으로 MapReduce 과정과 유사하나 Map 과정에서 </li></ul><ul><li>Reduce 과정으로 넘어가는 것이 Filter 에서 Aggregator </li></ul><ul><li>로 넘어가는 과정이 다르다 </li></ul><ul><li>Map -> Filter </li></ul><ul><li>Reduce -> Aggregator </li></ul><ul><li>Filter 와 Aggregator 는 키값의 구별이 없음 </li></ul><ul><li>Filter 에 의해 선택된 값이 Aggregator 로 정리 </li></ul><ul><li>Filter 를 자유롭기 기술 , Aggregator 는 기존의 것 사용 </li></ul><ul><li>Fliter 를 기술하는 것만으로 분산처리를 시행 </li></ul>
    18. 18. 데이터 데이터 데이터 필터 필터 필터 어그리게이터

    ×