SlideShare a Scribd company logo
1 of 18
디지털콘텐츠  SCOTT
[object Object],[object Object]
[object Object]
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
데이터 데이터 데이터 Reduce Reduce Map Map Map
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Map Map 에는 키가 되는 데이터와 그에 대응하는 값  2 가지 존재 Map  안에서는 주어진 키를 사용하여 새로운 키와 값을 원하는 만큼 생성  Map 에 의해서 만들어진 새로운 키 값은 자동적으로 정리 한곳으로 모임 새로운 키와 모든 값들이  Reduce 로 전달 된다 . Reduce 같은  wordID( 키 ’ ) 를 가진 모든 단어 정보 ( 값 ’ ) 를 사용하여  하나로 모으면  Reduce 모여진  wordID( 키 ’ ) 와 단어 정보 ( 값 ’ ) 를 사용하여 검색을 위한  역 인덱스 만듬
Map Map Reduce Reduce 키  1 값  1 키  2 값  2 키  A 값  X 키  B 값  Y 키  B 값  Z A = X B = Y, Z
Map 과  Reduce  과정의 구조도 단어 WordID 학교 101 의 201 페이지 203 벚꽃 301 단풍 302 WordID docID 위치 101 1 1 2 1 201 1 2 2 2 203 1 3 2 3 301 1 0 302 2 0 키 (docID) 값 ( 텍스트 ) 1 벚꽃나무학교의 페이지 2 단풍나무학교의 페이지
Shuffle  이란  ? 키 (wordID) 값 (docID) 301 1:0 101 1:1 201 1:2 203 1:3 키 (wordID) 값 (docID) 302 2:0 101 2:1 201 2:2 203 2:3 키 (wordID) 값 (docID: 위치 ) 의 리스트 101 1:1  2:1 201 1:2  2:2 203 1:3  2:3 301 1:0 302 2:0
[object Object],Map(“1”, “ 벚꽃나무학교 페이지” ) ->  (“301”, “1:0”), (“101”, “1:1”), (“201”, “1:2”), (“203”, “1:3”), Map(“2”, “ 단풍나무학교 페이지” ) ->  (“302”, “2:0”), (“101”, “2:1”), (“201”, “2:2”), (“203”, “2:3”), Reduce  과정 Reduce(“101”, [“1:1”, “2:1”]) -> “101 = 1:1, 2:1” Reduce(“201”, [“1:2”, “2:2”]) -> “201 = 1:2, 2:2”
[object Object],[object Object],[object Object],[object Object]
[object Object],GFS GFS Map Map Reduce Reduce 마스터 워커 워커
[object Object],[object Object],[object Object],[object Object]
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
[object Object]
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
데이터 데이터 데이터 필터 필터 필터 어그리게이터

More Related Content

More from imscott

Google Birth2
Google Birth2Google Birth2
Google Birth2imscott
 
Google Birth2
Google Birth2Google Birth2
Google Birth2imscott
 
Google Birth2
Google Birth2Google Birth2
Google Birth2imscott
 
Google Birth2
Google Birth2Google Birth2
Google Birth2imscott
 

More from imscott (7)

Google2
Google2Google2
Google2
 
Google2
Google2Google2
Google2
 
Google2
Google2Google2
Google2
 
Google Birth2
Google Birth2Google Birth2
Google Birth2
 
Google Birth2
Google Birth2Google Birth2
Google Birth2
 
Google Birth2
Google Birth2Google Birth2
Google Birth2
 
Google Birth2
Google Birth2Google Birth2
Google Birth2
 

구글분산데이터처리

  • 2.
  • 3.
  • 4.
  • 5. 데이터 데이터 데이터 Reduce Reduce Map Map Map
  • 6.
  • 7. Map Map 에는 키가 되는 데이터와 그에 대응하는 값 2 가지 존재 Map 안에서는 주어진 키를 사용하여 새로운 키와 값을 원하는 만큼 생성 Map 에 의해서 만들어진 새로운 키 값은 자동적으로 정리 한곳으로 모임 새로운 키와 모든 값들이 Reduce 로 전달 된다 . Reduce 같은 wordID( 키 ’ ) 를 가진 모든 단어 정보 ( 값 ’ ) 를 사용하여 하나로 모으면 Reduce 모여진 wordID( 키 ’ ) 와 단어 정보 ( 값 ’ ) 를 사용하여 검색을 위한 역 인덱스 만듬
  • 8. Map Map Reduce Reduce 키 1 값 1 키 2 값 2 키 A 값 X 키 B 값 Y 키 B 값 Z A = X B = Y, Z
  • 9. Map 과 Reduce 과정의 구조도 단어 WordID 학교 101 의 201 페이지 203 벚꽃 301 단풍 302 WordID docID 위치 101 1 1 2 1 201 1 2 2 2 203 1 3 2 3 301 1 0 302 2 0 키 (docID) 값 ( 텍스트 ) 1 벚꽃나무학교의 페이지 2 단풍나무학교의 페이지
  • 10. Shuffle 이란 ? 키 (wordID) 값 (docID) 301 1:0 101 1:1 201 1:2 203 1:3 키 (wordID) 값 (docID) 302 2:0 101 2:1 201 2:2 203 2:3 키 (wordID) 값 (docID: 위치 ) 의 리스트 101 1:1 2:1 201 1:2 2:2 203 1:3 2:3 301 1:0 302 2:0
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18. 데이터 데이터 데이터 필터 필터 필터 어그리게이터