JessicA<br />3장 구글의 분산스토리지<br />구글을기술<br />지탱하는<br />
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />분산 스토리지<br />GFS(Google File System)<br />Bigtable<br />검...
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* 분산 스토리지 is<br />다수의 스토리지(데이터 저장기기)를 두어 거대한 하나의 스토리지 처럼 쓰일 수 있도록 만드는 기술<...
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS(Google File System)<br /><ul><li>거대한 디스크 공간- 거대한 용량& 효율적인 데이터 전송
방대한 데이터 통로
데이터 전송을 위한 특화 설계- 소프트웨어를 이용한 장애 대책- 대용량 파일의 읽고 쓰기</li></ul>3장 구글의 분산스토리지<br />
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS의 3가지 구성 요소<br />HDD<br />HDD<br />HDD<br />HDD<br />3장 구글의 분산스토리지<b...
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br /><ul><li>GFS는 대용량 데이터의 효율적인 전송을 위해 특화 설계</li></ul>데이터베이스로 ...
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br />테이블<br /><ul><li>Table + Low + Column + Column Key + Time...
태블릿으로나뉠때로우 키는 역전시킴</li></ul>Server<br />A<br />태블릿<br />로우<br />Server<br />B<br />태블릿<br />3장 구글의 분산스토리지<br />
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li>GWS(Google Web Server)- 검색요청을 한 곳에 모으는 역할- ...
Index Server
 Document Server</li></ul>3장 구글의 분산스토리지<br />
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />Join 근접한 데이터 센터<br />2장 구글의 공룡화<br />
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />2. Disperse 부하를 다수의 서버로 - GWS(Google Web Server)...
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li> Index Server- Index Server를 구성하는 모든 Shard ...
 Document Server- 기본 구조는 Index Server와 동일- 도출 검색결과 -> Document Server로 전달- 웹 페이지의 내용이 복수 Shard로 분산 전달</li></ul>3장 구글의 분산스토...
4장 구글의 분산데이터 처리<br />구글을기술<br />지탱하는<br />
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />MapReduce분산 처리를 위한 기반 기술<br />Sawzall분산 처리용 프로그래밍 언어<br /...
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce<br /><ul><li> Map- 어떤 data의 집합을 받아들여          data를 생성하는 process
Reduce- Map에 의해 만들어진 data를 모아, 최종적으로 원하는 결과 도출하는 process</li></ul>4장 구글의 분산데이터 처리<br />
* MapReduce<br />Master<br />G<br />F<br />S<br />G<br />F<br />S<br />worker<br />worker<br />Map<br />Reduce<br />Shuffl...
<ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce로 할 수 있는 일<br /><ul><li>카운터 - 입력 파일 중 조건에 맞는 데이터의 수를 세기
분산 Grep- 입력 파일 중 특정 문자열 찾기
분산 Sort- 입력 파일의 data들을 임의의 순서로 정렬
역 링크 리스트- Map의 출력을 거꾸로 하여 자신을 링크한 곳의 리스트를 얻어냄</li></ul>4장 구글의 분산데이터 처리<br />
Upcoming SlideShare
Loading in …5
×

구글Fin

989 views
912 views

Published on

final google~*

Published in: Lifestyle, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
989
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

구글Fin

  1. 1. JessicA<br />3장 구글의 분산스토리지<br />구글을기술<br />지탱하는<br />
  2. 2. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />분산 스토리지<br />GFS(Google File System)<br />Bigtable<br />검색 클러스터<br />3장 구글의 분산스토리지<br />
  3. 3. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 분산 스토리지 is<br />다수의 스토리지(데이터 저장기기)를 두어 거대한 하나의 스토리지 처럼 쓰일 수 있도록 만드는 기술<br />(=분산 파일 시스템)<br />3장 구글의 분산스토리지<br />
  4. 4. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS(Google File System)<br /><ul><li>거대한 디스크 공간- 거대한 용량& 효율적인 데이터 전송
  5. 5. 방대한 데이터 통로
  6. 6. 데이터 전송을 위한 특화 설계- 소프트웨어를 이용한 장애 대책- 대용량 파일의 읽고 쓰기</li></ul>3장 구글의 분산스토리지<br />
  7. 7. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS의 3가지 구성 요소<br />HDD<br />HDD<br />HDD<br />HDD<br />3장 구글의 분산스토리지<br />
  8. 8. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br /><ul><li>GFS는 대용량 데이터의 효율적인 전송을 위해 특화 설계</li></ul>데이터베이스로 사용하기 부적합<br /><ul><li> Google 전용 데이터베이스</li></ul>3장 구글의 분산스토리지<br />
  9. 9. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br />테이블<br /><ul><li>Table + Low + Column + Column Key + Time Stamp = 다차원 맵
  10. 10. 태블릿으로나뉠때로우 키는 역전시킴</li></ul>Server<br />A<br />태블릿<br />로우<br />Server<br />B<br />태블릿<br />3장 구글의 분산스토리지<br />
  11. 11. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li>GWS(Google Web Server)- 검색요청을 한 곳에 모으는 역할- 직접 검색 요청 처리 X결과만 이용자에게 줌
  12. 12. Index Server
  13. 13. Document Server</li></ul>3장 구글의 분산스토리지<br />
  14. 14. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />Join 근접한 데이터 센터<br />2장 구글의 공룡화<br />
  15. 15. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />2. Disperse 부하를 다수의 서버로 - GWS(Google Web Server) ;각각의 검색 요청을 한 곳에 모으는 역할- LB(Load Balancer)부하가 가벼운 곳으로 일을 넘김<br />LB<br />GWS<br />GWS<br />GWS<br />Index Server<br />DocumentServer<br />3장 구글의 분산스토리지<br />
  16. 16. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li> Index Server- Index Server를 구성하는 모든 Shard Cluster 검색요구- GWS는 모든 Shard Cluster로부터 받은 검색 결과를 기다려, 상위의 웹 페이지를 최종검색 결과로 채택
  17. 17. Document Server- 기본 구조는 Index Server와 동일- 도출 검색결과 -> Document Server로 전달- 웹 페이지의 내용이 복수 Shard로 분산 전달</li></ul>3장 구글의 분산스토리지<br />
  18. 18. 4장 구글의 분산데이터 처리<br />구글을기술<br />지탱하는<br />
  19. 19. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />MapReduce분산 처리를 위한 기반 기술<br />Sawzall분산 처리용 프로그래밍 언어<br />4장 구글의 분산데이터 처리<br />
  20. 20. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce<br /><ul><li> Map- 어떤 data의 집합을 받아들여 data를 생성하는 process
  21. 21. Reduce- Map에 의해 만들어진 data를 모아, 최종적으로 원하는 결과 도출하는 process</li></ul>4장 구글의 분산데이터 처리<br />
  22. 22. * MapReduce<br />Master<br />G<br />F<br />S<br />G<br />F<br />S<br />worker<br />worker<br />Map<br />Reduce<br />Shuffle<br />키 a<br />값 x<br />키 a<br />값 y<br />키 b<br />값 y<br />키 1값 1<br />Map<br />Reduce<br />Shuffle<br />키 2값 2<br />4장 구글의 분산데이터 처리<br />
  23. 23. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce로 할 수 있는 일<br /><ul><li>카운터 - 입력 파일 중 조건에 맞는 데이터의 수를 세기
  24. 24. 분산 Grep- 입력 파일 중 특정 문자열 찾기
  25. 25. 분산 Sort- 입력 파일의 data들을 임의의 순서로 정렬
  26. 26. 역 링크 리스트- Map의 출력을 거꾸로 하여 자신을 링크한 곳의 리스트를 얻어냄</li></ul>4장 구글의 분산데이터 처리<br />
  27. 27. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce의 고속화를 위한 노력<br /><ul><li>시스템 구성- GFS와 Work Queue에 의한 분산 관리
  28. 28. 분산 파라미터- M과 R의 파라미터로 나누어 처리
  29. 29. 로컬리티- MapReduce의 워커를 GFS의 청크와 함께 작동</li></ul>4장 구글의 분산데이터 처리<br />
  30. 30. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Sawzall’s Example<br /><ul><li>평균값과 분산값
  31. 31. 페이지랭크가 높은 웹 페이지 찾기
  32. 32. 지역별 액세스 수의 계측
  33. 33. 실행 결과의 연결</li></ul>4장 구글의 분산데이터 처리<br />
  34. 34. 5장 구글의 운용비용<br />구글을기술<br />지탱하는<br />
  35. 35. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />구글의 운용비용<br />CPU의 전력 소모<br />PC의 소비 전력 절감<br />데이터 센터의 전력 배치<br /> 5장 구글의 운용비용<br />
  36. 36. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 구글의 운용 비용<br /><ul><li>하드웨어 비용- 컴퓨터와 네트워크 기기
  37. 37. 전력 비용- 전기료, 전력 확보 설비
  38. 38. 보수 운용 비용- 인건비
  39. 39. 소프트웨어 비용- 자체개발에 의한 인건비</li></ul> 5장 구글의 운용비용<br />
  40. 40. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* CPU의 전력소모<br /><ul><li> CMOS 회로 – CPU의 베이스(Complementary Metal Oxide Semiconductor)
  41. 41. CPU의 소비 전력 억제 방법</li></ul>스위치의 빈도를 낮게 <br />정전 용량을 작게<br />전압과 클럭 내리기<br /> 5장 구글의 운용비용<br />
  42. 42. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* CPU의 전력소모<br /><ul><li>파이프라인- 길게 늘려 클럭만을 향상
  43. 43. IPC 높이기- 성능위주 : 파이프라인 스테이지 수의 적절한 선택- 전력절감위주 : 주파수를 낮추고 파이프라인 짧게
  44. 44. 수퍼스칼라– 파이프라인을 여러 개 만드는 것</li></ul> 5장 구글의 운용비용<br />
  45. 45. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* PC의 소비 전력 절감<br /> Index Server에 적합한 저클럭 고IPC CPU를 선택<br />멀티 프로세스 or 멀티 스레드<br />효율적인 전원장치<br /> 5장 구글의 운용비용<br />
  46. 46. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 데이터 센터의 전력 배치<br /><ul><li>전력의 평준화- 피크 전력 줄이기
  47. 47. 한정된 전력을 유용하게- 공급 전력에 얼만큼 여유를 두느냐
  48. 48. 계층적 전력 배분- 각 부분별 최대 전력이 보증됨</li></ul> 5장 구글의 운용비용<br />
  49. 49. End<br />구글을기술<br />지탱하는<br />

×