Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

구글Fin

1,163 views

Published on

final google~*

Published in: Lifestyle, Technology
  • Login to see the comments

  • Be the first to like this

구글Fin

  1. 1. JessicA<br />3장 구글의 분산스토리지<br />구글을기술<br />지탱하는<br />
  2. 2. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />분산 스토리지<br />GFS(Google File System)<br />Bigtable<br />검색 클러스터<br />3장 구글의 분산스토리지<br />
  3. 3. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 분산 스토리지 is<br />다수의 스토리지(데이터 저장기기)를 두어 거대한 하나의 스토리지 처럼 쓰일 수 있도록 만드는 기술<br />(=분산 파일 시스템)<br />3장 구글의 분산스토리지<br />
  4. 4. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS(Google File System)<br /><ul><li>거대한 디스크 공간- 거대한 용량& 효율적인 데이터 전송
  5. 5. 방대한 데이터 통로
  6. 6. 데이터 전송을 위한 특화 설계- 소프트웨어를 이용한 장애 대책- 대용량 파일의 읽고 쓰기</li></ul>3장 구글의 분산스토리지<br />
  7. 7. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS의 3가지 구성 요소<br />HDD<br />HDD<br />HDD<br />HDD<br />3장 구글의 분산스토리지<br />
  8. 8. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br /><ul><li>GFS는 대용량 데이터의 효율적인 전송을 위해 특화 설계</li></ul>데이터베이스로 사용하기 부적합<br /><ul><li> Google 전용 데이터베이스</li></ul>3장 구글의 분산스토리지<br />
  9. 9. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br />테이블<br /><ul><li>Table + Low + Column + Column Key + Time Stamp = 다차원 맵
  10. 10. 태블릿으로나뉠때로우 키는 역전시킴</li></ul>Server<br />A<br />태블릿<br />로우<br />Server<br />B<br />태블릿<br />3장 구글의 분산스토리지<br />
  11. 11. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li>GWS(Google Web Server)- 검색요청을 한 곳에 모으는 역할- 직접 검색 요청 처리 X결과만 이용자에게 줌
  12. 12. Index Server
  13. 13. Document Server</li></ul>3장 구글의 분산스토리지<br />
  14. 14. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />Join 근접한 데이터 센터<br />2장 구글의 공룡화<br />
  15. 15. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />2. Disperse 부하를 다수의 서버로 - GWS(Google Web Server) ;각각의 검색 요청을 한 곳에 모으는 역할- LB(Load Balancer)부하가 가벼운 곳으로 일을 넘김<br />LB<br />GWS<br />GWS<br />GWS<br />Index Server<br />DocumentServer<br />3장 구글의 분산스토리지<br />
  16. 16. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li> Index Server- Index Server를 구성하는 모든 Shard Cluster 검색요구- GWS는 모든 Shard Cluster로부터 받은 검색 결과를 기다려, 상위의 웹 페이지를 최종검색 결과로 채택
  17. 17. Document Server- 기본 구조는 Index Server와 동일- 도출 검색결과 -> Document Server로 전달- 웹 페이지의 내용이 복수 Shard로 분산 전달</li></ul>3장 구글의 분산스토리지<br />
  18. 18. 4장 구글의 분산데이터 처리<br />구글을기술<br />지탱하는<br />
  19. 19. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />MapReduce분산 처리를 위한 기반 기술<br />Sawzall분산 처리용 프로그래밍 언어<br />4장 구글의 분산데이터 처리<br />
  20. 20. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce<br /><ul><li> Map- 어떤 data의 집합을 받아들여 data를 생성하는 process
  21. 21. Reduce- Map에 의해 만들어진 data를 모아, 최종적으로 원하는 결과 도출하는 process</li></ul>4장 구글의 분산데이터 처리<br />
  22. 22. * MapReduce<br />Master<br />G<br />F<br />S<br />G<br />F<br />S<br />worker<br />worker<br />Map<br />Reduce<br />Shuffle<br />키 a<br />값 x<br />키 a<br />값 y<br />키 b<br />값 y<br />키 1값 1<br />Map<br />Reduce<br />Shuffle<br />키 2값 2<br />4장 구글의 분산데이터 처리<br />
  23. 23. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce로 할 수 있는 일<br /><ul><li>카운터 - 입력 파일 중 조건에 맞는 데이터의 수를 세기
  24. 24. 분산 Grep- 입력 파일 중 특정 문자열 찾기
  25. 25. 분산 Sort- 입력 파일의 data들을 임의의 순서로 정렬
  26. 26. 역 링크 리스트- Map의 출력을 거꾸로 하여 자신을 링크한 곳의 리스트를 얻어냄</li></ul>4장 구글의 분산데이터 처리<br />
  27. 27. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce의 고속화를 위한 노력<br /><ul><li>시스템 구성- GFS와 Work Queue에 의한 분산 관리
  28. 28. 분산 파라미터- M과 R의 파라미터로 나누어 처리
  29. 29. 로컬리티- MapReduce의 워커를 GFS의 청크와 함께 작동</li></ul>4장 구글의 분산데이터 처리<br />
  30. 30. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Sawzall’s Example<br /><ul><li>평균값과 분산값
  31. 31. 페이지랭크가 높은 웹 페이지 찾기
  32. 32. 지역별 액세스 수의 계측
  33. 33. 실행 결과의 연결</li></ul>4장 구글의 분산데이터 처리<br />
  34. 34. 5장 구글의 운용비용<br />구글을기술<br />지탱하는<br />
  35. 35. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />구글의 운용비용<br />CPU의 전력 소모<br />PC의 소비 전력 절감<br />데이터 센터의 전력 배치<br /> 5장 구글의 운용비용<br />
  36. 36. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 구글의 운용 비용<br /><ul><li>하드웨어 비용- 컴퓨터와 네트워크 기기
  37. 37. 전력 비용- 전기료, 전력 확보 설비
  38. 38. 보수 운용 비용- 인건비
  39. 39. 소프트웨어 비용- 자체개발에 의한 인건비</li></ul> 5장 구글의 운용비용<br />
  40. 40. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* CPU의 전력소모<br /><ul><li> CMOS 회로 – CPU의 베이스(Complementary Metal Oxide Semiconductor)
  41. 41. CPU의 소비 전력 억제 방법</li></ul>스위치의 빈도를 낮게 <br />정전 용량을 작게<br />전압과 클럭 내리기<br /> 5장 구글의 운용비용<br />
  42. 42. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* CPU의 전력소모<br /><ul><li>파이프라인- 길게 늘려 클럭만을 향상
  43. 43. IPC 높이기- 성능위주 : 파이프라인 스테이지 수의 적절한 선택- 전력절감위주 : 주파수를 낮추고 파이프라인 짧게
  44. 44. 수퍼스칼라– 파이프라인을 여러 개 만드는 것</li></ul> 5장 구글의 운용비용<br />
  45. 45. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* PC의 소비 전력 절감<br /> Index Server에 적합한 저클럭 고IPC CPU를 선택<br />멀티 프로세스 or 멀티 스레드<br />효율적인 전원장치<br /> 5장 구글의 운용비용<br />
  46. 46. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 데이터 센터의 전력 배치<br /><ul><li>전력의 평준화- 피크 전력 줄이기
  47. 47. 한정된 전력을 유용하게- 공급 전력에 얼만큼 여유를 두느냐
  48. 48. 계층적 전력 배분- 각 부분별 최대 전력이 보증됨</li></ul> 5장 구글의 운용비용<br />
  49. 49. End<br />구글을기술<br />지탱하는<br />

×