Your SlideShare is downloading. ×
0
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
구글Fin
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

구글Fin

781

Published on

final google~*

final google~*

Published in: Lifestyle, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
781
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. JessicA<br />3장 구글의 분산스토리지<br />구글을기술<br />지탱하는<br />
  • 2. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />분산 스토리지<br />GFS(Google File System)<br />Bigtable<br />검색 클러스터<br />3장 구글의 분산스토리지<br />
  • 3. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 분산 스토리지 is<br />다수의 스토리지(데이터 저장기기)를 두어 거대한 하나의 스토리지 처럼 쓰일 수 있도록 만드는 기술<br />(=분산 파일 시스템)<br />3장 구글의 분산스토리지<br />
  • 4. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS(Google File System)<br /><ul><li>거대한 디스크 공간- 거대한 용량& 효율적인 데이터 전송
  • 5. 방대한 데이터 통로
  • 6. 데이터 전송을 위한 특화 설계- 소프트웨어를 이용한 장애 대책- 대용량 파일의 읽고 쓰기</li></ul>3장 구글의 분산스토리지<br />
  • 7. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* GFS의 3가지 구성 요소<br />HDD<br />HDD<br />HDD<br />HDD<br />3장 구글의 분산스토리지<br />
  • 8. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br /><ul><li>GFS는 대용량 데이터의 효율적인 전송을 위해 특화 설계</li></ul>데이터베이스로 사용하기 부적합<br /><ul><li> Google 전용 데이터베이스</li></ul>3장 구글의 분산스토리지<br />
  • 9. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Bigtable<br />테이블<br /><ul><li>Table + Low + Column + Column Key + Time Stamp = 다차원 맵
  • 10. 태블릿으로나뉠때로우 키는 역전시킴</li></ul>Server<br />A<br />태블릿<br />로우<br />Server<br />B<br />태블릿<br />3장 구글의 분산스토리지<br />
  • 11. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li>GWS(Google Web Server)- 검색요청을 한 곳에 모으는 역할- 직접 검색 요청 처리 X결과만 이용자에게 줌
  • 12. Index Server
  • 13. Document Server</li></ul>3장 구글의 분산스토리지<br />
  • 14. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />Join 근접한 데이터 센터<br />2장 구글의 공룡화<br />
  • 15. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 검색 Cluster(2장 참조)<br />2. Disperse 부하를 다수의 서버로 - GWS(Google Web Server) ;각각의 검색 요청을 한 곳에 모으는 역할- LB(Load Balancer)부하가 가벼운 곳으로 일을 넘김<br />LB<br />GWS<br />GWS<br />GWS<br />Index Server<br />DocumentServer<br />3장 구글의 분산스토리지<br />
  • 16. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 다수의 서버로 부하를 분산<br /><ul><li> Index Server- Index Server를 구성하는 모든 Shard Cluster 검색요구- GWS는 모든 Shard Cluster로부터 받은 검색 결과를 기다려, 상위의 웹 페이지를 최종검색 결과로 채택
  • 17. Document Server- 기본 구조는 Index Server와 동일- 도출 검색결과 -> Document Server로 전달- 웹 페이지의 내용이 복수 Shard로 분산 전달</li></ul>3장 구글의 분산스토리지<br />
  • 18. 4장 구글의 분산데이터 처리<br />구글을기술<br />지탱하는<br />
  • 19. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />MapReduce분산 처리를 위한 기반 기술<br />Sawzall분산 처리용 프로그래밍 언어<br />4장 구글의 분산데이터 처리<br />
  • 20. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce<br /><ul><li> Map- 어떤 data의 집합을 받아들여 data를 생성하는 process
  • 21. Reduce- Map에 의해 만들어진 data를 모아, 최종적으로 원하는 결과 도출하는 process</li></ul>4장 구글의 분산데이터 처리<br />
  • 22. * MapReduce<br />Master<br />G<br />F<br />S<br />G<br />F<br />S<br />worker<br />worker<br />Map<br />Reduce<br />Shuffle<br />키 a<br />값 x<br />키 a<br />값 y<br />키 b<br />값 y<br />키 1값 1<br />Map<br />Reduce<br />Shuffle<br />키 2값 2<br />4장 구글의 분산데이터 처리<br />
  • 23. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce로 할 수 있는 일<br /><ul><li>카운터 - 입력 파일 중 조건에 맞는 데이터의 수를 세기
  • 24. 분산 Grep- 입력 파일 중 특정 문자열 찾기
  • 25. 분산 Sort- 입력 파일의 data들을 임의의 순서로 정렬
  • 26. 역 링크 리스트- Map의 출력을 거꾸로 하여 자신을 링크한 곳의 리스트를 얻어냄</li></ul>4장 구글의 분산데이터 처리<br />
  • 27. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* MapReduce의 고속화를 위한 노력<br /><ul><li>시스템 구성- GFS와 Work Queue에 의한 분산 관리
  • 28. 분산 파라미터- M과 R의 파라미터로 나누어 처리
  • 29. 로컬리티- MapReduce의 워커를 GFS의 청크와 함께 작동</li></ul>4장 구글의 분산데이터 처리<br />
  • 30. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Sawzall’s Example<br /><ul><li>평균값과 분산값
  • 31. 페이지랭크가 높은 웹 페이지 찾기
  • 32. 지역별 액세스 수의 계측
  • 33. 실행 결과의 연결</li></ul>4장 구글의 분산데이터 처리<br />
  • 34. 5장 구글의 운용비용<br />구글을기술<br />지탱하는<br />
  • 35. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* Contents<br />구글의 운용비용<br />CPU의 전력 소모<br />PC의 소비 전력 절감<br />데이터 센터의 전력 배치<br /> 5장 구글의 운용비용<br />
  • 36. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 구글의 운용 비용<br /><ul><li>하드웨어 비용- 컴퓨터와 네트워크 기기
  • 37. 전력 비용- 전기료, 전력 확보 설비
  • 38. 보수 운용 비용- 인건비
  • 39. 소프트웨어 비용- 자체개발에 의한 인건비</li></ul> 5장 구글의 운용비용<br />
  • 40. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* CPU의 전력소모<br /><ul><li> CMOS 회로 – CPU의 베이스(Complementary Metal Oxide Semiconductor)
  • 41. CPU의 소비 전력 억제 방법</li></ul>스위치의 빈도를 낮게 <br />정전 용량을 작게<br />전압과 클럭 내리기<br /> 5장 구글의 운용비용<br />
  • 42. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* CPU의 전력소모<br /><ul><li>파이프라인- 길게 늘려 클럭만을 향상
  • 43. IPC 높이기- 성능위주 : 파이프라인 스테이지 수의 적절한 선택- 전력절감위주 : 주파수를 낮추고 파이프라인 짧게
  • 44. 수퍼스칼라– 파이프라인을 여러 개 만드는 것</li></ul> 5장 구글의 운용비용<br />
  • 45. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* PC의 소비 전력 절감<br /> Index Server에 적합한 저클럭 고IPC CPU를 선택<br />멀티 프로세스 or 멀티 스레드<br />효율적인 전원장치<br /> 5장 구글의 운용비용<br />
  • 46. <ul><li>Task 2 Brand Image (conclusion)</li></ul>* 데이터 센터의 전력 배치<br /><ul><li>전력의 평준화- 피크 전력 줄이기
  • 47. 한정된 전력을 유용하게- 공급 전력에 얼만큼 여유를 두느냐
  • 48. 계층적 전력 배분- 각 부분별 최대 전력이 보증됨</li></ul> 5장 구글의 운용비용<br />
  • 49. End<br />구글을기술<br />지탱하는<br />

×