0
Hadoop 이중화 왜 하는거지?                                  안성화Monday, September 17, 12
Hadoop                           HDFS   MapReduce   CoreMonday, September 17, 12
HDFS                       저장소   File
 System   ext3Monday, September 17, 12
HDFS Write                                                    알맞게 잘라서 저쪽에 넣어둬!                           Client           ...
HDFS Write                                                    알맞게 잘라서 저쪽에 넣어둬!                           Client           ...
HDFS Read                                                  파일 조각들 주소 여기 있으니까 찾아서 합쳐!                                      ...
HDFS Write                                                      Name                           Client                     ...
TroubleMaker Namenode                                                    나는 무조건 혼자야!                                      ...
Namenode Healing                             Name                             Node              나는 사실은              Journa...
Secondary Namenode                               Name                    Secondary                               Node     ...
파일조각(Block)들은?                                  서버
 새로
 띄우면
 새로
 받지
 뭐                                                                살짝
 오래
 걸립니다.                완벽하게
 Backup
 체제
 갖추기
 어렵구만Monday, September 17, 12
현재상황
 여기까지!                           Apache가
 한다길래
 기다리기로                                           우리가
 하기로
 ㅠㅠMonday, September 17, 12
총괄
 개발자
 :
 AlexMonday, September 17, 12
Upcoming SlideShare
Loading in...5
×

[G6]hadoop이중화왜하는거지

3,597

Published on

Published in: Technology, News & Politics
0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,597
On Slideshare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
109
Comments
0
Likes
7
Embeds 0
No embeds

No notes for slide

Transcript of "[G6]hadoop이중화왜하는거지"

  1. 1. Hadoop 이중화 왜 하는거지? 안성화Monday, September 17, 12
  2. 2. Hadoop HDFS MapReduce CoreMonday, September 17, 12
  3. 3. HDFS 저장소 File
  4. 4.  System ext3Monday, September 17, 12
  5. 5. HDFS Write 알맞게 잘라서 저쪽에 넣어둬! Client 서버 File 저장 부탁! 잃어 버리면 안돼! 나 이런 파일 조각 갖고 있어! 500GB 500GB 500GB 서버 서버 서버 같이 가지고 있자!Monday, September 17, 12
  6. 6. HDFS Write 알맞게 잘라서 저쪽에 넣어둬! Client 서버 File 저장 부탁! Namenode 잃어 버리면 안돼! HDFS 나 이런 파일 조각 갖고 있어! Datanode 500GB 500GB 500GB 서버 서버 서버 같이 가지고 있자!Monday, September 17, 12
  7. 7. HDFS Read 파일 조각들 주소 여기 있으니까 찾아서 합쳐! Name Client File 좀 찾아줘! Node 순서대로 불러서 합쳐야지! Data Data Data Node Node NodeMonday, September 17, 12
  8. 8. HDFS Write Name Client File Node 여기다 File 기본정보들 EditLog 기록해 두자! Memory 나중에 찾을 때 여기보고 찾아주지! 나 여기! Data Data Data Node Node NodeMonday, September 17, 12
  9. 9. TroubleMaker Namenode 나는 무조건 혼자야! Name Client Node 나는 Size에 EditLog 제한이 없어! 나는 전원 꺼지면 Memory 그냥 사라져! Data Data Data Node Node Node 나는 Namenode 없으면 누군지 몰라!Monday, September 17, 12
  10. 10. Namenode Healing Name Node 나는 사실은 Journal Data EditLog FSImage 내가 진짜 최후의 데이터 서버 뜰 때 EditLog 가져와야지!Monday, September 17, 12
  11. 11. Secondary Namenode Name Secondary Node 너무 커지기 전에 namenode Backup도 줄여놔야겠어! 받아놓고. 나는 사실은 Journal Data EditLog EditLog Merge FSImage FSImage 너도 이쪽으로 내가 진짜 최후의 데이터 서버 뜰 때 EditLog 가져와야지! 너 합치는동안 EditLog는 합친거 여기 있어! 별도로 관리했어 일이 많어!Monday, September 17, 12
  12. 12. 파일조각(Block)들은? 서버
  13. 13.  새로
  14. 14.  띄우면
  15. 15.  새로
  16. 16.  받지
  17. 17.  뭐 살짝
  18. 18.  오래
  19. 19.  걸립니다. 완벽하게
  20. 20.  Backup
  21. 21.  체제
  22. 22.  갖추기
  23. 23.  어렵구만Monday, September 17, 12
  24. 24. 현재상황
  25. 25.  여기까지! Apache가
  26. 26.  한다길래
  27. 27.  기다리기로 우리가
  28. 28.  하기로
  29. 29.  ㅠㅠMonday, September 17, 12
  30. 30. 총괄
  31. 31.  개발자
  32. 32.  :
  33. 33.  AlexMonday, September 17, 12
  34. 34. 총괄
  35. 35.  개발자
  36. 36.  :
  37. 37.  AlexMonday, September 17, 12
  38. 38. Namenode HA Concept • Active / Standby • Share EditLog • Datanode는 반드시 Active /Standby namenode 모두에게 block 정보를 보내야 한 다. • Client는 namenode failover 발생시 자동으로 Active namenode로 전환이 가능해야 한다.Monday, September 17, 12
  39. 39. Namenode HA based on Facebook AvatarNodeMonday, September 17, 12
  40. 40. EditLog HAMonday, September 17, 12
  41. 41. Namenode HA Facebook은 VIP
  42. 42.  변경 변경 /hdfsha  /primaryhost  /8020  (hostname1:8020)                /namenodes      /hostname1:8020                                          /hostname2:8020 Zookeeper
  43. 43.  Znode
  44. 44.  정보Monday, September 17, 12
  45. 45. Namenode Fencing •Network에
  46. 46.  문제가
  47. 47.  생기면
  48. 48.  즉시
  49. 49.  SafeMode
  50. 50.  전환 •kill
  51. 51.  process
  52. 52.  /
  53. 53.  block
  54. 54.  network
  55. 55.  port
  56. 56.  기능은
  57. 57.  없음. •Network
  58. 58.  short이
  59. 59.  조금만
  60. 60.  발생해도
  61. 61.  Client
  62. 62.  errorMonday, September 17, 12
  63. 63. 기타 Monitoring CustomizationMonday, September 17, 12
  64. 64. Namenode HA 여전히
  65. 65.  남아
  66. 66.  있는
  67. 67.  문제점 •NFS
  68. 68.  Daemon’s
  69. 69.  Down •Zookeeper
  70. 70.  One-time
  71. 71.  Trigger •Zookeeper
  72. 72.  SendThread
  73. 73.  Issue •Split-brain으로
  74. 74.  인한
  75. 75.  editlog
  76. 76.  유실 •Hadoop
  77. 77.  subproject
  78. 78.  호환성
  79. 79.  
  80. 80.  
  81. 81.  
  82. 82.  (ex.
  83. 83.  SafeModeException
  84. 84.  처리)Monday, September 17, 12
  85. 85. 안타까운 사실 New
  86. 86.  AvatarNode
  87. 87.  Architecture Client가
  88. 88.  Zookeeper를
  89. 89.  직접
  90. 90.  이용 우리하고
  91. 91.  구조가
  92. 92.  똑같음.Monday, September 17, 12
  93. 93. 그나마 다행인 점Monday, September 17, 12
  94. 94. Hadoop 2.0.1-alpha HA case Disconnected: LOG.info(Session disconnected. Entering neutral mode...); // ask the app to move to safe state because zookeeper connection // is not active and we dont know our state zkConnectionState = ConnectionState.DISCONNECTED; enterNeutralMode(); break; ElectorCallbacks    class    implements  ActiveStandbyElectorCallback  {        @Override        public  void  becomeActive()  {            ZKFailoverController.this.becomeActive();        }        @Override        public  void  becomeStandby()  {            ZKFailoverController.this.becomeStandby();        }        @Override enterNeutralMode()  {        public  void          }Monday, September 17, 12
  95. 95. Hadoop 2.0.1-alpha HA SessionTimeout / 3 Ping 시간마다 Response SendThread Ensemble (Zookeeper Client) (Zookeeper Server) DISCONNECTED SendThread에서 Exception이 생기면 발생Monday, September 17, 12
  96. 96. Hadoop 2.0.1-alpha HA DISCONNECTED ReConnect Ping Ping Ping Ping Expired Ensemble이 생각하는 timeout SessionTimeout 시간Monday, September 17, 12
  97. 97. Hadoop 2.0.1-alpha HA HDFS-1623 Ensemble SendThread SendThread FencingMonday, September 17, 12
  98. 98. HDFS HA Namenode EditLog Facebook
  99. 99.  AvatarNode Customization (Competitive
  100. 100.  HA) Hadoop
  101. 101.  2.0.1
  102. 102.  HAMonday, September 17, 12
  103. 103. MapReduce JobTracker TaskTrackerMonday, September 17, 12
  104. 104. JobTracker / TaskTracker 분석 프로그램 줄테니 File 분석 좀.. Client 서버 JobTracker 협력해서 분석! 다했어! 500GB 500GB 500GB 서버 서버 서버TaskTrackerMonday, September 17, 12
  105. 105. MapReduce 현재까지는
  106. 106.  재시작하는
  107. 107.  것이
  108. 108.  가장
  109. 109.  효과적 너무
  110. 110.  오래
  111. 111.  걸린
  112. 112.  작업인데
  113. 113.  실패하는
  114. 114.  경우엔 파일을
  115. 115.  처음부터
  116. 116.  적당히
  117. 117.  잘라서
  118. 118.  넣는
  119. 119.  것도.... https://issues.apache.org/jira/browse/MAPREDUCE-2648 https://issues.apache.org/jira/browse/MAPREDUCE-2288Monday, September 17, 12
  120. 120. Q AMonday, September 17, 12
  121. 121. 감사합니다.Monday, September 17, 12
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×