Your SlideShare is downloading. ×
[G6]hadoop이중화왜하는거지
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

[G6]hadoop이중화왜하는거지

3,386
views

Published on

Published in: Technology, News & Politics

0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,386
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
105
Comments
0
Likes
5
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Hadoop 이중화 왜 하는거지? 안성화Monday, September 17, 12
  • 2. Hadoop HDFS MapReduce CoreMonday, September 17, 12
  • 3. HDFS 저장소 File
  • 4.  System ext3Monday, September 17, 12
  • 5. HDFS Write 알맞게 잘라서 저쪽에 넣어둬! Client 서버 File 저장 부탁! 잃어 버리면 안돼! 나 이런 파일 조각 갖고 있어! 500GB 500GB 500GB 서버 서버 서버 같이 가지고 있자!Monday, September 17, 12
  • 6. HDFS Write 알맞게 잘라서 저쪽에 넣어둬! Client 서버 File 저장 부탁! Namenode 잃어 버리면 안돼! HDFS 나 이런 파일 조각 갖고 있어! Datanode 500GB 500GB 500GB 서버 서버 서버 같이 가지고 있자!Monday, September 17, 12
  • 7. HDFS Read 파일 조각들 주소 여기 있으니까 찾아서 합쳐! Name Client File 좀 찾아줘! Node 순서대로 불러서 합쳐야지! Data Data Data Node Node NodeMonday, September 17, 12
  • 8. HDFS Write Name Client File Node 여기다 File 기본정보들 EditLog 기록해 두자! Memory 나중에 찾을 때 여기보고 찾아주지! 나 여기! Data Data Data Node Node NodeMonday, September 17, 12
  • 9. TroubleMaker Namenode 나는 무조건 혼자야! Name Client Node 나는 Size에 EditLog 제한이 없어! 나는 전원 꺼지면 Memory 그냥 사라져! Data Data Data Node Node Node 나는 Namenode 없으면 누군지 몰라!Monday, September 17, 12
  • 10. Namenode Healing Name Node 나는 사실은 Journal Data EditLog FSImage 내가 진짜 최후의 데이터 서버 뜰 때 EditLog 가져와야지!Monday, September 17, 12
  • 11. Secondary Namenode Name Secondary Node 너무 커지기 전에 namenode Backup도 줄여놔야겠어! 받아놓고. 나는 사실은 Journal Data EditLog EditLog Merge FSImage FSImage 너도 이쪽으로 내가 진짜 최후의 데이터 서버 뜰 때 EditLog 가져와야지! 너 합치는동안 EditLog는 합친거 여기 있어! 별도로 관리했어 일이 많어!Monday, September 17, 12
  • 12. 파일조각(Block)들은? 서버
  • 13.  새로
  • 14.  띄우면
  • 15.  새로
  • 16.  받지
  • 17.  뭐 살짝
  • 18.  오래
  • 19.  걸립니다. 완벽하게
  • 20.  Backup
  • 21.  체제
  • 22.  갖추기
  • 23.  어렵구만Monday, September 17, 12
  • 24. 현재상황
  • 25.  여기까지! Apache가
  • 26.  한다길래
  • 27.  기다리기로 우리가
  • 28.  하기로
  • 29.  ㅠㅠMonday, September 17, 12
  • 30. 총괄
  • 31.  개발자
  • 32.  :
  • 33.  AlexMonday, September 17, 12
  • 34. 총괄
  • 35.  개발자
  • 36.  :
  • 37.  AlexMonday, September 17, 12
  • 38. Namenode HA Concept • Active / Standby • Share EditLog • Datanode는 반드시 Active /Standby namenode 모두에게 block 정보를 보내야 한 다. • Client는 namenode failover 발생시 자동으로 Active namenode로 전환이 가능해야 한다.Monday, September 17, 12
  • 39. Namenode HA based on Facebook AvatarNodeMonday, September 17, 12
  • 40. EditLog HAMonday, September 17, 12
  • 41. Namenode HA Facebook은 VIP
  • 42.  변경 변경 /hdfsha  /primaryhost  /8020  (hostname1:8020)                /namenodes      /hostname1:8020                                          /hostname2:8020 Zookeeper
  • 43.  Znode
  • 44.  정보Monday, September 17, 12
  • 45. Namenode Fencing •Network에
  • 46.  문제가
  • 47.  생기면
  • 48.  즉시
  • 49.  SafeMode
  • 50.  전환 •kill
  • 51.  process
  • 52.  /
  • 53.  block
  • 54.  network
  • 55.  port
  • 56.  기능은
  • 57.  없음. •Network
  • 58.  short이
  • 59.  조금만
  • 60.  발생해도
  • 61.  Client
  • 62.  errorMonday, September 17, 12
  • 63. 기타 Monitoring CustomizationMonday, September 17, 12
  • 64. Namenode HA 여전히
  • 65.  남아
  • 66.  있는
  • 67.  문제점 •NFS
  • 68.  Daemon’s
  • 69.  Down •Zookeeper
  • 70.  One-time
  • 71.  Trigger •Zookeeper
  • 72.  SendThread
  • 73.  Issue •Split-brain으로
  • 74.  인한
  • 75.  editlog
  • 76.  유실 •Hadoop
  • 77.  subproject
  • 78.  호환성
  • 79.  
  • 80.  
  • 81.  
  • 82.  (ex.
  • 83.  SafeModeException
  • 84.  처리)Monday, September 17, 12
  • 85. 안타까운 사실 New
  • 86.  AvatarNode
  • 87.  Architecture Client가
  • 88.  Zookeeper를
  • 89.  직접
  • 90.  이용 우리하고
  • 91.  구조가
  • 92.  똑같음.Monday, September 17, 12
  • 93. 그나마 다행인 점Monday, September 17, 12
  • 94. Hadoop 2.0.1-alpha HA case Disconnected: LOG.info(Session disconnected. Entering neutral mode...); // ask the app to move to safe state because zookeeper connection // is not active and we dont know our state zkConnectionState = ConnectionState.DISCONNECTED; enterNeutralMode(); break; ElectorCallbacks    class    implements  ActiveStandbyElectorCallback  {        @Override        public  void  becomeActive()  {            ZKFailoverController.this.becomeActive();        }        @Override        public  void  becomeStandby()  {            ZKFailoverController.this.becomeStandby();        }        @Override enterNeutralMode()  {        public  void          }Monday, September 17, 12
  • 95. Hadoop 2.0.1-alpha HA SessionTimeout / 3 Ping 시간마다 Response SendThread Ensemble (Zookeeper Client) (Zookeeper Server) DISCONNECTED SendThread에서 Exception이 생기면 발생Monday, September 17, 12
  • 96. Hadoop 2.0.1-alpha HA DISCONNECTED ReConnect Ping Ping Ping Ping Expired Ensemble이 생각하는 timeout SessionTimeout 시간Monday, September 17, 12
  • 97. Hadoop 2.0.1-alpha HA HDFS-1623 Ensemble SendThread SendThread FencingMonday, September 17, 12
  • 98. HDFS HA Namenode EditLog Facebook
  • 99.  AvatarNode Customization (Competitive
  • 100.  HA) Hadoop
  • 101.  2.0.1
  • 102.  HAMonday, September 17, 12
  • 103. MapReduce JobTracker TaskTrackerMonday, September 17, 12
  • 104. JobTracker / TaskTracker 분석 프로그램 줄테니 File 분석 좀.. Client 서버 JobTracker 협력해서 분석! 다했어! 500GB 500GB 500GB 서버 서버 서버TaskTrackerMonday, September 17, 12
  • 105. MapReduce 현재까지는
  • 106.  재시작하는
  • 107.  것이
  • 108.  가장
  • 109.  효과적 너무
  • 110.  오래
  • 111.  걸린
  • 112.  작업인데
  • 113.  실패하는
  • 114.  경우엔 파일을
  • 115.  처음부터
  • 116.  적당히
  • 117.  잘라서
  • 118.  넣는
  • 119.  것도.... https://issues.apache.org/jira/browse/MAPREDUCE-2648 https://issues.apache.org/jira/browse/MAPREDUCE-2288Monday, September 17, 12
  • 120. Q AMonday, September 17, 12
  • 121. 감사합니다.Monday, September 17, 12

×