Cloudera サポートの現場から、YARN の最新事情 #hcj2014

1,515 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,515
On SlideShare
0
From Embeds
0
Number of Embeds
96
Actions
Shares
0
Downloads
31
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Cloudera サポートの現場から、YARN の最新事情 #hcj2014

  1. 1. 1   Cloudera  サポートの現場から、YARN   の最新事情   Sho  Shimauchi,  Cloudera   2014/07/08    
  2. 2. 2   Who  am  I?   •  嶋内 翔(しまうち しょう)   •  Clouderaの社員   •  email:  sho@cloudera.com   •  twiFer:  @shiumachi  
  3. 3. 3   YARNのおさらい   •  Hadoopのサブプロジェクトとして開発されているリ ソース管理フレームワーク   •  詳細は省略  
  4. 4. 4   CDHにおけるYARN   •  CDH4  (2012年)  YARN  導入   •  しかし  not  producLon  ready   •  CDH5  (2014年)  YARN、ついに  producLon  ready  に  
  5. 5. 5   典型的な問い合わせ   (2013年)  
  6. 6. 6   YARNはいつ   GAになるんですか?  
  7. 7. 7   それから1年の   月日が流れた…  
  8. 8. 8   問い合わせ数がすごいことになった  
  9. 9. 9   YARNユーザの急増   •  CDH5b1のリリース後、多くのユーザで本格的な検証 がスタート   •  Cloudera  の顧客では既に何社も本番稼働させてい る   •  日本でもYARNを検証している顧客はいます  
  10. 10. 10   典型的な問い合わせ   (2014年前半)  
  11. 11. 11   ジョブが失敗する   ↓   メモリ不足  
  12. 12. 12   メモリはちゃんと確保しましょう   •  VMで動かしてたらそもそもジョブが起動しない   •  (多分)誰もが通る道   •  yarn.app.mapreduce.am.resource.mb  (デフォルト1.5GB)  を 確保できないと起動すらできない   •  VMで動かすときは減らしましょう   •  yarn.nodemanager.resource.memory-­‐mb     •  NMのメモリ割り当て   •  足りないのでジョブが実行できない、というのが典型   •  増やしましょう  
  13. 13. 13   バグもあります   •  YARN-­‐1924   •  RM  HA  環境で、YARN  app  が  submiFed  ステートのときに   kill  するとエラー   •  CDH  5.0.1  で  fix   •  YARN-­‐2073   •  リソースに余裕があるのにFairスケジューラのプリエンプ ションが発生する   •  CDH  5.0.2  で  fix  
  14. 14. 14   まとめ   •  YARNはCDH5がGAになってから検証する人が急増し た   •  本番環境導入も始まってる   •  しかしまだまだ基本的な運用ノウハウが浸透してい ないので初歩的なミスが目立つ   •  YARN対応済みの  Cloudera  の管理者コース受けま しょう!  
  15. 15. 15  

×