Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Cloudera サポートの現場から、YARN の最新事情 #hcj2014

1,704 views

Published on

Published in: Technology
  • Be the first to comment

Cloudera サポートの現場から、YARN の最新事情 #hcj2014

  1. 1. 1   Cloudera  サポートの現場から、YARN   の最新事情   Sho  Shimauchi,  Cloudera   2014/07/08    
  2. 2. 2   Who  am  I?   •  嶋内 翔(しまうち しょう)   •  Clouderaの社員   •  email:  sho@cloudera.com   •  twiFer:  @shiumachi  
  3. 3. 3   YARNのおさらい   •  Hadoopのサブプロジェクトとして開発されているリ ソース管理フレームワーク   •  詳細は省略  
  4. 4. 4   CDHにおけるYARN   •  CDH4  (2012年)  YARN  導入   •  しかし  not  producLon  ready   •  CDH5  (2014年)  YARN、ついに  producLon  ready  に  
  5. 5. 5   典型的な問い合わせ   (2013年)  
  6. 6. 6   YARNはいつ   GAになるんですか?  
  7. 7. 7   それから1年の   月日が流れた…  
  8. 8. 8   問い合わせ数がすごいことになった  
  9. 9. 9   YARNユーザの急増   •  CDH5b1のリリース後、多くのユーザで本格的な検証 がスタート   •  Cloudera  の顧客では既に何社も本番稼働させてい る   •  日本でもYARNを検証している顧客はいます  
  10. 10. 10   典型的な問い合わせ   (2014年前半)  
  11. 11. 11   ジョブが失敗する   ↓   メモリ不足  
  12. 12. 12   メモリはちゃんと確保しましょう   •  VMで動かしてたらそもそもジョブが起動しない   •  (多分)誰もが通る道   •  yarn.app.mapreduce.am.resource.mb  (デフォルト1.5GB)  を 確保できないと起動すらできない   •  VMで動かすときは減らしましょう   •  yarn.nodemanager.resource.memory-­‐mb     •  NMのメモリ割り当て   •  足りないのでジョブが実行できない、というのが典型   •  増やしましょう  
  13. 13. 13   バグもあります   •  YARN-­‐1924   •  RM  HA  環境で、YARN  app  が  submiFed  ステートのときに   kill  するとエラー   •  CDH  5.0.1  で  fix   •  YARN-­‐2073   •  リソースに余裕があるのにFairスケジューラのプリエンプ ションが発生する   •  CDH  5.0.2  で  fix  
  14. 14. 14   まとめ   •  YARNはCDH5がGAになってから検証する人が急増し た   •  本番環境導入も始まってる   •  しかしまだまだ基本的な運用ノウハウが浸透してい ないので初歩的なミスが目立つ   •  YARN対応済みの  Cloudera  の管理者コース受けま しょう!  
  15. 15. 15  

×