Apache Hadoop ミートアップ Apache Hadoop 2.8.0 の新機能 (抜粋)

1. Copyright © 2016 NTT DATA Corporation
2016/11/8
株式会社NTTデータ OSSプロフェッショナルサービス
鯵坂 明
Apache Hadoop 2.8.0 の新機能 (抜粋)
Apache Hadoop ミートアップ

2. 2Copyright © 2016 NTT DATA Corporation
自己紹介 - 鯵坂明
 鯵坂 明 (@ajis_ka)
 NTTデータ システム技術本部 OSSプロフェッショナル
サービス
 Apache HadoopなどOSSのサポート業務を主に担当
 Apache Hadoop committer & PMC member
 コミッタ暦2年
 ドキュメント
 バグ修正
 リリース管理など

3. 3Copyright © 2016 NTT DATA Corporation
最近のApache Hadoop
 2.8.0のリリースが間近
2.7.0 2.7.1 2.7.2 2.7.3
3.0.0-alpha1
trunk
branch-2
branch-2.7
20162015
branch-2.8

4. 4Copyright © 2016 NTT DATA Corporation
2.8.0で何が変わるのか?
 3.0.0よりも、地味な機能が多い
 時間が足りないので3つに絞って紹介
重要な機能が網羅されていないことに注意
 DataNode Lifeline Protocol (HDFS-9239)
 OIV: add ReverseXML processor (HDFS-9835)
 'yarn top' command (YARN-3348)

5. 5Copyright © 2016 NTT DATA Corporation
DataNode Lifeline Protocol (HDFS-9239)
 課題
NameNodeが高負荷の場合に、DataNodeから送られて
くるheartbeatの処理が遅延し、正常に動作している
DataNodeが誤ってstale/deadになることがある
heartbeatの処理はNamesystemのread lockを取るので、
clientの処理やblock reportの処理がwrite lockを取ってい
ると詰まる
 解決策
DataNodeが生存しているという情報のみ、heartbeatと
は別のプロトコル(DataNode Lifeline Protocol)で送る
dfs.namenode.lifeline.rpc-addressを設定すると有効に
なる

6. 6Copyright © 2016 NTT DATA Corporation
OIV: ReverseXML processor (HDFS-9835)
 OIV: Offline Image Viewer
fsimageを、人間が読める形式にdumpするツール
offline: NameNodeを動作させる必要がない
 ReverseXML processor
OIVを使ってXMLに変換したfsimageを、NameNodeが
読めるバイナリ形式に戻す
editsと違い、fsimageは手で編集できなかったが、この
機能を使えばできる
binary -> XML -(手で編集)-> XML -> binary
 experimental
現状、snapshotの一部には非対応 (HDFS-10506)

7. 7Copyright © 2016 NTT DATA Corporation
'yarn top' command (YARN-3348)
 topコマンドのYARN版
 ターミナルの幅を広げていくと、RVCORES, MEM,
RMEM, VCORESECS, MEMSECS, %PROGR, TIME,
NAMEが追加で表示される
見やすさのため、わざと狭くしている

8. Copyright © 2011 NTT DATA Corporation
Copyright © 2016 NTT DATA Corporation