Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向

Hadoop-3.2.0の新機能の紹介と
Java9+対応のコミュニティ動向
ヤフー株式会社浅沼孝信
2018年11月19日

自己紹介
 名前
– 浅沼孝信
 業務履歴
– 2012年新卒入社
– Apache HadoopやApache NiFiを用いた社内インフラの設計・開発
– HadoopのOSS開発（Erasure Coding, Java9+対応など）
– 2018年7月からHadoopコミッター
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2

目次
 Router-Based Federation (RBF)
 Hadoop {Submarine} Project
 HadoopのJava9+対応
3無断引用・転載禁止Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

HDFSのアーキテクチャ
5
b1
b3
b2 b1 b1b2
b2
b3
b3
NameNode
DataNode
b1
b2
b3
128MB
128MB
metadata
Client
無断引用・転載禁止Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

HDFSのアーキテクチャ
6
b1
b3
b2 b1 b1b2
b2
b3
b3
NameNode
DataNode
b1
b2
b3
128MB
128MB
metadata
NameSpace
Block Map
File -> BlockID BlockID -> DN
EditLog
Client

HDFSの特徴
 １台のマスターノード（NameNode）がメモリ上で全てのメタデータ
を管理している
 長所
– 強い一貫性を保証
 短所
– NameNodeのメモリサイズがスケーラビリティの制限になる
– 特に大量の小さなファイルを扱うのが苦手

HDFSのネームスペースを分割する
 NameNodeのメモリサイズは数百GBが限界なので、より大きなHDFS
が必要な場合はネームスペースを分割する必要がある
 ネームスペースを分割するには単純にクラスタを分割すれば良い
 しかしながら複数のネームスペースはクライアントにとって扱いにく
いのでクライアントから見て１つのクラスタに見えるようにしたい
8
A
B
C

Router-Based Federation (RBF)
9
 Router
– クライアントのリクエストを
受け取り適切なNameNode
にルーティング
 State Store
– マウント情報を中央管理
 クライアントは何も気にせずに
大きなHDFSとして参照すること
ができる
Cluster A
R
DNDN DN
NN
State Store
Cluster B
R
DNDN DN
NN
①
②
③
④
A
B
C
/
data
log tmp

開発状況
 多くの企業が開発に参加！
– Microsoft, Uber, VipShop, Huawei, LinkedIn, Hortonworks, Oath,
Yahoo! JAPAN...
 開発が完了した機能（Hadoop-3.2.0に含まれる）
– Router WebUI (WebHDFS)（HDFS-12615）
– クラスタ全体に渡るクォータ制限（HDFS-12934）
– １対＊のマウントポイント（HDFS-13224）
 開発中の機能
– セキュリティ対応（HDFS-13532）
– クラスタ間のバランサー（HDFS-13123）

補足：セキュリティ対応
 ケルベロス認証（HDFS-12284）
– ベースの実装が最近完了した！
– 残念ながら3.2.0には入らない
– 弊社でも検証してフィードバックしていきたい

Hadoop {Submarine} Project とは
 Tensorflowプログラムを特別な変更を加せずにそのままYARNの上で
動かすことを目標にしたプロジェクト
 名前の由来
– Submarine is the only vehicle that can take humans to deep places.
潜水艦は人間を深い場所に連れて行くことができる唯一の乗り物

{Submarine} に至るまでのYARNの進化
14
2.9
•Docker on YARN: YARNコンテナとしてDockerコンテナが利用可能に
3.1
•YARN Service framework: 長時間のアプリケーション実行をサポート
•GPU on YARN
3.2
•Hadoop {Submarine} Project
•上記のYARNの新機能を利用

Hadoop {Submarine} projectの特徴
 Tensorflowの分散処理を簡単な設定で実行可能
 HDFSや他のストレージに簡単にアクセスできる
 任意のDockerイメージを実行できる（Docker on YARN）
– 任意のバージョンのTensorflow、Pythonが使える
 リソースにアイソレーションしたGPUを指定可能（GPU on YARN）
 モデル提供のサービスを起動可能（YARN Service）
 TensorBoardを起動可能（YARN Service）

Submarineのジョブの実行例
 yarn jarコマンドでSubmarineのjarを指定して実行
– 将来的にはsubmarineコマンドができる模様
16
$ yarn jar hadoop-yarn-applications-submarine-3.2.0.jar job run
--input_path hdfs://path/to/dataset ＼
--checkpoint_path hdfs://path/to/checkpoint ＼
--name tf-job-001 --docker_image <docker image> ＼
--num_workers 2 ＼
--worker_resources memory=8G,vcores=2,gpu=2 ＼
--worker_launch_cmd "..." ＼
--ps_docker_image <docker image> ＼
--num_ps 1 --ps_resources memory=4G,vcores=2,gpu=0 ＼
--ps_launch_cmd "..." ＼
--tensorboard --tensorboard_docker_image <docker image>

Submarineのジョブの実行例
 yarn jarコマンドでSubmarineのjarを指定して実行
– 将来的にはsubmarineコマンドができる模様
17
$ yarn jar hadoop-yarn-applications-submarine-3.2.0.jar job run
--input_path hdfs://path/to/dataset ＼
--checkpoint_path hdfs://path/to/checkpoint ＼
--name tf-job-001 --docker_image <docker image> ＼
--num_workers 2 ＼
--worker_resources memory=8G,vcores=2,gpu=2 ＼
--worker_launch_cmd "..." ＼
--ps_docker_image <docker image> ＼
--num_ps 1 --ps_resources memory=4G,vcores=2,gpu=0 ＼
--ps_launch_cmd "..." ＼
--tensorboard --tensorboard_docker_image <docker image>
Worker
PS
Data source

補足：TonY
 LinkedInが開発したTensorflow on YARNのフレームワーク
 既存のTensorflow on YARNプロダクトがニーズに合わなかったので自社で開発
→ OSS化
 特徴
– GPU on YARNのAPIを利用してGPUのスケジューリング
– TensorBoardのサポート
– フォールトトレランス（チェックポイントをHDFSに保存できる）
– 最近Docekr on YARNにも対応した
 現時点ではSubmarineと別のプロジェクトだが将来的にSubmarineのランタイムとして
も動くようになるらしい

本日話すこと
 前のHSCRで話された発表（↓）以降のコミュニティの活動
– Apache HadoopとJava9とJigsaw
https://www.slideshare.net/hadoopxnttdata/20170303-java9-hadoop-72688327
– このときはまだJava9でビルドができなかった・・・

現在の対応状況
 Java9でビルドとMapReduceが成功！
 最近Java11でもビルドできるようになった

これまでに完了したこと
 sun.misc.Cleanerの問題を解決（HADOOP-12760）
– ファイルとメモリのマッピングを解消するのに使用
– Java9以降でパッケージが変わった
– Java8とJava9+で同時に対応するためにリフレクションによる黒魔術が必要
– ずっとブロッカーになっていたがついにクローズ
 削除されたjavaxライブラリを追加（HADOOP-15775, HADOOP-15895）
– javaxの一部のライブラリが標準のJavaライブラリから削除されたのでmaven
dependencyに明示して追加する必要がある
ここまででJava9でビルド/MapReduceの動作が可能になった

これまでに完了したこと
 Docletの問題を解決
– HadoopではDocletの機能を利用して、Javadocの生成を
@InterfaceAudience.Publicアノテーションが付与された
クラス／メソッドのみに制限していた
– Java10以降でDocletのパッケージが変更されたので、Docletを無効化して
全てのJavadocを生成することにした（HADOOP-15304）
– 今まで隠れていたフォーマット違反の大量のJavadocが明るみに・・・
（みんなで修正：HADOOP-15785, HDFS-13939）
ここまでの対応でJava11でもビルドが可能になった

まだ完了していないこと
 依存ライブラリをJava9+サポートしているバージョンへ
アップグレードが必要
– JUnit 4 ➡︎JUnit 5
– Mockito 1 ➡︎Mockito 2
– Log4j 1 ➡︎SLF4Jアダプター with Log4j 1 ➡︎SLF4Jアダプター with Log4j 2
非互換
 Jigsaw対応（nice to have）
– モジュール機能でパッケージの公開範囲を制御
– もっとコミュニティで議論する必要がありそう

Java9+対応の副次効果
 プレゼンスの向上（会社・個人）
– Yahoo! JAPANからJava9+対応で貢献したJIRAは27個！
 いろいろな開発者に感謝される
 Hadoopのソースコードの全体像が把握できる
– Common, HDFS, YARN, MapReduce, HDDS
 Mavenビルド職人になれる
– pom.xmlについてとても詳しくなった

今後の予定
－ Java9とJava10はEOL
－ HadoopとしてはLTSのJava11対応がメインになりそう
－いろいろなエコシステムから依存されているので早めの対応が必要
－ Java8のサポートも引き続き継続（期限は未定）
 コントリビュート歓迎！
OpenJDKのサポート期限（2018年11月時点）
JDK 8 JDK 11
RedHat OpenJDK ~2023/06 ~2024/10
AdoptOpenJDK ~2023/09 ~2022/09

Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向

Similar to Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向 (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (9)

Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向