Apache Hadoop の
現在と将来
Apache Hadoop
committer, PMC member
Tsuyoshi Ozawa, Akira Ajisaka

Hadoop とは
 並列分散処理を実現するミドルウェア
 複数のサーバを束ねて，ひとつの大きな処理システムと
して利用するためのミドルウェア
• HDD 1台では 100 MB /sec の読み書きが限界
• 1TBの読み込みに 10000 秒 = 2.7時間かかる
• データの高速な読み込み、書き込みのために並列処理を利用

Hadoop 本体の構成要素と現状
 MapReduce
• 並列分散処理を実行するためのミドルウェア
• 広く商用利用されており，処理系として安定している
‐ 巨大なデータを対象としても安定して動作
 YARN
• 計算機リソースの管理を行うためのミドルウェア
 HDFS
• 大量のデータを保持するためのミドルウェア
• MapReduce だけでなくその他の並列分散処理を
実行するためのミドルウェアなどから広く利用可能

YARNの現状
 もともとは Hadoop の計算機リソース管理を
汎用化するための手段
 現在では、安定し MapReduce を起点として、
他の様々な並列処理基盤を実行するような使い方が中心
 なぜか？
• YARNがマスタを立ち上げるため
Tez や Spark の jar を計算機にコピーするだけで動作する
• 得意な処理だけを実行できるような基盤ができた

Hadoop を取り巻く現状
 Hadoop を皮切りとして、様々な分散処理用
ミドルウェアが普及
Apache Hadoop, Apache Tez, Apache ZooKeeper, Apache Oozie, Apache Spark, Apache
Storm, Apache HBase, Apache Pig and the logos are trademarks of The Apache Software
Foundation.

分散処理ミドルウェアのインタフェース
 バッチ処理では SQLに似た言語による記述が主流
• HiveQL/Pig Latin/ Spark DataFrame など
• MapReduce API を直接実装することは希になりつつある
 バッチ処理とストリーミング処理を透過的に扱えるような
言語が登場
• Apache Flink、 Google DataFlow など
 機械学習に特化した高水準言語も登場
• Apache SystemML 、Google TensorFlow
機械学習用の
言語
ストリーミングと
バッチを透過的に
扱う言語
SQL
Spark MapReduce Tez

多種多様な分散処理ミドルウェアの登場
 現在の並列処理ミドルウェアは
CPU、メモリ、ディスクを中心とした処理に焦点
 一方で、高水準言語の中で CPU だけでなく
GPGPU や FPGA などを利用したミドルウェアが登場
• Apache SystemML、 Google TensorFlow
‐ 高速に機械学習を実行するために、GPU を利用
• Microsoft Project Catapult
‐ Microsoft の機械学習基盤
‐ FPGA を用いてトータルスループットを2倍に、 TCO を削減
 YARN はどうなっていくか？

YARN の将来
 YARN は現在の並列処理ミドルウェアを対象とし、
CPU、メモリ、ディスクを中心とした処理に焦点を
あてている
 一方で、CPU だけでなく GPGPU や FPGA などを
利用したミドルウェアやアーキテクチャが登場
• Apache SystemML、 Google TensorFlow、Project Catapult
 YARN も GPGPU や FPGA を含む様々な計算リソースを
扱えるようなデータセンターOSとして
さらなる進化を遂げていく

HDFS の現状と将来
 ここ1～2年で、様々な機能が追加された
 性能: 安価になったSSDやメモリを活用する
• 異なる種類のストレージが混在した構成に対応
• メモリをストレージとして扱う
 セキュリティ/運用性: Hadoop自体の適用領域を広げる
• POSIX ACLs: よりきめ細かいアクセス制御
• データの暗号化
• ローリングアップグレード
 セキュリティ/運用性の向上で適用領域を広げつつ、YARNと同
様、ハードウェアの進化に応じてさらなる進化を遂げていく

Hadoopの開発コミュニティ
 1つの指標として、2015年の変更コード行数を集計
• ディストリビュータである Hortonworks、Cloudera の他に、
Huawei も多大に貢献している
• 日本では NTT、NTTデータ、Yahoo! Japanによる貢献が大きい
~~~~
http://ajisakaa.blogspot.com/2016/01/the-activities-of-apache-hadoop.html

日本の開発者のみなさまに感謝！
 NTT
• Tsuyoshi Ozawa
• Kenji Kikushima
• Akihiro Suda
 NTT DATA
• Masatake Iwasaki
• Akira Ajisaka
• Kengo Seki
• Shinichi Yamashita
• Kousuke Saruta
 Treasure Data
• Kai Sasaki
• Ryu Kobayashi
• Johan Gustavsson
 Yahoo! Japan
• Takanobu Asanuma
• Hui Zheng
• Takuya Fukudome
• GAO Rui
• Keisuke Ogiwara
 Cloudera
• Daisuke Kobayashi
 Fujitsu
• Kazuho Fujii
 Cloudian
• Takenori Sato
2015年にissueを1件以上fixした日本の開発者一覧

Hadoopをよりよくしていきたい
 もっとHadoopを使いやすくするために
我々ができることとは...
 メンテナンスリリースの継続
• 現状、2.6系と2.7系はメンテナンスされている
• 今後も、2バージョン以上のメンテナンスを継続したい
 Java 8/9 対応
 新しいハードウェアを意識した高速な処理基盤の実現
• SSD
• GPGPU
• NVMe SSD
• インターコネクト
 Hadoopの開発者をもっと増やしたい
• コミュニティをもっと盛り上げたい

Hadoopのユーザコミュニティ
 前回の講演資料より
 いま、どの程度広まっているのか?

YARNは着実に広まっている
 アンケート結果を紹介
• YARNを使っている ... 547人
• YARNを使っていない ... 298人
• Hadoopを使っていない ... 448人
 YARNを使っている人が利用している処理基盤
• 注意: YARN上で動作させているとは限らない
0
100
200
300
400
500
YARNユーザの
80%以上がHive,
Sparkを利用

まとめ
Sparkなどの新しい分散処理基盤が広まり、
Hadoopは埋もれがちのように見える
だが、Hadoopはハードウェアの進化に追従する
形で着実に進化を続けている
日本の開発者が増え続けているのは良いこと
もっと開発コミュニティを盛り上げていきたい
日本でもYARNが広まりつつある
ぜひ使ってみて、コミュニティにフィードバックして
ほしい