2019年3月14日に開催された Hadoop / Spark Conference Japan 2019 で発表した資料です。

1. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
2019年3月14日
鯵坂 明 (日本Hadoopユーザ会、ヤフー株式会社)
Apache Hadoopの
現在と未来

2. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
事前アンケート結果

3. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
2系への移行は終わり3系の利用/検証が進む
4
3年前
YARNを利用している:
547人
YARNを利用していない:
298人
Hadoopを利用していない:
448人
現在
Hadoop 3系(CDH6,
HDP3): 161人
Hadoop 2系(CDH5,
HDP2など): 328人
Hadoopを利用していな
い: 279人

4. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
参加者ではオンプレミス優勢
5
Hadoopの利用環境 (複数回答あり)
オンプレミス: 310人
AWS: 195人
Azure: 48人
GCP: 29人

5. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
クラスタ台数は10台までが多くを占める
6
44%
25%
10%
14%
7%
1台~10台
11台~50台
51台~100台
101台~1000台
1001台~

6. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
扱うデータ量はさまざま
7
8%
9%
16%
17%18%
11%
13%
8%
~10GB
10GB ~ 100GB
100GB ~ 1TB
1TB ~ 10TB
10TB ~ 100TB
100TB ~ 1PB
1PB ~ 10PB
10PB ~

7. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
利用しているミドルウェア (20人以上)
8
0
50
100
150
200
250
300
350
400
450
500 参考: 前回のアンケート結果

8. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Hadoopの現在と未来

9. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
並列分散処理をとりまく状況の変化
10
• クラウドサービスでの利用が増加
• データ量/計算量の増加
• 機械学習/ディープラーニングの流行
• コンテナ技術の流行

10. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
クラウドストレージとの連携が進む
11
• Amazon S3
• OpenStack Swift
• Azure Blob Storage
• Azure Data Lake Storage
• Alibaba Cloud Object Storage Service
• Tencent Cloud Object Storage (対応中)

11. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
スケーラビリティの限界突破
12
• HDFS/YARN Router-based
Federationでクラスタを束ねることで、
マスタの負荷を軽減
• オブジェクトストレージ機能の開発
(Ozone)
• HDFS Erasure Codingによるディスク
の節約

12. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
プロジェクト構成の変化
13
• Common
• HDFS
• MapReduce
• YARN
• Submarine
• Ozone

13. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
プロジェクト構成の変化
14
• Common
• HDFS
• MapReduce
• YARN
• Submarine
• Ozone

14. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Hadoop Submarine
15
人を深い(deep)所に連れていく唯一の乗り物
写真:アフロ

15. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Hadoop Submarine
16
YARNの最新機能をフル活用して、
TensorFlow, PyTorchなどをHadoop上で
分散実行させる
• GPU isolation
• Docker on YARN
• Container-DNS support

16. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
サブプロジェクトの追加
17
• Common
• HDFS
• MapReduce
• YARN
• Submarine
• Ozone

17. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
サブプロジェクトの追加
18
• Common
• HDFS
• MapReduce
• YARN
• Submarine
• Ozone → Arpit氏が詳しく紹介

18. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Hadoopの未来はどうなる？
19
• 機械学習/ディープラーニングにも対応
し、利用領域がさらに広がった今、これ
以上何を求める?
• 個人的には、利用しやすさを高めたい
• Kubernetesとできることは変わらない
はずなのに、K8sが今流行っている理由
を考えよう

19. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
数年後までの野望
20
• Java 11対応を完了させる
• リリースサイクルの加速
• プロダクトのさらなる分割?

20. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
最後に
21
並列分散処理を取り巻く状況の変化に追従しながら
Hadoopは進化し続けてきた
今後も進化を続けるHadoopに是非ご期待ください
これまでのContributionに感謝 & これからの
Contributionも大歓迎
もっと便利なHadoopを目指して頑張りましょう