Download as PDF, PPTX
Uploaded byYahoo!デベロッパーネットワーク
Apache Hadoopの現在と未来
2019年3月14日に開催された Hadoop / Spark Conference Japan 2019 で発表した資料です。
More Related Content
Apache Hadoopの現在と未来
- 1. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 2019年3月14日 鯵坂 明 (日本Hadoopユーザ会、ヤフー株式会社) Apache Hadoopの 現在と未来
- 2. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 事前アンケート結果
- 3. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 2系への移行は終わり3系の利用/検証が進む 4 3年前 YARNを利用している: 547人 YARNを利用していない: 298人 Hadoopを利用していない: 448人 現在 Hadoop 3系(CDH6, HDP3): 161人 Hadoop 2系(CDH5, HDP2など): 328人 Hadoopを利用していな い: 279人
- 4. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 参加者ではオンプレミス優勢 5 Hadoopの利用環境 (複数回答あり) オンプレミス: 310人 AWS: 195人 Azure: 48人 GCP: 29人
- 5. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. クラスタ台数は10台までが多くを占める 6 44% 25% 10% 14% 7% 1台~10台 11台~50台 51台~100台 101台~1000台 1001台~
- 6. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 扱うデータ量はさまざま 7 8% 9% 16% 17%18% 11% 13% 8% ~10GB 10GB ~ 100GB 100GB ~ 1TB 1TB ~ 10TB 10TB ~ 100TB 100TB ~ 1PB 1PB ~ 10PB 10PB ~
- 7. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 利用しているミドルウェア (20人以上) 8 0 50 100 150 200 250 300 350 400 450 500 参考: 前回のアンケート結果
- 8. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. Hadoopの現在と未来
- 9. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 並列分散処理をとりまく状況の変化 10 • クラウドサービスでの利用が増加 • データ量/計算量の増加 • 機械学習/ディープラーニングの流行 • コンテナ技術の流行
- 10. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. クラウドストレージとの連携が進む 11 • Amazon S3 • OpenStack Swift • Azure Blob Storage • Azure Data Lake Storage • Alibaba Cloud Object Storage Service • Tencent Cloud Object Storage (対応中)
- 11. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. スケーラビリティの限界突破 12 • HDFS/YARN Router-based Federationでクラスタを束ねることで、 マスタの負荷を軽減 • オブジェクトストレージ機能の開発 (Ozone) • HDFS Erasure Codingによるディスク の節約
- 12. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. プロジェクト構成の変化 13 • Common • HDFS • MapReduce • YARN • Submarine • Ozone
- 13. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. プロジェクト構成の変化 14 • Common • HDFS • MapReduce • YARN • Submarine • Ozone
- 14. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. Hadoop Submarine 15 人を深い(deep)所に連れていく唯一の乗り物 写真:アフロ
- 15. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. Hadoop Submarine 16 YARNの最新機能をフル活用して、 TensorFlow, PyTorchなどをHadoop上で 分散実行させる • GPU isolation • Docker on YARN • Container-DNS support
- 16. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. サブプロジェクトの追加 17 • Common • HDFS • MapReduce • YARN • Submarine • Ozone
- 17. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. サブプロジェクトの追加 18 • Common • HDFS • MapReduce • YARN • Submarine • Ozone → Arpit氏が詳しく紹介
- 18. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. Hadoopの未来はどうなる？ 19 • 機械学習/ディープラーニングにも対応 し、利用領域がさらに広がった今、これ 以上何を求める? • 個人的には、利用しやすさを高めたい • Kubernetesとできることは変わらない はずなのに、K8sが今流行っている理由 を考えよう
- 19. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 数年後までの野望 20 • Java 11対応を完了させる • リリースサイクルの加速 • プロダクトのさらなる分割?
- 20. Copyright (C) 2019Yahoo Japan Corporation. All Rights Reserved. 最後に 21 並列分散処理を取り巻く状況の変化に追従しながら Hadoopは進化し続けてきた 今後も進化を続けるHadoopに是非ご期待ください これまでのContributionに感謝 & これからの Contributionも大歓迎 もっと便利なHadoopを目指して頑張りましょう