Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Apache Hadoopの現在と未来

1,177 views

Published on

2019年3月14日に開催された Hadoop / Spark Conference Japan 2019 で発表した資料です。

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Apache Hadoopの現在と未来

  1. 1. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 2019年3月14日 鯵坂 明 (日本Hadoopユーザ会、ヤフー株式会社) Apache Hadoopの 現在と未来
  2. 2. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 事前アンケート結果
  3. 3. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 2系への移行は終わり3系の利用/検証が進む 4 3年前 YARNを利用している: 547人 YARNを利用していない: 298人 Hadoopを利用していない: 448人 現在 Hadoop 3系(CDH6, HDP3): 161人 Hadoop 2系(CDH5, HDP2など): 328人 Hadoopを利用していな い: 279人
  4. 4. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 参加者ではオンプレミス優勢 5 Hadoopの利用環境 (複数回答あり) オンプレミス: 310人 AWS: 195人 Azure: 48人 GCP: 29人
  5. 5. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. クラスタ台数は10台までが多くを占める 6 44% 25% 10% 14% 7% 1台~10台 11台~50台 51台~100台 101台~1000台 1001台~
  6. 6. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 扱うデータ量はさまざま 7 8% 9% 16% 17%18% 11% 13% 8% ~10GB 10GB ~ 100GB 100GB ~ 1TB 1TB ~ 10TB 10TB ~ 100TB 100TB ~ 1PB 1PB ~ 10PB 10PB ~
  7. 7. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 利用しているミドルウェア (20人以上) 8 0 50 100 150 200 250 300 350 400 450 500 参考: 前回のアンケート結果
  8. 8. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. Hadoopの現在と未来
  9. 9. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 並列分散処理をとりまく状況の変化 10 • クラウドサービスでの利用が増加 • データ量/計算量の増加 • 機械学習/ディープラーニングの流行 • コンテナ技術の流行
  10. 10. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. クラウドストレージとの連携が進む 11 • Amazon S3 • OpenStack Swift • Azure Blob Storage • Azure Data Lake Storage • Alibaba Cloud Object Storage Service • Tencent Cloud Object Storage (対応中)
  11. 11. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. スケーラビリティの限界突破 12 • HDFS/YARN Router-based Federationでクラスタを束ねることで、 マスタの負荷を軽減 • オブジェクトストレージ機能の開発 (Ozone) • HDFS Erasure Codingによるディスク の節約
  12. 12. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. プロジェクト構成の変化 13 • Common • HDFS • MapReduce • YARN • Submarine • Ozone
  13. 13. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. プロジェクト構成の変化 14 • Common • HDFS • MapReduce • YARN • Submarine • Ozone
  14. 14. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. Hadoop Submarine 15 人を深い(deep)所に連れていく唯一の乗り物 写真:アフロ
  15. 15. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. Hadoop Submarine 16 YARNの最新機能をフル活用して、 TensorFlow, PyTorchなどをHadoop上で 分散実行させる • GPU isolation • Docker on YARN • Container-DNS support
  16. 16. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. サブプロジェクトの追加 17 • Common • HDFS • MapReduce • YARN • Submarine • Ozone
  17. 17. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. サブプロジェクトの追加 18 • Common • HDFS • MapReduce • YARN • Submarine • Ozone → Arpit氏が詳しく紹介
  18. 18. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. Hadoopの未来はどうなる? 19 • 機械学習/ディープラーニングにも対応 し、利用領域がさらに広がった今、これ 以上何を求める? • 個人的には、利用しやすさを高めたい • Kubernetesとできることは変わらない はずなのに、K8sが今流行っている理由 を考えよう
  19. 19. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 数年後までの野望 20 • Java 11対応を完了させる • リリースサイクルの加速 • プロダクトのさらなる分割?
  20. 20. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 最後に 21 並列分散処理を取り巻く状況の変化に追従しながら Hadoopは進化し続けてきた 今後も進化を続けるHadoopに是非ご期待ください これまでのContributionに感謝 & これからの Contributionも大歓迎 もっと便利なHadoopを目指して頑張りましょう

×