Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Apache: Big Data North
America 2017
ヤフー株式会社
山口寛
2017/07/05

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
About me
• 経歴
• 広告レポー
• Hadoop運用
• 運用の自動化
• 最近触れてるもの
• HDP
• Ambari
• Ansible
• Python

About Apache Big Data
• Apache: Big Data North America 2017
• May 16 – 18@Miami, Florida
• Apache Projects
• Developers, operators and users
working in Big Data
• http://events.linuxfoundation.org/events/apache-
big-data-north-america

Session
Session Type Num
Use Cases 16
Ops 11
Streaming 9
SQL 9
Hadoop 7
Beam/Zeppelin 6
Big Data 6
Cassandra 5
Deep Learning/GPU 5
Machine Learning/Natural Language Processing 4
Spark 4

Hadoop関連の動向
Hadoopに関するセッション
• Hadoop 3.0を中心に、SchedulerやJava9対応など
• Docker on Hadoop
• Hadoop on Docker
• Ambari 2.5

ストリーム処理関連の動向
ストリーム処理に関するセッション
•9件 + Use caseなど
•Stormは新規の話も利用例も見当たらず
各ストリーム処理が基本機能を抑えてきている
•Beam モデル対応
•Exactly once
•High level API
Beamの話題感: 70人部屋で立ち見

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
セッション紹介（Hadoop
系）

セッション紹介
• Docker on Hadoop
• Venturing into Large Hadoop Clusters
• Streamline Hadoop DevOps with Apache Ambari
• その他

Automation of Rolling Upgrade for Hadoop Cluster
without Data Loss and Job Failures
• HDP Version UPの自動化
• HSCR #22で発表
• 聴講者15名程度
• 受けた質疑
• バージョンアップ頻度
• DNのリスタート方法
https://www.slideshare.net/techblogyahoo/automation-of-rolling-upgrade-of-hadoop-cluster-without-data-lost-and-job-failures-
hadoop-source-code-reading-22-hadoopreading

Docker on Hadoop
Hadoop on Dockerではない!
Why Docker on Hadoop?
• プロセスの分離
• CGroups for resource isolation
• Adds process
• 環境の分離
• Control execution environment: libraries, JVM, OS
• Unsafe operations

Docker on Hadoop
- Container Executor -
引用：http://events.linuxfoundation.org/sites/events/files/slides/DockerOnHadoop.pdf

Docker on Hadoop
- Setup -
How to run a Docker container through YARN
• Setup LCE: パーミッションの設定
• Setup Docker: 各NMノードにインストールが必要
• Configure yarn-site.xml
• Configure container-executor.cfg
• Prepare Docker image: 実行ユーザのアカウントが必要
• Launch job:

Docker on Hadoop
- Caveats -
• Application owner must exist in Docker container
• Hadoop artifacts must exist in Docker containers
• Large images may fail
• No real support for secure image repos
• Basic support for networks
• Security implications
• Not really useful before Hadoop 2.9/3.0

Docker on Hadoop
- Summary -
• 利用用途
• pysparkなど必要な依存ライブラリがそれぞれで違うよ
うなもの
• doAsを設定しましょう
• Hadoop 2.9/3.0以降で使いましょう
• Slider natively supports Docker

Venturing into Large Hadoop Clusters
今後Hadoopが数万台規模のクラスタになる
上での課題と現状の取り組み
資料は未公開

紹介されたもの
YARN
• YARN Federation YARN-2915
• ATS V2 YARN-2928 / YARN-5355
• ZKRMStateStoreの性能改善 YARN-2962
HDFS
• HDFS Federation HDFS-1052
• HDFS EC HDFS-7285

YARN

YARNのスケール課題
• RMはシングルノードで動き、Nodes数とジョブの実
行数とに依存する
• RMのMTTRはState storeにあるアプリケーション数
に依存する
• ATSはSPOF
• マルチテナンシーだとワークフローのデバックが難
しい

YARN Federation : YARN-2915
• 100K Nodesのコントロール
• SubCluster化で対応
• FederationServicesの導入
• RouterService
• AM – RM Proxy Service
• Policy and State Store
■ 参考
https://issues.apache.org/jira/browse/YA
RN-2915
https://www.slideshare.net/HadoopSummit
/yarn-federation

ATS v2 YARN-2928 / YARN-5355
• 現状ATSはlocal storageを利用
• SPOF:
• スケーラビリティ ❌
• リアイアビリティ ❌
• 対応 local diskからHBaseへ変更
ATS v2
https://issues.apache.org/jira/browse/YARN-2928

ATS v2 YARN-2928 / YARN-5355
•ユーザビリティ改善：Flow概念の導入
• Flow : 複数のYARN Applicationを起動
して完了するApplication
• pig / oozie / tezなど
• Flow単位でカウンタ情報取得

ZKRMStateStoreの改善 / YARN-2962
Zookeeperの仕様上単一のZnodeには1MB
以上のデータを保持できない
• 設定変更し1MB以上書き込むと性能が
低下
保存するRootを分離した
• 利用する場合にフォーマットとRM
のリスタートが必須

HDFS

HDFSのスケール課題
• 今後Node数の増大と容量の増加に伴い
Meta情報を管理しているNameNodeへの負荷が増大
• 大規模なクラスタになるとHDFSの信頼性担保のために行っているレ
プリケーションがコストになる

HDFS Federation/HDFS-1052
• Storageがスケールしても
Namespaceに制限
• file/dir/blocks数に制限
• シングルノードではHWに制限
• メモリ容量が必要
https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/Federation.html

Erasure Coding / HDFS-7285
• 既存のHDFS
• 冗長化としてのレプリカ
• レプリカ3での保存は
オーバーヘッドが200%
• 2blockまでロストを保証
https://techblog.yahoo.co.jp/infrastructure/hdfs_erasure_coding/

Erasure Coding / HDFS-7285
• Erasure Coding
• 冗長化にErasure Coding
• Erasure Coding（6,3)の場合
オーバーヘッドが50%
• 3blockまでロストを保証
https://techblog.yahoo.co.jp/infrastructure/hdfs_erasure_coding/

Streamline Hadoop DevOps with Apache Ambari
• Ambariの現状と今後について
• Ambari : hadoop clustorの構築/運用ツール
• Ambari2.5
• Ambariの今後について

Ambari 2.5
• Service Auto-Restart
• Manage JournalNode HA
• Download All Client Configs
• Scale Testing on 2500 Agents
• Password Credential Store
• HDFS TopN User and Operation Visualization
• etc

Ambari Security
http://events.linuxfoundation.org/sites/events/files/slides/ambari_apache_big_data_miami_2017.pdf

Ambari Monitoring
http://events.linuxfoundation.org/sites/events/files/slides/ambari_apache_big_data_miami_2017.pdf

Future of Ambari 3.0
• Cloud features
• Service multi-instance (e.g., two ZK quorums)
• Service multi-versions (Spark 2.0 & Spark 2.2)
• YARN assemblies & services
• Patch Upgrades: upgrade individual components in the same
stack version, e.g., just DN and RM in HDP 3.0.*.* with zero
downtime
• Ambari High Availability

その他
PILOT HADOOP TOWARDS 2500 NODES AND CLUSTER REDUNDANCY
• Criteoの事例紹介 :
• クラスタの規模感が大きく、NNのGCのチューニングなど参考になるかも
• 内部的にはChefで自動化している
• DN運用はラック毎でコントロール
Distributed Resource Scheduling Frameworks Is there a clear winner?
• Distributed Resource Schedulingの比較：
• 比較結果としてどれも進化の方向は同じ
• スケジューラのMasterをスケールできる方向へ進化している
• YARNでの取り組みも紹介されている

Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading

More Related Content

What's hot

Viewers also liked

Similar to Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading

More from Yahoo!デベロッパーネットワーク

Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading