OSC2014 Tokyo/Spring Hadoop

OSC2014 Tokyo/Spring Hadoop
多種多様なデータの分散処理基盤 Apache Hadoopの現状、これから Hadoopユーザー会山下真一 2014/03/01 OSC 2014 Tokyo/Spring
自己紹介 • 山下　真一 (@_sinchii_) • 日々進化するHadoopと格闘中 • • たくさん処理を実行して秘孔を付いたり Hadoopの仕掛けた罠(バグ)に嵌ったり OSC 2014 Tokyo/Spring 2
本日の発表内容 • Hadoopのおさらい • Hadoop最新動向 • デモ OSC 2014 Tokyo/Spring 3
おさらい: Hadoopとは • 課題 • • • 日々増え続けるデータを蓄え続けたい蓄えたデータを速やかに処理したいバッチ処理をより早く処理したい • • 処理データ規模は問わない Hadoopの特長 • • • 複数のサーバで構成する分散ファイルシステムを提供分散ファイルシステム上のリソースを活用して分散処理を実現、数十分～数時間の処理を数分～数十分に短縮 Hadoopを動作させるサーバは容易に入手できるサーバを利用、リソース不足の場合は容易に追加可能 OSC 2014 Tokyo/Spring 4
おさらい : Hadoopとは処理異常時は異常箇所のみ再試行 Google MapReduce MapReduceフレームワーク Google File System HDFS分散ファイルシステムサーバが故障してもコピーを持っているため欠損しない主な利用用途集計 OS / Java 抽出 OSC 2014 Tokyo/Spring 加工分析 5
これまでのHadoopの仕組みタスクジョブ情報 TaskTracker(s) M M M タスク分割 R R R JobTracker JobClient クライアントデータローカリティを意識した割り当てファイルをブロックに分割配置を指示 DFSClient 入出力データは HDFSと連携マスターサーバ M ・・・ R ・・・・・・ M ・・・ NameNode ・・・・・・ファイル DataNode(s) OSC 2014 Tokyo/Spring 6
Hadoopエコシステム Hive (SQL style) Pig (DSL) Mahout (機械学習) HBase (カラム指向型ストア) Flume (データ投入) MapReduceフレームワーク Sqoop (DB連携) HDFS分散ファイルシステム Oozie (低レイテインシ) Spark (インメモリ) Ambari (ジョブフロー) Impala (クラスタ管理) ZooKeeper (分散ロック) OSC 2014 Tokyo/Spring 7
Hadoop 1系と2系の違い MapReduce等アプリケーション MapReduce アプリケーション Application Master MapReduce フレームワーク YARN HDFS 1 HDFS 2 Hadoop 1系 Hadoop 2系 OSC 2014 Tokyo/Spring 9
Hadoop 1.0系のMapReduceの問題 • JobTrackerへの負荷集中 • 多数のリクエストを処理するためネックとなりやすい MapReduceジョブ制御 (タスクアサイン) • TaskTrackerでリソースを予約して動作 • スロット数は固定であるためリソースを十分活用できない Mapスロット • TaskTracker管理 (ハートビート処理) Reduceスロット map関数、reduce関数内で強引に処理を定義 • Giraph , Oozie など OSC 2014 Tokyo/Spring 10
YARN : Yet Another Resource Negotiator • JobTrackerのリソース管理とジョブ管理を分離 • ResourceManager : リソース管理 • • ApplicationMaster : アプリケーション • • • スレーブノード(NodeManager)管理 MapReduceジョブは、ApplicationMasterが制御処理はコンテナ(Container)が実行 NodeManager : スレーブノード • リソース使用状況(CPU・メモリ)を確認 OSC 2014 Tokyo/Spring 11
YARNを構成するノード MapReduceジョブ管理タスク割り当て Map(Reduce)タスク Application Master Container Node Manager AM割り当て＆管理 Node Manager Container Resource Manager Node Manager ハートビート CPU・メモリ利用状況 Node Manager JobHistory Server ApplicationHistory Server (MRジョブ履歴) (YARNジョブ履歴) OSC 2014 Tokyo/Spring 12
YARNの特徴 • スレーブノードのリソースを十分に利用する仕組み • • LxC、cgroupsを活用して、厳密なリソース管理も実現 MapReduce 1.0 APIとの互換性 • Hadoop 1.0系のMapReduceアプリケーションも実行可能 • • • 再ビルドしなおすだけで、実行可能現在は、再ビルド不要の仕組みも開発中様々なApplicationMasterが動作可能 • MapReduceジョブ以外のアプリケーションも実行可能 • Apache Spark, Storm, Tez, Hbase(HOYA) などなど OSC 2014 Tokyo/Spring 13
YARNの今後の開発内容 • いくつかの機能は現在も開発中 • さまざまなアプリケーションをYARNで動作させるための仕組み • • • • スケジューラ改良 (CapacityScheduler / FairScheduler) 長時間動作するApplicationMaster対応アプリケーションの実行履歴管理(ApplicationHistory) アプリケーション実行の記録(ApplicationTimeline) OSC 2014 Tokyo/Spring 14
HDFS 2 • NameNode HA : 長年の問題が解決 • HDFS Snapshot : オペミスからの復旧が容易に • HDFS インメモリ Cache • HDFS Federation : NameNode分割 • ロック機構の改善 • ヘテロなストレージを利用可能 • • メモリ、SSD、などを組み合わせて利用可能にいよいよ問題なく利用出来る状態に！ OSC 2014 Tokyo/Spring 15
その他Hadoop2系のポイント • Java 7 対応 • Windows 上での Hadoop環境 • ログ周りの改善 • • • auditログメッセージレベルの見直し無駄なstacktrace出力の抑制 OSC 2014 Tokyo/Spring 16
HDFSに蓄えたデータの活用 • HDFS上のデータをMapReduce以外で活用するための仕組みも広がりつつあります • • • Apache Spark / UC Berkeley • • インメモリベースでのMapReduce処理エンジン Cloudera Impara / Cloudera • • 低レイテンシ、インメモリ、イテレーション … HiveのXXX倍速いなどなど低レイテンシ処理エンジン Presto / Facebook • 分散SQLエンジン OSC 2014 Tokyo/Spring 17
Apache Spark • インメモリによりMapReduceを処理 • • Map処理, Reduce処理を定義 Hadoop MapReduceの弱点を補う • 繰り返し処理(イテレーション) • ジョブ起動、Shuffleなどのオーバーヘッドを軽減 • HDFSとの親和性 • 高級言語(Scala, Java, Python)で処理を定義 • UC Berkeley AMPLab により開発 OSC 2014 Tokyo/Spring 18
Apache Spark 構成要素 HiveQL ストリーミング処理 Shark MapReduce等アプリケーション Application Master YARN 機械学習 Spark Streaming MLlib Spark アプリケーション Application Master Spark ノード YARN HDFS 2 HDFS 2 Hadoop 2系 Apache Spark OSC 2014 Tokyo/Spring 19
デモ • HDFS2 + YARN環境を動かしてみます • Webインタフェース • • • HDFS YARN & JobHistoryServer サンプルアプリケーションの実行 • Hadoopサンプルであるπ計算(PiEstimator) OSC 2014 Tokyo/Spring 21
デモ • Apache SparkとHadoop環境を連携してみます • Spark : スタンドアロンモード • • マスタとワーカ(1ノード)を起動サンプルアプリケーションの実行 • • Spark での word count HDFS上のファイルに対して word countを実行 Sparkでのword count構文 (Scalaで実装) val file = sc.textFile("hdfs://osc:8020/user/hadoop/spark-readme") val words = file.flatMap(line => line.replaceAll("W", " ").toLowerCase().split("s+")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _) wordCounts.saveAsTextFile("hdfs://osc:8020/user/hadoop/spark-wordcount") OSC 2014 Tokyo/Spring 22
Hadoop のリリース予定 • Hadoop 2系(2.3がcurrent version) • 2.4 • • • • • • RM-HA automatic Failover Application History Server Long-running applications HDFS Trace ? HDFS Symlink ? Hadoop 1系 … 1.3とかは幻となるのか? OSC 2014 Tokyo/Spring 23
まとめ • Hadoop 2系 • • • HDFS : 必要な仕組みは一通りそろった YARN : MapReduceのみであれば、それなりに動作するエコシステムの膨張 • • • HDFSに蓄えたデータを扱う仕組み MapReduceの弱点を補う仕組み何を使うにしてもデータを蓄えることが大切です！ • 最初は数台、そして簡単な集計処理から... OSC 2014 Tokyo/Spring 24
ご清聴ありがとうございました！ OSC 2014 Tokyo/Spring 25

Check these out next

OSC2014 Tokyo/Spring Hadoop

Recommended

More Related Content

Slideshows for you(20)

Similar to OSC2014 Tokyo/Spring Hadoop(20)

Recently uploaded(20)

OSC2014 Tokyo/Spring Hadoop