AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

1
Amazon Elastic MapReduce
AWS Black Belt Tech Webinar 2015
アマゾンデータサービスジャパン株式会社
ソリューションアーキテクト岩永亮介
2015/9/16 ※2016/08/...

2
Amazon Elastic MapReduceの歴史
• 2009年に最初のリリース
– MapReduceジョブを、ボタン1つで実行できる環境を提供
• Hadoopエコシステムの進化に対応
– Pig, Hive, HBase, Im...

3
ビッグデータパイプライン
S3
Kinesis
DynamoDB
AWS Lambda
KCL Apps
EMR
EMR Redshift
Machine
Learning
Collect Process Analyze
Store
Dat...

4
分散処理基盤
• 分散処理に必要なリソー
スを簡単に調達/廃棄可能
– Master/Core/Task node
– EMRFS
– Bootstrap Action, Steps
分散処理アプリケーション
• 複雑な設定無しに分散アプ
...

5
Agenda
• 分散処理基盤としてのAmazon EMR
• Amazon EMR主要アップデート (2014/10以降)
• 分散処理アプリケーションとしてのAmazon EMR
• まとめ

6
分散処理基盤としてのAmazon EMR
- アーキテクチャ -

7
Task Node
Task Instance Group
Amazon EMRのアーキテクチャ
security group
security group
Master Node
Master Instance Group
Amazon ...

8
Amazon EMR Master Instance Group
• Master Nodeは1つ
– Failoverは非対応
• いわゆるマスターの
役割を担う
– NameNodeや
JobTrackerなどが動く
– Core No...

9
Amazon EMR Core Instance Group
• 1つ以上のCore Node
• いわゆるスレーブの
役割を担う
– TaskTrackerなど
– DataNodeが動きロー
カルディスクがHDFS
として使われる
HD...

10
Amazon EMR Core Instance Group
• Core Node追加可能
– HDFS容量増加
– CPU/RAM増設
• HDFSを持っているた
め、削減はできない
– 4.1.0からは削減も可
能に
HDFS
Co...

11
Amazon EMR Task Instance Group
• HDFSを持たない以外
はCoreと同じ役割
• HDFSのデータは
Core Nodeにアクセ
スする
• HDFSを持たないので
削除も自由
Task Node
Tas...

12
Amazon EMR Task Instance Group
• 複数Group設定可能
– Spotのbid価格を調整
– Instance Typeを調整
• 余っているRIを活用
したり、市場価格に
合わせてSpotを調整
したりと...

13
Spot Instanceの活用例
Task Instance GroupCore Instance Group
予測されたコストで最低要件を満たす低コストでより高速に
On-demandを
Core Nodeに利用
最低要件を満たすだ...

14
分散処理基盤としてのAmazon EMR
- 機能・特徴 -

15
EMRFS: Amazon S3をHDFSの様に扱う
• 計算資源とストレージを隔離できる
• クラスタのシャットダウンが可能
– クラスタを消してもデータをロストしない
• 複数クラスタ間でデータ共有が簡単
– クラスタのバージョンアッ...

16
EMRFSの特徴
• “s3://”と指定するだけで利用可能
• Amazon S3の機能がそのまま使える
– 例: 古いデータはAmazon Glacierに自動で移動させる
• Amazon S3のサーバサイド・クライアントサイ
ドの...

17
EMRFSのConsistent View
• Amazon S3は結果整合性
– 書き込み直後の読み取りは不整
合の可能性
• EMRFSではConsistent View
を提供
– Amazon DynamoDBにメタデー
タを格納...

18
Amazon EMRならではの使い方
• 必要な時だけクラスタ起動
– 消せばお金はかからない
– 処理が終わったら自動で消え
る設定も可能
• データは全てAmazon S3
– クラスタを消してもデータは
消えない
– データを貯める...

19
Amazon EMRの機能: Bootstrap Action
• 全てのNode起動時に実行されるスクリプト
– 実行可能ファイルであれば何でもOK
• Bash, Ruby, Python, etc.
– Amazon S3に置いて指...

20
Amazon EMRの機能: Step
• クラスタが準備できたら始まる処理
– クラスタ起動時に設定することもできるし、起動しているクラスタ
に後から追加することもできる
– 例: 日次のETL処理を行うHiveQL実行
• Amazo...

21
Amazon EMRでのジョブ実行方法
• Stepで実行
– Amazon EMRの仕組みの上で実行
– 成功/失敗等を簡単に管理できる
– 現状はシリアル実行のみ
• 各アプリケーション毎のインタフェースで実行
– Master No...

22
Amazon EMR主要アップデート(2014/10以降)

23
Amazon EMR主要アップデート (2014/10以降)
• (前出)複数のTask Node Group
• カスタムSecurity Group
• Amazon S3のクライアントサイド暗号化対応
• アプリケーションサポート追...

24
カスタムSecurity Groupが利用可能に
• 自身で作成したSecurity Groupを指定可能
– 例: クラスタ毎に別のSecurity Groupを設定して、分離度を上げる
• Security Groupは2種類
– M...

25
Amazon S3クライアントサイド暗号化対応
• EMRFSの拡張として提供
– EMRFSを使っていれば透過的に暗号化・復号される
• クライアントサイド暗号化
– (サーバサイド暗号化では、Amazon S3の内部で暗号化も復号も行...

26
EMRFS – クライアントサイド暗号化
Amazon S3
クライアントから
AmazonS3に暗号化して保存
クライアントサイド暗号化を有効化した
EMRFSで復号して読み込み
キーベンダー (AWS KMSか、カスタムのプロバイダ)...

27
アプリケーションサポートの追加
• Spark
– AMI Version 3.8.0以降
• Hue
– AMI Version 3.3.0以降
– Release 4.1.0以降
• Release 4.0.0には含まれていないので注...

28
Private SubnetでもEMRが起動可能に
• SubnetがPrivateでも起
動可能に
– EMR 4.2.0以降で対応
• Publicとの違い
– S3のVPC endpointが必要
– DynamoDB等へのアクセ
...

29
EBSの設定が可能に&M4/C4もサポート
• EMRのAPI等からEBS
を設定可能に
– タイプ、サイズ等を指定
可能
• EBSのSC1/ST1もサ
ポート
– HDFSで効果を発揮する
• M4とC4が利用可能に

30
Amazon EMR Release (2015/07以降)
• Release 4.0.0 – 2015/07
• Release 4.1.0 – 2015/09
• Release 4.2.0 – 2015/11
• Release ...

31
Amazon EMR Release登場
• ポートやパスを標準的なものへ変更
– Amazon EMR独自の設定から、オープンソースの標準設定へ
• アプリケーションの設定を直接的に変更できる様に
– 設定ファイルを編集するのではなく、...

32
Release: ポートやパスの変更
• オープンソースの標準的な設定に変更
– 従来はカスタムのポートやパスを利用していた
– 変更例:
• yarn.resourcemanager.webapp.address port 9026 =...

33
Release: アプリケーションの設定変更
• Classification + Propertiesで直接的な指定
– 従来はBootstrap Actionなどで変更していた
– 以下の様な構造のデータを指定するだけで設定変更可能に...

34
Release: コンソール、ドキュメント変更
• マネージメントコンソールでQuick Create可能に
– ソフトウェア、ハードウェア、セキュリティの3項目だけ
– 従来通りのコンソールもGo to advanced options...

35
アプリケーションの変更履歴 (〜4.7.2) 続く

36
アプリケーションの変更履歴 (〜4.7.2)

37
アプリケーションの変更履歴 (〜5.0.0)

38
Release 4.0.0
• サポートアプリケーションが以下に変更
– Hadoop 2.6.0
– Hive 1.0.0
– Pig 0.14.0
– Mahout 0.10.0
– Spark 1.4.1
• Apache Bigt...

39
Release 4.1.0
• アプリケーション更新
– Spark 1.5.0
– Hue 3.7.1 (新規)
• サンドボックスで、開発中のアプリケーションも利
用可能
– Presto 0.119
– Zeppelin 0.6 (...

40
Release 4.2.0
• アプリケーション更新
– Spark 1.5.2
– Ganglia 3.6.0 (新規)
• サンドボックス更新
– Presto 0.125
– Zeppelin 0.5.5
– Oozie 4.2.0

41
Release 4.3.0
• アプリケーション更新
– Hadoop 2.7.1
– Spark 1.6.0
– Ganglia 3.7.2
• サンドボックス更新
– Presto 0.130

42
Release 4.4.0
• アプリケーション更新
– HCatalog 1.0.0 (新規)
– Mahout 0.11.1
• サンドボックス更新
– Sqoop 1.4.6 (新規)
– Presto 0.136
– Zeppel...

43
Release 4.5.0
• アプリケーション更新
– Spark 1.6.1
– Hadoop 2.7.2
• サンドボックス更新
– Presto 0.140
• EMRFSの機能追加
– S3のSSE-KMS暗号化
が利用可能に
...

44
Release 4.6.0
• アプリケーション更新
– HBase 1.2.0 (新規) – NoSQL on Hadoop
• サンドボックス更新
– Zookeeper 3.4.8 (新規)
– Presto 0.143

45
Release 4.7.1 ※バグ修正があったので4.7.0は非推奨
• アプリケーション更新
– Phoenix 4.7.0 (新規) – SQL on HBase
– Tez 0.8.3 (新規) – DAG engine on YA...

46
Release 4.7.2
• アプリケーション更新
– Mahout 0.12.2
– Spark 1.6.2
• サンドボックス更新
– Presto 0.148

47
Release 5.0.0
• アプリケーション更新
– Hive 2.1
– Presto 0.150
– Spark 2.0 (Scala 2.11)
– Hue 3.10.0
– Pig 0.16.0
– Tez 0.8.4
– Z...

48
分散処理アプリケーションとしてのAmazon EMR

49
Amazon EMRにおけるアプリケーション
• サポートアプリケーション
– クラスタ作成時に簡単なオプションをつけるだけでインストー
ル可能なもの
– Release Label/AMI Version毎に使えるアプリケーション、
バ...

50
アプリケーション: Hadoop
• YARN = Yet-Another-Resource-
Negotiator
• Hadoop2から導入されたリソース管
理の仕組み
– 以前は全てJobTrackerが行っていた
• Resour...

51
YARN: ResourceManager
• マスターサーバで稼働
• スレーブ群のリソース情
報を集約
– CPU, Memory, etc.
• 必要なリソースを探して
割り当てる
• ジョブの管理は行わない
– Applicati...

52
YARN: NodeManager
• スレーブサーバで稼働
• そのサーバのリソース情
報をRMに報告
• サーバ上のContainerの
管理を行う
– 要求に答えてContainerを
起動する
http://hadoop.apac...

53
YARN: Container
• スレーブのリソースが切
り出されたもの
• NMによって起動される
• 実行方式
– DefaultContainerExecutor
• プロセス
– LinuxContainerExecutor
•...

54
YARN: ApplicationMaster
• ジョブ全体を管理する
Container
– 旧JobTrackerの様な存在
– ジョブ毎に1つのAM
• ジョブを分散処理する
Container全体の進捗管
理や監視を行う
– S...

55
Amazon EMRとYARN
• MapReduce, Hive, Pig, Spark on YARN
– Amazon EMRクラスタが持つ計算資源を、YARNがアプリケー
ションに割り振ってくれる
• マルチテナントなクラスタも簡...

56
アプリケーション: Hive
• SQL likeな宣言的言語で、ビッグデータに対する処理が
行えるアプリケーション
• データソースに対してスキーマを定義することで、あた
かもテーブルの様に扱える
– 通常はHDFSがデータソース
– ...

57
Hiveの処理例
Metastore
HDFS
Cluster
Amazon S3
Hiveserver
CREATE
TABLE
SELECT
FROM
1: テーブル定義で
HDFSやAmazon S3
をソースに指定
2: テーブル...

58
Hive Metastoreの重要性
• 他のSQL実行エンジン
でも同じMetastoreを
参照可能
• MetastoreのMySQLを
クラスタ外に持つこと
も可能
– Amazon EMRの通常は
Masterのローカル
Met...

59
新しいファイルフォーマット ORC File / Parquet
• 列指向ファイルフォーマット
– カラム毎にデータをまとめて保存する
– 特定の列を扱う処理ではファイル全体を読む必要が
ない
– → Optimized Row Col...

60
列指向フォーマットを使うメリット
• 特定列のみの読み書きが効率的
– ビッグデータ分析では全列を使うことは稀
– 単純な統計データならメタデータのみで完結する
• 列毎には似たデータが続くので圧縮効率が良い
• 行毎にグループ化されてい...

61
HiveでのORC File/Parquetの使い方
• テーブル定義で指定
するだけ
• あとは何も意識しな
くて良い
CREATE TABLE t (
col1 STRING,
…
) STORED AS [ORC/PARQUET];...

62
HiveでAmazon Kinesisのデータを処理
• Amazon Kinesisが保持するStreamデータを、Hiveの
テーブルとして扱える
– Amazon Kinesisの保持期限を考慮して、データアーカイブ用途など
– 注...

63
HiveでAmazon Kinesisのデータを処理
Hiveテーブル作成
Amazon Kinesis
Streamを指定
HQLの実行(例)
通常のHQLを実行するだけ。
内部的にはAmazon Kinesis
からデータを取得し処理...

64
アプリケーション: Spark
• 高速な分散処理フレーム
ワークとして話題
– メモリキャッシュ、なるべく
ディスクを使わない
– 繰り返し処理(機械学習等)で
効果が高い
• フレームワーク上で、更に
アプリケーションが展開
– SQ...

65
Spark SQL & DataFrame API
• Spark SQL
– DataFrame APIを操作する
1つの手段
– Hive Metastoreも利用可能
• DataFrame API
– RDD + Schema
–...

66
• Discretized Stream(DStream)と呼ばれる、高
レベルの抽象表現
• Resilient Distributed Dataset(RDD)のシーケン
スとして表現される
– いわゆる、マイクロバッチ処理
DStr...

67
Amazon KinesisとSpark Streaming
• Amazon KinesisのStreamが、Amazon EMR上の
SparkにDStreamとして流れてくる
– Sparkの中にAmazon Kinesis用のライ...

68
Spark Dynamic Resource Allocation
• 複数Executorのメモリ上でRDDをキャッシュ
– Heapを全て使えるわけではないので、サイズに注意
• Dynamic Resource Allocation...

69
まとめ

70
分散処理基盤
• 分散処理に必要なリソー
スを簡単に調達/廃棄可能
分散処理アプリケーション
• 複雑な設定無しに分散アプ
リケーションを利用可能
Amazon EMRで分散処理
分散処理したいデータがあるなら、ボタン1つで今すぐに！

71
参考資料（英語）
• Amazon EMR Management Guide
http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide
• Amazon EMR ...

72
Q&A
次回Webinarのお申し込み
http://aws.amazon.com/jp/event_schedule/

73
Webinar資料の配置場所
• AWS クラウドサービス活用資料集
– http://aws.amazon.com/jp/aws-jp-introduction/

74
公式Twitter/Facebook
AWSの最新情報をお届けします
@awscloud_jp
検索
最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを
日々更新しています！
もしくは
http://on.fb.me/...

75
ご参加ありがとうございました。

76
Appendix

77
IAM Roleの指定が必須に
• 2015年6月30日以降、IAM Roleを指定しないとク
ラスタが起動できなくなった
• IAM Roleは2種類、デフォルトで作成される
– EMR role
• Amazon EMRが、Amazo...

78
Amazon EMR Application 紹介 for 5.0.0
• 分散処理系
– Hadoop, Hive, Tez,
Spark, Presto, Pig,
Mahout, Sqoop
• データベース系
– HBase, P...

79
Application 紹介: 分散処理系
• Hadoop
– 分散処理の基盤。YARN(リソース管理)+HDFS(分散ストレージ)の上で、
各種アプリが実行される。MapReduceもその1つ。多くのEMRアプリが
YARNを使うので...

80
Application 紹介: 分散処理系
• Spark
– 分散処理のフレームワーク。YARN上で実行でき、MapReduce
よりも高速かつ簡単に分散処理可能。Spark上でSpark
SQL(Hive互換)やSpark Strea...

81
Application 紹介: 分散処理系
• Pig
– MapReduceを独自DSLで定義して実行できる。新規で使われるこ
とは最近少なくなってきた。
• Mahout
– MapReduceやSpark上で動く機械学習ライブラリ。...

82
Application 紹介: データベース系
• HBase
– HDFS上に構成される分散KVS。高いスループットや大容量な
データの扱いが得意。
• Phoenix
– HBaseのデータに対してSQLインタフェースでアクセスできる。

83
Application 紹介: GUI系
• Hue
– Hiveのテーブルを管理、クエリを実行して結果を確認できるGUI。
• Zeppelin
– GUIからSparkのコードやSpark SQLを実行したり、結果をグラフ
などで可視...

84
Application 紹介: その他
• Ganglia
– インスタンスのリソース(CPU,Memory,Network等)の状態を収集
して、可視化できる運用ソフト。
• HCatalog
– HiveのテーブルにPig等からアクセ...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

Amazon Elastic MapReduce with Hive/... by Amazon Web Servic... 18088 views
AWS Black Belt Techシリーズ AWS Directo... by Amazon Web Servic... 12124 views
AWS Black Belt Tech シリーズ 2015 - AWS... by Amazon Web Servic... 108635 views
AWS Black Belt Tech シリーズ 2015 - Ama... by Amazon Web Servic... 42948 views
Jiraの紹介(redmineとの比較視点にて) by Hiroshi Ohnuki 36282 views
AWS Black Belt Techシリーズ Amazon EMR by Amazon Web Servic... 27697 views

View on Slideshare

1 of 84 Ad

View on Slideshare

1 of 84 Ad