AWS初心者向けWebinar AWSでBig Data活用

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

1
AWSでBig Data活用
2015/12/10
Ryosuke Iwanaga
Solutions Architect, Amazon Web Services Japan

2
Abstract
Big Dataを活用する動きが世の中に広く見られる様に
なってきましたが、まだまだ自分事とは思えない方も
多いと思います。本WebinarではAWSを利用したBig
Data活用のお客様事例を中心にご紹介します。また、
...

3
Agenda
• なぜBig Data? なぜAWS?
• Big Data on AWSの事例とサービス紹介
• Amazon EMRの特徴と事例
• SQL on Big Data

4
なぜBig Data? なぜAWS?

5
Big Dataとは？
• 全データを扱い、常に増え新しくなる
– サンプリングせず、全ての種類・量のデータを扱う
– 扱うべきデータは絶え間なく生み出される
• 因果関係より相関関係
– “風が吹けば桶屋が儲かる”
• 個にフィードバック...

6
Big Dataの例
領域分析内容
公共電力消費量予測スマートメーターによる消費量測定、発電設備監視
スマートシティセンサーNW センサーを使った交通や環境などのリスク分析
サービスモニタリング種々のログからのシステムパフォー...

7
Big Dataの例
領域分析内容
公共電力消費量予測スマートメーターによる消費量測定、発電設備監視
スマートシティセンサーNW センサーを使った交通や環境などのリスク分析
サービスモニタリング種々のログからのシステムパフォー...

8
ダベンポートによる分析の分類
何が起きたのか
（レポーティング）
何が起きているのか
（アラート)
何が起きるのか
(外挿法)
なぜどのように起きたのか
(モデリング、実験)
今何をすべきか
(レコメンデーション)
起こりうる最高の結果、
...

9
ダベンポートによる分析の分類
何が起きたのか
（レポーティング）
何が起きているのか
（アラート)
何が起きるのか
(外挿法)
なぜどのように起きたのか
(モデリング、実験)
今何をすべきか
(レコメンデーション)
起こりうる最高の結果、
...

10
なぜBig Data?
• データに基づく、科学的で質の高い判断
– 属人性の排除 → 組織のスケール
• 全てを科学的にはしない (例: Netflixは科学的:アート的 = 7:3)
• 世界は常に姿を変える
– 状況を速く・正確に...

11
Big Dataちょっと試してみたいけど、、、
• 「利用が拡大するかもしれないし、
実験的な取り組みで終わるかもしれない。」
• 「すぐデータを分析してみて、
有意義な結果が出るかやってみたい。」

12
なぜ、AWSなのか？
• 「利用が拡大するかもしれないし、
実験的な取り組みで終わるかもしれない。」
規模が拡大しても、処理できて、
コストも抑えられる仕組みが必要。
– スケールアウトが簡単
– オンデマンド課金

13
なぜ、AWSなのか？
• 「利用が拡大するかもしれないし、
実験的な取り組みで終わるかもしれない。」
特に最初は出来る限り
コストを抑えて始めたい。
– 初期費用不要

14
なぜ、AWSなのか？
• 「すぐデータを分析してみて、
有意義な利用ができるかやってみたい」
すぐに利用開始できるインフラ
– 数クリックで利用開始
– Big Dataに利用できる
サービスが揃っているので実現を加速
Deploy

15
Big Data on AWSの事例とサービス紹介

16
Big Data on AWS
• 豊富な成功事例
– 今回ご紹介: AdRoll, Zillow, スシロー, Netflix, FINRA
– Appendix: HEARST, Nasdaq, AOL
• それを支える豊富なサービス...

Amazon S3
Amazon Kinesis
Amazon DynamoDB
Amazon RDS (Aurora)
AWS Lambda
KCL Apps
Amazon
EMR
Amazon
Redshift
Amazon Machine...

Amazon S3
Amazon Kinesis
Amazon DynamoDB
Amazon RDS (Aurora)
AWS Lambda
KCL Apps
Amazon
EMR
Amazon
Redshift
Amazon Machine...

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Adi Krishnan, Principal PM Amazon Kinesis
Nick B...

20
Kinesis at AdRoll
Nick Barrash

AdRoll
我々のデータ
• AdRollにおけるリアルタイムデータ
• 広告のウェブサイトのクリックストリームデータ
• 広告の配信
• インプレッション / クリック / コンバージョン
• リアルタイムビッディング (RTB) データ
...

AdRoll
我々の規模感
• 毎日のインプレッションデータ: 2億イベント / 240GB
• 毎日のユーザデータ: 16億イベント / 700GB
• 毎日のRTBデータ: 600億イベント / 80TB

23
Amazon S3 (Simple Storage Service)
処理データを耐久性が高く低コストなクラウドストレージ
に格納。各サービス間のデータハブに。
• REST API、SDK、CLIなどを使って読み書き
• データを３つ以...

10分 ~5分
~15分
Dynamo
DBS3 Lambda
S3
HBase
EC2
EC2
EC2
...
SQS
SQS
SQS
...
リアルタイム処理
アプリケーション
EC2
EC2
EC2
...
ログ発生
データパイプラインア...

25
Amazon Kinesis Stream
大量でかつ連続したデータを信頼性高く格納し、
低レイテンシーでデータ処理に伝送が可能。
Data
Sources AWSEndpoint
App.1
[Aggregate &
De-Duplic...

10分 ~5分
~15分
Dynamo
DBS3 Lambda
S3
HBase
EC2
EC2
EC2
...
SQS
SQS
SQS
...
リアルタイム処理
アプリケーション
EC2
EC2
EC2
...
ログ発生
データパイプラインア...

~3秒
Dynamo
DB
S3
HBase
EC2
EC2
EC2
...
EC2
EC2
EC2
...
Kinesis
データパイプラインアーキテクチャ
Kinesis導入後
ログ発生リアルタイム処理
アプリケーション

► 5つのリージョン
► 155 ストリーム
► 264 シャード
► 25億イベント (1億 Kinesis レコード) / 日
Kinesisの利用量
※約36万円 ($1=120円)
/ 月

► 15 分 -> 3 秒
► それと同時に...
Kinesisによる勝利
安定性向上
コスト節約

Amazon S3
Amazon Kinesis
Amazon DynamoDB
Amazon RDS (Aurora)
AWS Lambda
KCL Apps
Amazon
EMR
Amazon
Redshift
Amazon Machine...

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Roger Barga, GM Amazon Kinesis
Adi Krishnan, Pro...

スシロー: 回転寿司レストラン
380店舗の寿司皿についたセンサーから送られるストリームデータをKinesisへ

スシロー: 回転寿司レストラン
380店舗の寿司皿についたセンサーから送られるストリームデータをKinesisへ

34
Amazon Redshift
• 特徴 (http://aws.amazon.com/jp/redshift/)
– 160GBから最大1.6PBまで拡張可能
– 超並列(MPP)、カラムナ型DBエンジンによ
る高速処理
– 他のAWS...

スシロー: 回転寿司レストラン
380店舗の寿司皿についたセンサーから送られるストリームデータをKinesisへ

Amazon Kinesis Firehose
大量のストリームデータをAmazon S3とAmazon Redshiftへ
管理不要: ストリームデータを捉えS3とRedshift、そして他の到達点へ一切アプリ
ケーションを書くことなく、イン...

Amazon Kinesis Analytics
データストリームを標準的なSQLで継続的に分析する
ストリームにSQLを適応: 簡単にデータストリームを接続でき、既存の
SQLのスキルを適応できる
リアルタイムアプリケーションを構築: ストリ...

Amazon S3
Amazon Kinesis
Amazon DynamoDB
Amazon RDS (Aurora)
AWS Lambda
KCL Apps
Amazon
EMR
Amazon
Redshift
Amazon Machine...

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Steve Abraham, Solutions Architect - AWS
Brian F...

Zillowのケーススタディ

Zillow – ユースケース
• モバイルアプリのメトリクスのいくつかを集める必要
• 3週間以内に本番投入される必要
• メトリクスを集約しビジネスオーナーに1日に何度かレ
ポートする必要
• 我々は既にいくつかのデータウェアハウス処理をA...

Zillow – アーキテクチャ図

43
イベントをトリガーに処理を実行可能。
AWS Lambda
コードの持ち込み
インフラ考慮が不要
AWSサービス / API
からのイベント呼び出し
オリジナル画像サムネイル画像
1
2
3
exports.handler_name =...

44
Amazon Elastic MapReduce（EMR）
収集したデータの処理をHadoop/Sparkなどの
分散処理フレームワークを使って効率的に処理。
AWS上の分散処理サービス
• 簡単かつ安全にBig Dataを処理
• 多数...

Zillow – 我々は何を作ったか?
• Amazon API Gateway上のカスタムURLエンドポイント
• 1,600万+ POST / 日 – 開始時点
• データはAPI GatewayからAWS Lambdaを使ってAmazon...

Zillow – データ収集のコスト
• Amazon Kinesisを3シャード使って、時間課金とPUT
のコストを合わせても、約$1.30/日
• AWS Lambdaには、我々は128MBのメモリを割り当て
てていて、毎日$6以下で動いて...

47
Amazon EMRの特徴と事例

Amazon S3
Amazon Kinesis
Amazon DynamoDB
Amazon RDS (Aurora)
AWS Lambda
KCL Apps
Amazon
EMR
Amazon
Redshift
Amazon Machine...

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Abhishek Sinha, Amazon Web Services
Gaurav Agraw...

EMR File System (EMRFS)
を使ってAmazon S3を有効活用

HDFSからAmazon S3へ
CREATE EXTERNAL TABLE serde_regex(
host STRING,
referer STRING,
agent STRING)
ROW FORMAT SERDE 'org.apach...

HDFSからAmazon S3へ
CREATE EXTERNAL TABLE serde_regex(
host STRING,
referer STRING,
agent STRING)
ROW FORMAT SERDE 'org.apach...

オンプレミス環境の場合
密結合している

コンピュートとストレージが一緒に大きくなる
密結合している
ストレージはコンピュートと共
に大きくなる
コンピュートの要件は異なる

同一リソースに対する競合
コンピュート
重視
メモリ
重視

リソースを分割すると、データがサイロ化
チームA

レプリケーションがさらにコストになる
3倍
単一のデータセンタ

Amazon EMRでは、いかにして
これらの問題を解決したのか?

ストレージとコンピュートを分解する

Amazon S3が永続的データストアに
イレブン9の耐久性
$0.03 / GB / 月 (US-East)
ライフサイクルポリシー
バージョニング
標準で分散構成
EMRFSAmazon S3

利点1: クラスタを落とせる
Amazon S3Amazon S3 Amazon S3

利点2: クラスタをリサイズできる

利点3: ジョブを論理的に分割できる
Hive, Pig,
Cascading
Prod
Presto Ad-Hoc
Amazon S3

利点4: ディザスタリカバリが組み込まれている
Cluster 1 Cluster 2
Cluster 3 Cluster 4
Amazon S3
Availability Zone Availability Zone

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Eva Tse and Daniel Weeks, Netflix
October 2015
B...

Netflixで鍵となるビジネス上のメトリクス
6500万人以上
の会員
50の国
1000以上の
デバイス
をサポート
100億
時間 / 四半期

我々のBig Dataの規模感
トータル ~25PB のデータウェアがAmazon S3に
読み出し ~10% (データ/日)
書き込み ~10% (読み出しデータ/日)
~ 5500億イベント/日
~ 350のアクティブなプラットフォームユーザ

クラウド
アプリ
Kafka Ursula
Cassandra
Aegisthus
ディメンションデータ
イベントデータ
15分
日次
Amazon
S3
SSテーブル
データパイプライン

Amazon S3をデータウェアストレージとして使う
Amazon S3を唯一の正しいデータソースに(HDFSではなく)
イレブン9の耐久性と99.99%の可用性が設計されている
コンピュートとストレージを分離
鍵となる追加機能
- 複数の多様...

パフォーマンスはどうなのか?
Amaozn S3は自分たちのクラスタより遥かに巨大
ネットワークの負荷をオフロードできる
読み込みのパフォーマンス
- 読み込みのみの1ステージのジョブで、5-10%の影響
- 複数ステージに渡る定期的なジョブで...

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Rahul Pathak, AWS
Scott Donaldson, FINRA
Clayton...

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Scott Donaldson, Senior Director
Clayton Kovar, ...

最大で
750億件の
イベントが
毎日
5 PBを超える
ストレージ
投資家を
保護する
マーケットを
清廉に保つ
アメリカの
99%の株取引と
70%のオプション
を監視している
マーケットの
再構築は
10兆もの
ノードとエッジが
含まれる...

EMRは我々のアーキテクチャ上でユビキタス
データマート
(Amazon
Redshift)
クエリクラスタ
(EMR)
クエリクラスタ
(EMR)
Auto
Scaled
EC2
分析
アプリ
正規化ETL
クラスタ
(EMR)
バッチ分析
...

最も合うものを選択
我々のユースケースでは、HDFSはコスト的に不可能
30×D2.8XLが2テーブルを保存するだけで必要: ~$1.5M/年 HDFS vs ~$120K/年 S3
90×D2.8XLが全てのクエリするテーブル保存に必要: ~...

1つのmetastoreで全てを統制する
共有のhive metastoreを作ることを考える
Multi-AZ RDSによって、耐障害性とDRを可能に
metastoreのテーブルとパーティションの合成をオフロード
一時的なクラスタの初期化を...

スポットインスタンスでスケールアップする
10ノードのクラスタが14時間稼働
コスト = $1.0 * 10 * 14 = $140

スポットインスタンスでクラスタをリサイズ
スポットで10ノードを追加する

スポットインスタンスでクラスタをリサイズ
20ノードのクラスタが7時間稼働
コスト = $1.0 * 10 * 7 = $70
= $0.5 * 10 * 7 = $35
トータル $105

スポットインスタンスでクラスタをリサイズ
50% の実行時間削減 (14  7)
25% のコスト削減 ($140  $105)

82
Workflow tools from re:Invent 2015
• Dataduct / AWS Data Pipeline
– BDT404: Building and Managing Large-Scale ETL Data ...

83
データレイク on AWS
• あらゆるデータが集まる
ストレージ
– 構造化も非構造化も
• 様々なデータを跨いで、
分析ができる
• Amazon S3が最適
– EMR/Redshift等で活用
– IA/GlacierでTiere...

84
SQL on Big Data

85
SQL on Big Data
10 GigE
(HPC)
COPY
UNLOAD
JDBC/ODBC JDBC/ODBC
Master
Node
Core/Task
Node
Core/Task
Node
Core/Task
Node
...

86
SQL on EMR
Query EngineApplication Storage
YARN
Map
Reduce Tez Spark
Hive
Spark
SQL
Presto
JDBC/ODBC
HiveMetastore
HDFS...

87
Lambda Architecture: Example
Speed Layer
Batch Layer
Serve Layer
SQL
SQL

88
Summary

89
AWSでBig Data活用
• Big Dataは誰もが持っていて、活用するかしないか
– 全量分析、相関関係、個にフィードバック
• AWSならすぐに始められて、どんな規模にも対応
– 初期投資不要、従量課金、豊富な大規模事例
• S...

90
参考文献・資料
• 書籍
– 『分析力を駆使する企業』『データ・アナリティクス3.0』
• re:Inventセッション資料
– BDT403: Best Practices for Building Real-time Streamin...

91
公式Twitter/Facebook
AWSの最新情報をお届けします
@awscloud_jp
検索
最新技術情報、イベント情報、お役立ち情報、
お得なキャンペーン情報などを日々更新しています！
もしくは
http://on.fb.me/...

92
AWSの導入、お問い合わせのご相談
• AWSクラウド導入に関するご質問、お見積り、資料請
求をご希望のお客様は、以下のリンクよりお気軽にご相
談ください
https://aws.amazon.com/jp/contact-us/aws-...

94
Appendix

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Matt Yanchyshyn, Sr. Mgr. Solutions Architecture...

最初のBig Dataアプリケーション on AWS

収集処理分析
保存
データ答え

収集処理分析
保存
データ答え

SQL
収集処理分析
保存
データ答え

Faviconを修正すれば、977のPage Not Foundエラーのうち398がなくなる
最初のBig Dataアプリケーション on AWS

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Roy Ben-Alta, Business Development Manager, AWS
...

バズりによるビジネス価値
• 我々の読者からの記事に対する素早いフィードバック
• メディアを超えて、人気の記事を定期的に再配信する
(例えばトレンドになっている新聞記事は雑誌にも取り
上げられる)
• 記事を書く編集者に、我々の読者により関係...

• スループット目標: 250以上の世界中のHearst所有メディア
からデータを送る
• レイテンシ目標: クリックからツールへの反映が5分以下
• 変更速度: クリックストリームへ簡単に新しいデータフィー
ルドを追加できる
• データサイエ...

データパイプラインの最終形
Buzzing API
APIで
使える
データ
Amazon Kinesis
S3 Storage
Node.JS
App- Proxy
Hearst所有
メディアの
ユーザ
クリックストリーム
データサイエンス
...

Data Science
Amazon Redshift
ETL
もっと”視覚的に”我々のパイプラインを表現してみると
クリックストリームデータAmazon
Kinesis
結果のAPI

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Nate Sammons, Principal Architect, Nasdaq, Inc.
...

N A S D A Q は
3,600のグローバル企業の
$96兆もの価値を
もつ上場企業があり
業界の多様性と、世界中に
よく知られる
イノベーティブな
ブランドを代表している
アメリカだけでなく
41,000を超え
多 ...

Amazon RedshiftをNasdaqのメインDWHとした
• オンプレミスのDWHからAmazon Redshiftへ転換した
• 1,000を超えるテーブルを移行
• 必要に応じて、更にデータソースを追加
• 約2年分のデータが入って...

絶対に何一つ捨てない
• 23台のds2.8xlarge Amazon Redshiftクラスタ
• 828 vCPU、5.48 TBのRAM
• 368 TBのストレージ容量、1PBを超えるローカルディスク
• 92 GB/秒のディスクI/...

Amazon EMRとAmazon S3へ拡張した動機
• 300 TBを超えるAmazon Redshiftクラスタのリサイズはす
ぐには終わらない
• クラスタが継続的に成長すると高価になってくる
• 頻繁にアクセスされないデータのためにC...

DWHを拡張していく

目標
• 安全で、コスト効率が良い、長期データストアを構築
• 全てのデータに対してSQLのインタフェースを提供
• 新しいMPPの分析ワークロードサポート (Spark, ML等)
• Amazon Redshiftクラスタのサイズを一定に抑...

ハイレベルな俯瞰図

ストレージとコンピュートリソースを分離する
それぞれを必要に応じて独立してスケールさせ、共通のス
トレージシステムの上に複数の異なるアプリを実行する
特に古くてそれほど頻繁にアクセスされないデータは、24
時間365日動いているコンピュートリソ...

データ投入の俯瞰図

鍵管理による暗号化
• オンプレミスに鍵保存用のSafenet LUNA HSMクラスタ
• Amazon Redshiftは我々のHSMと直接連携できる
• Nasdaq KMS:
• 内部的には”Vinz Clortho”という名前で知られ...

Prestoの俯瞰図

Prestoでのデータ暗号化
• PrestoはAmazon S3のアクセスにEMRFSを使わない
• Amazon S3のEncryptionMaterialsProviderのサポート
をPrestoS3FileSystem.javaに追加...

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Abhishek Sinha, Amazon Web Services
Gaurav Agraw...

どのようにしてAOL Inc. は 2 PBの
HadoopクラスタをAWSクラウドに移行
したか
Gaurav Agrawal
Senior Software Engineer, AOL Inc.
AWS Certified Associat...

AOLデータプラットフォームアーキテクチャ 2014

データの統計と洞察
クラスタサイズ
2 PB
自前のクラスタ
100ノード
行データ/日
2-3 TB
データ保持期間
13-24ヶ月

AOLデータプラットフォームアーキテクチャ2015
1
2
2
3
4
56

AWS vs. 自前クラスタコスト比較
0 2 4 6
サービス
コスト比較
AWS
自前
ソース: AOL & AWS Billing Tool
4x自前 / 月
1xAWS / 月
** 自前クラスタには、ストレージ、電源、ネットワークの...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

AWS Black Belt Online Seminar 2016 ... by Amazon Web Servic... 13397 views
AWSでのビッグデータ分析 by Amazon Web Servic... 23876 views
金融機関でのHive/Presto事例紹介 by Amazon Web Servic... 5751 views
Amazon EC2 Container Service Deep dive by Amazon Web Servic... 12765 views
ビッグデータサービス群のおさらい & AWS Data Pipeline by Amazon Web Servic... 14039 views
Amazon Elastic MapReduce with Hive/... by Amazon Web Servic... 18088 views

View on Slideshare

1 of 125 Ad

View on Slideshare

1 of 125 Ad