fun-tech#1(2017/7/4開催) LT資料

1. サーバーレスで分析基盤
ブートキャンプに参加してみた
2017/7/4 fun-tech#1

2. 誰？
• オープンストリーム所属、木村嘉宏
• ky0000@Github
• AWS経験
• ゴリゴリのサーバー有のよくあるやつ
• ElasticBeanstalkとか
• Elasticsearch Serviceとかちょっとだけ
• その他諸々
• サーバーレス⇒未経験
• 分析基盤⇒未経験
• この分野に関してはほぼド素人！

3. ブートキャンプ
• AWSサミット中にある特別有償トレーニング
• 5 月 31 日（水）13:00 ～ 18:00（5 時間）
•Building a Serverless Data Lake
• 簡単な内容
• Lab1.データレイクセットアップ
• Lab2.カタログ検索と分析対象データのロード
• Lab3.データ処理セットアップ

4. Lab1.データレイクセットアップ
AmazonKinesis
Firehose
Amazon S3 Amazon
DynamoDB
Amazon
Elasticsearch Service
AWS
Lambda
AWS
Lambda

5. Lab2.カタログ検索と分析対象データ
のロード
AmazonKinesis
Firehose
Amazon S3 Amazon
DynamoDB
Amazon
Elasticsearch Service
AWS
Lambda
AWS
Lambda
AWS
Lambda
Amazon API
Gateway
Amazon S3
(静的ホスティング)
サーバーレスでREST-API
S3でAPI叩くページを静的
ホスティング
Amazon S3

6. Lab3.データ処理セットアップ
AmazonKinesis
Firehose
Amazon S3 Amazon
DynamoDB
Amazon
Elasticsearch Service
AWS
Lambda
AWS
Lambda
AWS
Lambda
Amazon API
Gateway
Amazon S3
(静的ホスティング)
Amazon
EMR
Amazon
Redshift
Spark
Presto
おまけの
Redshift
Amazon S3

7. Lab1.データレイクセットアップ
AmazonKinesis
Firehose
Amazon S3 Amazon
DynamoDB
Amazon
Elasticsearch Service
AWS
Lambda
AWS
Lambda

8. Lab1.ElasticsearchService
• 分散型RESTful検索/分析エンジン（Elastic社、Elasticsearch公式より）のAWS
上でのフルマネージドサービス
• 現在使用できるバージョンは1.5、2.3、5.1、5.3
• 割と新しいの揃ってるジャマイカ
• 昨日みた最新は5.4.3でした

9. Lab2.カタログ検索と分析対象データ
のロード
AmazonKinesis
Firehose
Amazon S3 Amazon
DynamoDB
Amazon
Elasticsearch Service
AWS
Lambda
AWS
Lambda
AWS
Lambda
Amazon API
Gateway
Amazon S3
(静的ホスティング)
サーバーレスでREST-API
S3でAPI叩くページを静的
ホスティング
Amzon S3
Amazon S3
Lab1

10. Lab2.サーバーありで作る場合

11. Lab2.サーバーレスで作る場合（今
回）

12. Lab3.データ処理セットアップ
AmazonKinesis
Firehose
Amazon S3 Amazon
DynamoDB
Amazon
Elasticsearch Service
AWS
Lambda
AWS
Lambda
AWS
Lambda
Amazon API
Gateway
Amazon S3
(静的ホスティング)
Amazon
EMR
Amazon
Redshift Lab2
Spark
＋
Presto
おまけの
Redshift
Amazon S3
Lab1

13. Lab3. EMR
• みなさんおなじみEMR

14. Lab3. Spark + Presto
サンドボックスデータをクエ
リしてParquet形式に変換
Parquet形式に変換さ
れたデータをアド
ホックにクエリ

15. Lab3. Redshift
• Spectrumはなし
• ↓こんなのを実行
AmazonKinesis
Firehose
Amazon S3
Amazon
Redshift BIクライアント
（psql）

16. まとめ
Serverlessで
Let’s
Analyse！
素
人
で
も
で
き
ま
す
な