Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

サーバレスで分析基盤〜ブートキャンプに参加してみた〜

204 views

Published on

fun-tech#1(2017/7/4開催)
LT資料

Published in: Technology
  • Be the first to comment

  • Be the first to like this

サーバレスで分析基盤〜ブートキャンプに参加してみた〜

  1. 1. サーバーレスで分析基盤 ブートキャンプに参加してみた 2017/7/4 fun-tech#1
  2. 2. 誰? • オープンストリーム所属、木村嘉宏 • ky0000@Github • AWS経験 • ゴリゴリのサーバー有のよくあるやつ • ElasticBeanstalkとか • Elasticsearch Serviceとかちょっとだけ • その他諸々 • サーバーレス⇒未経験 • 分析基盤⇒未経験 • この分野に関してはほぼド素人!
  3. 3. ブートキャンプ • AWSサミット中にある特別有償トレーニング • 5 月 31 日(水)13:00 ~ 18:00(5 時間) •Building a Serverless Data Lake • 簡単な内容 • Lab1.データレイクセットアップ • Lab2.カタログ検索と分析対象データのロード • Lab3.データ処理セットアップ
  4. 4. Lab1.データレイクセットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch Service AWS Lambda AWS Lambda
  5. 5. Lab2.カタログ検索と分析対象データ のロード AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) サーバーレスでREST-API S3でAPI叩くページを静的 ホスティング Amazon S3
  6. 6. Lab3.データ処理セットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) Amazon EMR Amazon Redshift Spark Presto おまけの Redshift Amazon S3
  7. 7. Lab1.データレイクセットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch Service AWS Lambda AWS Lambda
  8. 8. Lab1.ElasticsearchService • 分散型RESTful検索/分析エンジン(Elastic社、Elasticsearch公式より)のAWS 上でのフルマネージドサービス • 現在使用できるバージョンは1.5、2.3、5.1、5.3 • 割と新しいの揃ってるジャマイカ • 昨日みた最新は5.4.3でした
  9. 9. Lab2.カタログ検索と分析対象データ のロード AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) サーバーレスでREST-API S3でAPI叩くページを静的 ホスティング Amzon S3 Amazon S3 Lab1
  10. 10. Lab2.サーバーありで作る場合
  11. 11. Lab2.サーバーレスで作る場合(今 回)
  12. 12. Lab3.データ処理セットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) Amazon EMR Amazon Redshift Lab2 Spark + Presto おまけの Redshift Amazon S3 Lab1
  13. 13. Lab3. EMR • みなさんおなじみEMR
  14. 14. Lab3. Spark + Presto サンドボックスデータをクエ リしてParquet形式に変換 Parquet形式に変換さ れたデータをアド ホックにクエリ
  15. 15. Lab3. Redshift • Spectrumはなし • ↓こんなのを実行 AmazonKinesis Firehose Amazon S3 Amazon Redshift BIクライアント (psql)
  16. 16. まとめ Serverlessで Let’s Analyse! 素 人 で も で き ま す な

×