Submit Search
Upload
What's Amazon Athena? - re:Growth 2016 Osaka
•
2 likes
•
7,457 views
Ganota Ichida
Follow
AWS re:Invent 2016 Classmethod, Inc. re:Growth 2016
Read less
Read more
Internet
Report
Share
Report
Share
1 of 38
Download now
Download to read offline
Recommended
Aws athenaを使ってみた
Aws athenaを使ってみた
Sunggyu Rhie
BigData-JAWS 勉強会#5 発表資料
Amazon Elasticsearch Serviceを利用したAWSのログ活用
Amazon Elasticsearch Serviceを利用したAWSのログ活用
真司 藤本
2015/12/10 市ヶ谷ギーク登壇資料
Morning Session - AWS Serverless Ways
Morning Session - AWS Serverless Ways
akitsukada
IVS CTO Night & Day 2016 Winter powered by AWSのDAY1モーニングセッションで使用した発表資料です
re:Growth athena
re:Growth athena
淳 千葉
クラスメソッドre:Inventフォロー re:GrowthでAmazon Athenaの概要について発表
20161214 re growth-sapporo
20161214 re growth-sapporo
Satoru Ishikawa
AWS re:Invent 2016 / re:Grouth 2016 Sapporo for Bigdata. Amazon Glue Amazon Athena
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
都元ダイスケ Miyamoto
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Yasuhiro Araki, Ph.D
AWS の利用が急速に増加するにつれて、さまざまな利用パターンが生まれてきています。 動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンは、実はリファクタリングするための方法が存在するパ ターンであることが多いです。 失敗に陥るパターンを類型化し、事例の早期発見と対応策を知っておくことは AWS 利用のプラスになります。 「転ばぬ先の杖」としての失敗例を成功に変えるアンチパターンの数々をご紹介します。
AWS初心者向けWebinar AWSでBig Data活用
AWS初心者向けWebinar AWSでBig Data活用
Amazon Web Services Japan
2015/12/10 AWS初心者向けWebinar AWSでBig Data活用
Recommended
Aws athenaを使ってみた
Aws athenaを使ってみた
Sunggyu Rhie
BigData-JAWS 勉強会#5 発表資料
Amazon Elasticsearch Serviceを利用したAWSのログ活用
Amazon Elasticsearch Serviceを利用したAWSのログ活用
真司 藤本
2015/12/10 市ヶ谷ギーク登壇資料
Morning Session - AWS Serverless Ways
Morning Session - AWS Serverless Ways
akitsukada
IVS CTO Night & Day 2016 Winter powered by AWSのDAY1モーニングセッションで使用した発表資料です
re:Growth athena
re:Growth athena
淳 千葉
クラスメソッドre:Inventフォロー re:GrowthでAmazon Athenaの概要について発表
20161214 re growth-sapporo
20161214 re growth-sapporo
Satoru Ishikawa
AWS re:Invent 2016 / re:Grouth 2016 Sapporo for Bigdata. Amazon Glue Amazon Athena
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
都元ダイスケ Miyamoto
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Yasuhiro Araki, Ph.D
AWS の利用が急速に増加するにつれて、さまざまな利用パターンが生まれてきています。 動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンは、実はリファクタリングするための方法が存在するパ ターンであることが多いです。 失敗に陥るパターンを類型化し、事例の早期発見と対応策を知っておくことは AWS 利用のプラスになります。 「転ばぬ先の杖」としての失敗例を成功に変えるアンチパターンの数々をご紹介します。
AWS初心者向けWebinar AWSでBig Data活用
AWS初心者向けWebinar AWSでBig Data活用
Amazon Web Services Japan
2015/12/10 AWS初心者向けWebinar AWSでBig Data活用
Serverless services on_aws_dmm_meetup_20170801
Serverless services on_aws_dmm_meetup_20170801
Amazon Web Services Japan
AWS serverless services for DMM meetup
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
Yosuke Katsuki
クラスメソッド社主催のAWS re:Invent 2016報告会
Aurora新時代の幕開けとDynamoDBの進化
Aurora新時代の幕開けとDynamoDBの進化
Classmethod,Inc.
AKIBA.aws 第3回 特別編 re:Invent報告&2017年AWSサービスアップデート総括において、re:Invent2017におけるAuroraとDynamoDBのアップデート内容について振り返ります。
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services Japan
AWS Black Belt Tech Webinar 2014 (旧マイスターシリーズ) AWS Data Pipeline
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
2017/07/05 に開催された,AWS Solution Days 2017 DB Day の講演資料です. https://aws.amazon.com/jp/about-aws/events/2017/solutiondays20170705/
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
2016/12/17開催「今年もやるよ!ビッグデータオールスターズ -日本を代表するビッグデータエンジニア・マーケターが大集結!- 」での発表資料「データレイクを基盤としたAWS上での機械学習サービス構築」です
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazon Web Services Japan
2016/10/22 第5回 Machine Learning 15minutes! での講演「Amazonでのレコメンド生成における深層学習とAWS利用について」の資料です。
AWSでのビッグデータ分析
AWSでのビッグデータ分析
Amazon Web Services Japan
2015/08/01
AWSサービスアップデートまとめ (re:Invent 2016とその前後)
AWSサービスアップデートまとめ (re:Invent 2016とその前後)
Amazon Web Services Japan
AWSサービスアップデートまとめ (re:Invent 2016とその前後) 渡邊源太 アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクト
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Amazon Web Services Japan
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apache Spark and Amazon DSSTNE
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
AWSデータベースアップデート2017
AWSデータベースアップデート2017
Amazon Web Services Japan
JAWS DAYS 2017の講演資料です。
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Amazon Web Services Japan
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化 @ビッグデータオールスターズ 2015.08.01
Aws auto scalingによるwebapサーバbatchサーバの構成例
Aws auto scalingによるwebapサーバbatchサーバの構成例
Takeshi Mikami
本資料では、AWS AutoScalingによるWebAPサーバとBatchサーバの構成例と、 その構成を考えるにあたって必要となる周辺知識について説明する。
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS X-Ray
Search Solutions on AWS
Search Solutions on AWS
Eiji Shinohara
IVS CTO Night and Day powered by AWS 2016 WinterのMorning Sessionにおける検索技術に関する資料です
20151016 soracom-araki-02
20151016 soracom-araki-02
Yasuhiro Araki, Ph.D
二部構成: ソラコムさんに、トンネリングサービスをつくってほしい!編 ソラコムさんが、イベント駆動アーキテクチャを実現する共有ストレージサービスをはじめるのはどうか?編
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
Genta Watanabe
JAWS-UG東京で発表した資料です。
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
2017/06/30 - 07/01 にかけて開催された,db analytics_show_case の講演資料です.
AWS ML Update
AWS ML Update
Amazon Web Services Japan
2018/07/23 に開催されたセミナーの資料です https://pages.awscloud.com/AdTechJapanSeminar20180723-jp.html
研究用途でのAWSの利用事例と機械学習について
研究用途でのAWSの利用事例と機械学習について
Yasuhiro Matsuo
CloudWeek2017での発表資料です。
More Related Content
What's hot
Serverless services on_aws_dmm_meetup_20170801
Serverless services on_aws_dmm_meetup_20170801
Amazon Web Services Japan
AWS serverless services for DMM meetup
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
Yosuke Katsuki
クラスメソッド社主催のAWS re:Invent 2016報告会
Aurora新時代の幕開けとDynamoDBの進化
Aurora新時代の幕開けとDynamoDBの進化
Classmethod,Inc.
AKIBA.aws 第3回 特別編 re:Invent報告&2017年AWSサービスアップデート総括において、re:Invent2017におけるAuroraとDynamoDBのアップデート内容について振り返ります。
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services Japan
AWS Black Belt Tech Webinar 2014 (旧マイスターシリーズ) AWS Data Pipeline
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
2017/07/05 に開催された,AWS Solution Days 2017 DB Day の講演資料です. https://aws.amazon.com/jp/about-aws/events/2017/solutiondays20170705/
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
2016/12/17開催「今年もやるよ!ビッグデータオールスターズ -日本を代表するビッグデータエンジニア・マーケターが大集結!- 」での発表資料「データレイクを基盤としたAWS上での機械学習サービス構築」です
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazon Web Services Japan
2016/10/22 第5回 Machine Learning 15minutes! での講演「Amazonでのレコメンド生成における深層学習とAWS利用について」の資料です。
AWSでのビッグデータ分析
AWSでのビッグデータ分析
Amazon Web Services Japan
2015/08/01
AWSサービスアップデートまとめ (re:Invent 2016とその前後)
AWSサービスアップデートまとめ (re:Invent 2016とその前後)
Amazon Web Services Japan
AWSサービスアップデートまとめ (re:Invent 2016とその前後) 渡邊源太 アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクト
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Amazon Web Services Japan
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apache Spark and Amazon DSSTNE
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
AWSデータベースアップデート2017
AWSデータベースアップデート2017
Amazon Web Services Japan
JAWS DAYS 2017の講演資料です。
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Amazon Web Services Japan
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化 @ビッグデータオールスターズ 2015.08.01
Aws auto scalingによるwebapサーバbatchサーバの構成例
Aws auto scalingによるwebapサーバbatchサーバの構成例
Takeshi Mikami
本資料では、AWS AutoScalingによるWebAPサーバとBatchサーバの構成例と、 その構成を考えるにあたって必要となる周辺知識について説明する。
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS X-Ray
Search Solutions on AWS
Search Solutions on AWS
Eiji Shinohara
IVS CTO Night and Day powered by AWS 2016 WinterのMorning Sessionにおける検索技術に関する資料です
20151016 soracom-araki-02
20151016 soracom-araki-02
Yasuhiro Araki, Ph.D
二部構成: ソラコムさんに、トンネリングサービスをつくってほしい!編 ソラコムさんが、イベント駆動アーキテクチャを実現する共有ストレージサービスをはじめるのはどうか?編
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
Genta Watanabe
JAWS-UG東京で発表した資料です。
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
2017/06/30 - 07/01 にかけて開催された,db analytics_show_case の講演資料です.
What's hot
(20)
Serverless services on_aws_dmm_meetup_20170801
Serverless services on_aws_dmm_meetup_20170801
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
Aurora新時代の幕開けとDynamoDBの進化
Aurora新時代の幕開けとDynamoDBの進化
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
AWS Black Belt Online Seminar 2017 IoT向け最新アーキテクチャパターン
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazonでのレコメンド生成における深層学習とAWS利用について
AWSでのビッグデータ分析
AWSでのビッグデータ分析
AWSサービスアップデートまとめ (re:Invent 2016とその前後)
AWSサービスアップデートまとめ (re:Invent 2016とその前後)
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
AWSデータベースアップデート2017
AWSデータベースアップデート2017
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Aws auto scalingによるwebapサーバbatchサーバの構成例
Aws auto scalingによるwebapサーバbatchサーバの構成例
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
Search Solutions on AWS
Search Solutions on AWS
20151016 soracom-araki-02
20151016 soracom-araki-02
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Similar to What's Amazon Athena? - re:Growth 2016 Osaka
AWS ML Update
AWS ML Update
Amazon Web Services Japan
2018/07/23 に開催されたセミナーの資料です https://pages.awscloud.com/AdTechJapanSeminar20180723-jp.html
研究用途でのAWSの利用事例と機械学習について
研究用途でのAWSの利用事例と機械学習について
Yasuhiro Matsuo
CloudWeek2017での発表資料です。
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
https://dev.classmethod.jp/cloud/aws/20191101-devio2019-effective-datalake/
【JAWS-UG AI/ML支部 第14回勉強会】Amazon EC2 Trn1 GA ! ~ AWSが提供するML向けインスタンスの豊富な品揃えと 専...
【JAWS-UG AI/ML支部 第14回勉強会】Amazon EC2 Trn1 GA ! ~ AWSが提供するML向けインスタンスの豊富な品揃えと 専...
TakeshiFukae
JAWS-UG AI/ML支部の第14回勉強会の投影資料です。
20200617 AWS Black Belt Online Seminar Amazon Athena
20200617 AWS Black Belt Online Seminar Amazon Athena
Amazon Web Services Japan
AWS 公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
Amazon Web Services Japan
2019年10月に京都で開催された CTO Night & Day 2019 Fall Day1 モーニングセッションでの講演資料です
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
Tusyoshi Matsuzaki
DEEP LEARNING LAB「Ignite 2019 最新アップデート AI & BigData 」での登壇資料
aws mackerel twilio_handson_public
aws mackerel twilio_handson_public
Tomoaki Sakatoku
https://mackerelio.connpass.com/event/53750/
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
Kohei Ogawa
▼発表内容はこちら。 Azure AI (Cognitive Services, Azure Machine Learning, Applied AI Service)アップデートに関して。 今回のUpdateにより、GPT-3をAzureで使える「Azure OpenAI Service」や、言語処理系サービスを統合し、新機能が追加された「Azure Cognitive Service for Language」等が発表されました。それらを中心にAzure Synapse AnalyticsとのAI/ML連携やその他の最新Updateも絡めて、最新情報をお伝えします! ▼イベントページはこちら https://dllab.connpass.com/event/232219/
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
Daiyu Hatakeyama
前処理に欠かせない存在となっている Azure Synapse Analytics。実は推論実行の場の側面も持っています。Spark・SQL Pool(s)・機械学習連携に焦点を当ててご紹介します。
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
Shotaro Suzuki
https://www.elastic.co/jp/webinars/moving-from-on-prem-to-managed-services-with-elastic-on-azure-live
AWSによるグラフDB構築
AWSによるグラフDB構築
Alexander Patrikalakis
この資料はグラフ入門とDynamoDBによるグラフDBの構築を詳しく描いています。
New Cloud Design Pattern using Amazon Aurora
New Cloud Design Pattern using Amazon Aurora
宗 大栗
2015/11/10に開催されるAmazon RDS for Aurora 東京ローンチ記念セミナーでのプレゼン資料です。
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Amazon Web Services Japan
AWS公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
Serverless analytics on aws
Serverless analytics on aws
Amazon Web Services Japan
2018/10/5 に開催された Analytics Architecture Night - Tokyo の発表資料です https://analyticsarchitecturenighttoky.splashthat.com/
Amazon Web Servicesで未来へススメ!
Amazon Web Servicesで未来へススメ!
Genta Watanabe
東北IT物産展 in 青森での発表資料です。
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Shotaro Suzuki
NVIDIA #GTC21 AI モデル作成と解析 ~ ElasticsearchとAzure AIを活用~[S32677] https://gtc21.event.nvidia.com/esearch/search?keyword=S32677
アマゾンにおけるAWSを用いた社内システム移行事例
アマゾンにおけるAWSを用いた社内システム移行事例
SORACOM, INC
デブサミ2011の、セッション【18-C-5】「Eat your own dog food! - アマゾンにおけるAWSを用いた社内システム移行事例 」の資料です。 Jeffが英語で話し、玉川が日本語で様ライズしたセッション資料です。
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Daiyu Hatakeyama
Public Preview で出たばかりの、Azure Synase Analytics の短時間Hackの情報共有のためのスライドです。 - Synapse 概要 - Hack しまくり
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
Yasuhiro Horiuchi
Fukui Tech Cafe (同時開催)JAWS-UG 福井支部 勉強会 での発表資料です。
Similar to What's Amazon Athena? - re:Growth 2016 Osaka
(20)
AWS ML Update
AWS ML Update
研究用途でのAWSの利用事例と機械学習について
研究用途でのAWSの利用事例と機械学習について
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
【JAWS-UG AI/ML支部 第14回勉強会】Amazon EC2 Trn1 GA ! ~ AWSが提供するML向けインスタンスの豊富な品揃えと 専...
【JAWS-UG AI/ML支部 第14回勉強会】Amazon EC2 Trn1 GA ! ~ AWSが提供するML向けインスタンスの豊富な品揃えと 専...
20200617 AWS Black Belt Online Seminar Amazon Athena
20200617 AWS Black Belt Online Seminar Amazon Athena
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
aws mackerel twilio_handson_public
aws mackerel twilio_handson_public
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
AWSによるグラフDB構築
AWSによるグラフDB構築
New Cloud Design Pattern using Amazon Aurora
New Cloud Design Pattern using Amazon Aurora
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Serverless analytics on aws
Serverless analytics on aws
Amazon Web Servicesで未来へススメ!
Amazon Web Servicesで未来へススメ!
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
アマゾンにおけるAWSを用いた社内システム移行事例
アマゾンにおけるAWSを用いた社内システム移行事例
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
What's Amazon Athena? - re:Growth 2016 Osaka
1.
Amazon Athenaって何? re:Growth 2016
Osaka classmethod.jp 1 2016.12.12 クラスメソッド株式会社 市田善久
2.
Who are you? classmethod.jp
2 • 市田善久 • 大阪オフィス勤務 Solutions Architect • 前職:レンタルサーバ • Interest : Network / Security BigData / DevOps Athena,AI,X-Ray … classmethod.jp 2
3.
Amazon Athena classmethod.jp 3
4.
What‘s Amazon Athena? 標準SQLを用いてAmazon
S3上にあるデータ を簡単に分析できるインタラクティブなクエリ サービス ザックリ表現で、 「S3のデータに直接SQL投げられるサービス」 classmethod.jp 4
5.
どういうこと? • マネジメントコンソールで数アクション • 標準SQLでアドホッククエリ実行 •
結果は数秒 classmethod.jp 5
6.
特徴その1/4 • すぐ使える。直接クエリできる – ETLやデータのロードが不要 –
Athenaにデータを移す必要がない – S3上のファイルにテーブル定義を適用するだ けで、ファイルに変更を加える必要なく、高 速にクエリを実行可能 • サーバレス – セットアップや管理用インフラは不要 – 高可用性、運用性 classmethod.jp 6
7.
特徴その2/4 • 数秒で結果が得られる – クエリを自動で並列化し、何百、何千コアに 分散し、高速処理 –
パフォーマンス改善 • データの圧縮 • カラムナ形式のフォーマット • 詳細は後程 classmethod.jp 7
8.
特徴その3/4 • 分散SQLエンジンPrestoでクエリ実行 • 様々なデータフォーマットに対応 –
JSON、CSV、TSV、ログファイル、AWS サービスログ、カスタム区切りのテキスト、 Apache Parquet(パーケイ)、Apache ORC 等 classmethod.jp 8
9.
特徴その4/4 • S3へのストリームデータも対応 • Athena自体が未対応のリージョンのS3 に対しても実行可能 –
東京リージョンのバケットに対して利用可能 • 従量課金 – 実行したクエリのみ課金(詳細は後程) classmethod.jp 9
10.
圧縮データのサポート S3上のデータが圧縮されていても解析可能 • Snappy – Google製のオープンソースの圧縮ライブラリ •
Zlib • GZIP classmethod.jp 10
11.
組み合わせ • Amazon QuickSightとの連携(確認中) –
容易に可視化 • JDBC接続 – BIツールやSQLクライアントからクエリ実行 可能(Workbenchなど) • 様々なサードパーティ製ツールとの連携可能 – Amazon Athena用のJDBCドライバはS3で公 開済み classmethod.jp 11
12.
Workbench利用例 classmethod.jp 12
13.
クエリについて • マネジメントコンソールのAthena Query
Editor やSQLクライアントから照会 • DDL文やSQLクエリを実行可能 – 実行不可なものも(CREATE TABLE AS SELECT等) • 結果はコンソールへストリームされる • 結果はS3に保存される – アクセス可能 • 1アカウントあたり同時に5つのクエリを実行可 – デフォルト – 上限緩和申請で拡張可能 classmethod.jp 13
14.
簡単な使い方 1. マネジメントコンソールにログイン 2. CREATE
TABLE(2通り) – マネジメントコンソールでウィザード利用 – DDL文の利用 (Hive DDL) 3. クエリー開始 classmethod.jp 14
15.
サンプルデータ classmethod.jp 15
16.
1. Name &
Location classmethod.jp 16
17.
2. Data Format classmethod.jp
17
18.
3. Columns classmethod.jp 18
19.
4. Partitios classmethod.jp 19
20.
Create Table classmethod.jp 20
21.
Run Query classmethod.jp 21
22.
コスト • 実行したクエリのみに対する課金 – 各クエリでスキャンされたデータ量 •
S3上のデータ1TBスキャン毎に$5 • 失敗クエリは課金対象外 classmethod.jp 22
23.
コスト削減のポイント データスキャンを減らしコスト節約 • データ圧縮 • カラムナフォーマット –
Parquet等の利用でデータ転送量を縮小し、デー タスキャンを縮小 – (必ずしもParquetの方が速くなる訳では無い?) • パーティショニング – スキャン対象を指定 – 詳細は後程 classmethod.jp 23
24.
これまでの課題と解決 • シンプルなパイプライン – S3
> EMR > S3 > Redshift > QuickSight – S3 > Athena > QuickSight classmethod.jp 24 • データ分析の大量作業、大量な知識必要
25.
適切な選択 • Amazon Redshift –
データウェアハウス – 膨大な構造化データに対して複雑なクエリに対して高速に 結果を得られる • Amazon EMR – Hadoop, Spark, Prestoの利用 – これらの分散処理フレームワークを効率的に高いコスト効 率で利用できる • Amazon Athena – S3へのアドホッククエリを実行する最も簡単な方法 要件や環境に応じた最適な選択 classmethod.jp 25
26.
事例 • DataXu社180TB/日を可視化 classmethod.jp 26
27.
国内事例 - Gunosy •
株式会社Gunosy – 日本の大手ニュースキュレーションアプリ・ プロバイダ • Athenaの評価 – 使用してきたシステムよりも高速にクエリ結 果を得られた – 今後、Amazon Athena を分析プラット フォームの中核に据えるつもり classmethod.jp 27
28.
国内事例 - JapanTaxi •
JapanTaxi株式会社 – タクシー配車アプリ等の交通関連アプリ提供 – 毎月200万人アクティブユーザ • Athenaの評価 – 既に保存されているデータを移動させることなく、 クエリの実行が可能 – 費用を抑えながら最も細かいレベルでデータをクエ リ処理できる – Amazon EMR のような、その他のソリューションで 同じデータを活用し、相互運用することも可能 – 特別な管理者を必要としない classmethod.jp 28
29.
パーティショニング • データ分割手法の1つ • 検索効率の向上 •
アプリケーションの修正が不要 • など classmethod.jp 29
30.
Athenaでパーティショニング • Athenaで利用可能 • スキャン対象を指定できる •
パフォーマンスの向上 • スキャン対象の削減によるコスト節約! パーティショニング活用しましょう! classmethod.jp 30
31.
パーティション設定 設定方法は2通りに別れる • S3上のデータが、Hive形式でパーティ ション化されている場合 • S3上のデータが、Hive形式を考慮されて いない場合 classmethod.jp
31
32.
パーティション化されている場合 • テーブル作成時に「PARTITIONED BY」 を指定 –
PARTITIONED BY(dt STRING) • パーティション用のkeyを指定 classmethod.jp 32
33.
パーティションの考慮がない場合 classmethod.jp 33
34.
パーティションの考慮がない場合 • ALTER TABLE
ADD PARTITIONを実行し て、パーティションを追加 • 日付フォルダ毎に実行する必要がある • 手動でやるには限界 – JDBCで自動処理 • 上限20,000/テーブル classmethod.jp 34
35.
パーティショニング要不要 • Athenaは気軽に使えてとても便利 • 事前にパーティショニングは検討した方が いい テーブル定義やデータフォーマットが変更で きるなら、パーティショニングは要検討! classmethod.jp
35
36.
Athenaの利用用途 • データ分析向け – CREATE
TABLE AS SELECTといった構文に 対応していない – 参照用途での利用が想定されている • JDBCやBIツールからの参照 • QuickSightとの連携(確認中です) – 簡単にデータ分析 classmethod.jp 36
37.
やってみたブログ Athena 特集カテゴリー |
Developers.IO • Amazon AthenaでCloudFrontログをSQLで解析する • Amazon Athena に JDBC 接続する • AthenaのJDBCドライバを使ってS3のデータにSQL Workbench経 由でアクセスする • Amazon Athena: カラムナフォーマット『Parquet』でクエリを試 してみた • Amazon AthenaでELBログをSQLで解析する • AWS AthenaでCloudTrailのS3オブジェクトログを解析をしてみま した! • 他多数!! classmethod.jp 37
38.
classmethod.jp 38 ご清聴ありがとう ございました
Download now