Submit Search
Upload
20170803 bigdataevent
•
Download as PPTX, PDF
•
0 likes
•
445 views
Makoto Uehara
Follow
BigData Event 発表資料
Read less
Read more
Technology
Report
Share
Report
Share
1 of 71
Download now
Recommended
オンプレからAuroraへの移行とその効果
オンプレからAuroraへの移行とその効果
Masato Kataoka
Aurora
Aurora
maruyama097
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
Amazon Web Services Japan
ついに解禁!Amazon Aurora徹底検証!
ついに解禁!Amazon Aurora徹底検証!
Terui Masashi
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
schoowebcampus
はじめてのAmazon RDS for PostgreSQL
はじめてのAmazon RDS for PostgreSQL
Junpei Nakada
[JAWS-UG AI支部] AWS AIアップデート
[JAWS-UG AI支部] AWS AIアップデート
Yasuhiro Matsuo
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
yuichi_komatsu
Recommended
オンプレからAuroraへの移行とその効果
オンプレからAuroraへの移行とその効果
Masato Kataoka
Aurora
Aurora
maruyama097
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
Amazon Web Services Japan
ついに解禁!Amazon Aurora徹底検証!
ついに解禁!Amazon Aurora徹底検証!
Terui Masashi
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
schoowebcampus
はじめてのAmazon RDS for PostgreSQL
はじめてのAmazon RDS for PostgreSQL
Junpei Nakada
[JAWS-UG AI支部] AWS AIアップデート
[JAWS-UG AI支部] AWS AIアップデート
Yasuhiro Matsuo
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
yuichi_komatsu
AWS Black Belt Online Seminar 2017 Amazon S3
AWS Black Belt Online Seminar 2017 Amazon S3
Amazon Web Services Japan
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Future Of Data Japan
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
Amazon Web Services Japan
[AWSマイスターシリーズ] Amazon Route53
[AWSマイスターシリーズ] Amazon Route53
Amazon Web Services Japan
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
Azure aws違い
Azure aws違い
Masanobu Sato
AWS サービスアップデートまとめ re:Invent 2017 直前編
AWS サービスアップデートまとめ re:Invent 2017 直前編
Amazon Web Services Japan
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
Is spark streaming based on reactive streams?
Is spark streaming based on reactive streams?
chibochibo
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
ゲームのインフラをAwsで実戦tips全て見せます
ゲームのインフラをAwsで実戦tips全て見せます
infinite_loop
[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)
[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)
Amazon Web Services Japan
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)
AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)
Amazon Web Services Japan
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Amazon Web Services Japan
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
Yasuhiro Matsuo
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
Terui Masashi
Reinvent2017 recap-gaming-session-1
Reinvent2017 recap-gaming-session-1
Amazon Web Services Japan
Aerospike 02 監視
Aerospike 02 監視
Makoto Uehara
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Amazon Web Services Japan
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
[PGConf.ASIA 2018]Deep Dive on Amazon Aurora with PostgreSQL Compatibility
[PGConf.ASIA 2018]Deep Dive on Amazon Aurora with PostgreSQL Compatibility
Amazon Web Services Japan
More Related Content
What's hot
AWS Black Belt Online Seminar 2017 Amazon S3
AWS Black Belt Online Seminar 2017 Amazon S3
Amazon Web Services Japan
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Future Of Data Japan
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
Amazon Web Services Japan
[AWSマイスターシリーズ] Amazon Route53
[AWSマイスターシリーズ] Amazon Route53
Amazon Web Services Japan
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
Azure aws違い
Azure aws違い
Masanobu Sato
AWS サービスアップデートまとめ re:Invent 2017 直前編
AWS サービスアップデートまとめ re:Invent 2017 直前編
Amazon Web Services Japan
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
Is spark streaming based on reactive streams?
Is spark streaming based on reactive streams?
chibochibo
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
ゲームのインフラをAwsで実戦tips全て見せます
ゲームのインフラをAwsで実戦tips全て見せます
infinite_loop
[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)
[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)
Amazon Web Services Japan
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)
AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)
Amazon Web Services Japan
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Amazon Web Services Japan
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
Yasuhiro Matsuo
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
Terui Masashi
Reinvent2017 recap-gaming-session-1
Reinvent2017 recap-gaming-session-1
Amazon Web Services Japan
Aerospike 02 監視
Aerospike 02 監視
Makoto Uehara
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Amazon Web Services Japan
What's hot
(20)
AWS Black Belt Online Seminar 2017 Amazon S3
AWS Black Belt Online Seminar 2017 Amazon S3
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
[AWSマイスターシリーズ] Amazon Route53
[AWSマイスターシリーズ] Amazon Route53
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Azure aws違い
Azure aws違い
AWS サービスアップデートまとめ re:Invent 2017 直前編
AWS サービスアップデートまとめ re:Invent 2017 直前編
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
Is spark streaming based on reactive streams?
Is spark streaming based on reactive streams?
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
ゲームのインフラをAwsで実戦tips全て見せます
ゲームのインフラをAwsで実戦tips全て見せます
[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)
[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)
AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
Reinvent2017 recap-gaming-session-1
Reinvent2017 recap-gaming-session-1
Aerospike 02 監視
Aerospike 02 監視
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Similar to 20170803 bigdataevent
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
[PGConf.ASIA 2018]Deep Dive on Amazon Aurora with PostgreSQL Compatibility
[PGConf.ASIA 2018]Deep Dive on Amazon Aurora with PostgreSQL Compatibility
Amazon Web Services Japan
AWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
Amazon Web Services Japan
AWS Black Belt Techシリーズ Amazon Relational Database Service (RDS)
AWS Black Belt Techシリーズ Amazon Relational Database Service (RDS)
Amazon Web Services Japan
Running Apache Spark on AWS
Running Apache Spark on AWS
Noritaka Sekiyama
Ibm クラウドデータベースの使いどころ
Ibm クラウドデータベースの使いどころ
japan_db2
IBMクラウドデータベースの使いどころ
IBMクラウドデータベースの使いどころ
mtanaka0111
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
Amazon Web Services Japan
20180704(20190520 Renewed) AWS Black Belt Online Seminar Amazon Elastic File ...
20180704(20190520 Renewed) AWS Black Belt Online Seminar Amazon Elastic File ...
Amazon Web Services Japan
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
Amazon Web Services Japan
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
Yuta Imai
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo!デベロッパーネットワーク
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターン
Noritaka Sekiyama
[よくわかるクラウドデータベース] CassandraからAmazon DynamoDBへの移行事例
[よくわかるクラウドデータベース] CassandraからAmazon DynamoDBへの移行事例
Amazon Web Services Japan
Serverless analytics on aws
Serverless analytics on aws
Amazon Web Services Japan
AWSが誕生するまでの秘話
AWSが誕生するまでの秘話
Yasuhiro Horiuchi
Amazon EC2を使った実践SaaS運用事例
Amazon EC2を使った実践SaaS運用事例
Yuuki Namikawa
20140315 jawsdays i2 instance io performance
20140315 jawsdays i2 instance io performance
Matsumoto Hiroki
aws blackbelt amazon elasticsearch service
aws blackbelt amazon elasticsearch service
Amazon Web Services Japan
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Amazon Web Services Japan
Similar to 20170803 bigdataevent
(20)
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
[PGConf.ASIA 2018]Deep Dive on Amazon Aurora with PostgreSQL Compatibility
[PGConf.ASIA 2018]Deep Dive on Amazon Aurora with PostgreSQL Compatibility
AWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
AWS Black Belt Techシリーズ Amazon Relational Database Service (RDS)
AWS Black Belt Techシリーズ Amazon Relational Database Service (RDS)
Running Apache Spark on AWS
Running Apache Spark on AWS
Ibm クラウドデータベースの使いどころ
Ibm クラウドデータベースの使いどころ
IBMクラウドデータベースの使いどころ
IBMクラウドデータベースの使いどころ
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
20180704(20190520 Renewed) AWS Black Belt Online Seminar Amazon Elastic File ...
20180704(20190520 Renewed) AWS Black Belt Online Seminar Amazon Elastic File ...
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターン
[よくわかるクラウドデータベース] CassandraからAmazon DynamoDBへの移行事例
[よくわかるクラウドデータベース] CassandraからAmazon DynamoDBへの移行事例
Serverless analytics on aws
Serverless analytics on aws
AWSが誕生するまでの秘話
AWSが誕生するまでの秘話
Amazon EC2を使った実践SaaS運用事例
Amazon EC2を使った実践SaaS運用事例
20140315 jawsdays i2 instance io performance
20140315 jawsdays i2 instance io performance
aws blackbelt amazon elasticsearch service
aws blackbelt amazon elasticsearch service
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
More from Makoto Uehara
AutoScaling & SpotInstance Handson
AutoScaling & SpotInstance Handson
Makoto Uehara
aerospike on aws
aerospike on aws
Makoto Uehara
Ecs words
Ecs words
Makoto Uehara
Aerospike Rapid Rebalance
Aerospike Rapid Rebalance
Makoto Uehara
Aerospike xdr (Cross Datacenter Replication)
Aerospike xdr (Cross Datacenter Replication)
Makoto Uehara
Gcpug tokyo february 2016
Gcpug tokyo february 2016
Makoto Uehara
Aerospike deep dive migration
Aerospike deep dive migration
Makoto Uehara
とあるKVSをAutoscalingしてみる
とあるKVSをAutoscalingしてみる
Makoto Uehara
Streaming tuning test
Streaming tuning test
Makoto Uehara
ansible 社内お勉強会資料
ansible 社内お勉強会資料
Makoto Uehara
Aerospike v3 install
Aerospike v3 install
Makoto Uehara
Touch the mahout
Touch the mahout
Makoto Uehara
Aws st 20130617-auto_scaling
Aws st 20130617-auto_scaling
Makoto Uehara
Aws st 20130522-piop_sbench
Aws st 20130522-piop_sbench
Makoto Uehara
NamenodeHA導入背景と運用状況
NamenodeHA導入背景と運用状況
Makoto Uehara
More from Makoto Uehara
(15)
AutoScaling & SpotInstance Handson
AutoScaling & SpotInstance Handson
aerospike on aws
aerospike on aws
Ecs words
Ecs words
Aerospike Rapid Rebalance
Aerospike Rapid Rebalance
Aerospike xdr (Cross Datacenter Replication)
Aerospike xdr (Cross Datacenter Replication)
Gcpug tokyo february 2016
Gcpug tokyo february 2016
Aerospike deep dive migration
Aerospike deep dive migration
とあるKVSをAutoscalingしてみる
とあるKVSをAutoscalingしてみる
Streaming tuning test
Streaming tuning test
ansible 社内お勉強会資料
ansible 社内お勉強会資料
Aerospike v3 install
Aerospike v3 install
Touch the mahout
Touch the mahout
Aws st 20130617-auto_scaling
Aws st 20130617-auto_scaling
Aws st 20130522-piop_sbench
Aws st 20130522-piop_sbench
NamenodeHA導入背景と運用状況
NamenodeHA導入背景と運用状況
Recently uploaded
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Recently uploaded
(10)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
20170803 bigdataevent
1.
Big Data取り扱い方の オンプレミスとクラウドの違い アマゾン ウェブ
サービス ジャパン株式会社 テクニカルトレーナー 上原 誠 2017年8月3日 © 2017, Amazon Web Services, Inc. or its affiliates. All rights reserved. …そしてトレーニングへの誘い
2.
自己紹介 名前: 上原
誠 (うえはら まこと) 現職: AWS のテクニカルトレーナー 前職: 渋谷系のWeb系のインフラ系エンジニア 好きなHadoopエコシステム:ZooKeeper 好きなデータストア:Aerospike
3.
ビッグデータの「パイプライン」 収集 保存 処理と分析 可視化 深い理解データ © 2016
Amazon Web Services, Inc. and its affiliates. All rights reserved.
4.
ビッグデータの「パイプライン」 収集 保存 処理と分析 可視化 深い理解データ © 2016
Amazon Web Services, Inc. and its affiliates. All rights reserved. 別にオンプレでもでる
5.
ただ オンプレミスだと大変なことがある © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
6.
ここでは5つあげます ①ハードウェアの世代問題 ②サイジングの課題 ③バージョンアップの課題 ④本番規模でテストしずらい問題 ⑤ストレージの課題 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
7.
①ハードウェアの世代が上がると まったく同じスペックのものは調達 できない。Hadoopクラスタのノー ド増設時に困る。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
8.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. これはサーバーを使い続けることによる問題 ※古い世代が残る、むやみに捨てられない
9.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラウドだと
10.
・Hadoopクラスタのノードは使い捨て ・クラウドのHadoopの使い方はクラスタ単位で使い、終わったら 消す、なので新しい世代のEC2が出たら全てそれを使い、使い終 わったら消す。古い効率の悪いEC2を使い続ける必要はない。 ※厳密に同じスペックを保証するわけではないが、明確に古い世 代のEC2排除は可能 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
11.
②Hadoopクラスタのノード数を増 やすとCPUとRAMとDISKが線形に 増える。追加ジョブ要件にマッチで きない。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
12.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. CPU 10コア メモリ 100GB ディスク 500GB 例えばこういうジョブがあったら
13.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. CPU 10コア メモリ 100GB ディスク 500GB こんなクラスタになる クラスタサイズ CPU 10コア メモリ 100GB ディスク 500GB ノード数 5台 1ノードサイズ CPU 2コア メモリ 20GB ディスク 100GB
14.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. CPU 10コア メモリ 100GB ディスク 500GB ビッグデータなのでデータは増え続ける 線形に増えるのであれば大きな問題にはならない
15.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. 例えば既存ジョブのデータ量や処理負荷が2倍になったら CPU 20コア メモリ 200GB ディスク 1000GB
16.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラスタサイズも線形に2倍に増やす これは別に問題ない CPU 20コア メモリ 200GB ディスク 1000GB クラスタサイズ CPU 20コア メモリ 200GB ディスク 1000GB ノード数 10台 1ノードサイズ CPU 2コア メモリ 20GB ディスク 100GB
17.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. CPU 10コア メモリ 100GB ディスク 500GB 問題は追加のジョブ要件があった場合 CPU 10コア メモリ 100GB ディスク 50GB 追加ジョブ CPUメモリを多めに 使うがディスクは あまりいらない
18.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. ディスク容量が要件にマッチせずに1000GBまで増えている さらに増設していくとさらに無駄も増えていく ※スペックが異なるヘテロな構成も可能だが設定が煩雑になる クラスタサイズ CPU 20コア メモリ 200GB ディスク 1000GB ノード数 14台 ディスクは本来 550GBでいいのに 1000GBまで増えて しまっている CPU 10コア メモリ 100GB ディスク 500GB CPU 10コア メモリ 200GB ディスク 50GB MapReduceとHDFSが密結合なので仕方ない
19.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. オンプレミスのHadoopクラスタは、 永続的に動き続けるクラスタにジョブを入れ込んでいく考え方 Job1 Job3 Job2
20.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラウドだと
21.
Job3 Job2 Job1 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラスタにジョブを入れ込んでいくのではなく
22.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. それぞれのジョブにクラスタを立てる Job3 Job2 Job1
23.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. ジョブが終わったらジョブとともにクラスタも消す クラスタを使い捨てる 使い捨て! Job2 Job3
24.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. そう、使い捨てこそがクラウドの メリット
25.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. AWSのEC2と同じ考え方 サイジングや 新しいツール検証 様々な試験 一時的な処理
26.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. AWSのEC2と同じ考え方 消す サイジングや 新しいツール検証 様々な試験 一時的な処理 終わったら
27.
これをクラスタ単位で行う © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
28.
最適なサイジングができる © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
29.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. それぞれのジョブにどのくらいのスペックのクラスタ が適切かを事前に検証できる。なので最適なサイジングができる 使って、終わったら消 せるんだからバンバン 試せばいい Job1
30.
ということは © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
31.
③バージョンアップも事前に試せる © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
32.
Job3 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. 唯一無二のクラスタをバージョンアップするから怖かった (いや〜怖かった) Job2 Job1
33.
バージョンアップも怖くない © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
34.
同じ理由で、④新しいツールも試しやすい 例えば © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
35.
MapReduceは素晴らしいと思っていたが(実際シンプ ルで安定してて素晴らしかった)、Sparkが登場した。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
36.
MapReduceは素晴らしいと思っていたが(実際シンプ ルで安定してて素晴らしかった)、Sparkが登場した。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. ※Hiveの資産を活用するためにHive on SparkやHive on Tezがあるが新規で作るならSparkで よいと思う。コード(java,scala,python)もシンプルに書けるので従来より生産性が高い MapReduceはゆっくりと死んでいく・・
37.
そんな時クラスタが「触るな危険」では試しずらい。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
38.
「テストしたいから同規模のクラスタをサクッと用意 して」と言われても辛い。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
39.
今後もよりいいものは必ずでてくる! エンジニアにはよりいいものを試し、よりいいプロダ クトにしてほしい。それを止めるようなプラット フォームじゃいけない。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
40.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. そう、使い捨てこそがクラウドの メリット(2回目)
41.
だがデータが消えたのでは意味がない © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
42.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラスタを使い捨ててもデータは残したい データは残したい Job2 Job3
43.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. コンピューティング処理レイヤとストレージレイヤ を分けることでデータを永続化 ストレージレイヤの分離 ストレージ Job2 Job3
44.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. コンピューティング処理レイヤとストレージレイヤを疎結合にする それぞれのクラスタの永続データ はストレージレイヤに保存 ストレージ Job2 Job3
45.
⑤データは増え続ける。「数百TBや 数PBのストレージが欲しい」「と言 うか理想は容量無限のストレージが 欲しい」。そして数PBとかのバック アップどうする?? © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
46.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. オンプレだと
47.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. 無理
48.
・ストレージ製品の拡張限界。 ・データセンターであれば契約ラック数の限界、またはフロアス ペース限界。 ・バックアップのためにクラスタ冗長化や別途DASなどを使う (無理じゃないけど辛い) © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
49.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. ・ストレージ製品の拡張限界。 ・データセンターであれば契約ラック数の限界、またはフロアス ペース限界。 ・バックアップのためにクラスタ冗長化や別途DASなどを使う (無理じゃないけど辛い)
50.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラウドだと
51.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. できる
52.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. そう、S3
53.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. S3の3つの特徴 1.丈夫 (耐久性99.999999999%) 2.容量無制限 3.Hadoopから接続しやすい (EMRFS、s3n、s3a)
54.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. S3の3つの特徴 1.丈夫 (耐久性99.999999999%) 2.容量無制限 3.Hadoopから接続しやすい (EMRFS、s3n、s3a) バックアップが必要ならクロスリージョンレ プリケーションを活用できる
55.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. S3の3つの特徴 1.丈夫 (耐久性99.999999999%) 2.容量無制限 3.Hadoopから接続しやすい (EMRFS、s3n、s3a) あと安い バックアップが必要ならクロスリージョンレ プリケーションを活用できる
56.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. コンピューティング処理レイヤとストレージレイヤを分ける ストレージにS3 Job2 Job3 ストレージ
57.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. コンピューティング処理レイヤとストレージレイヤを分ける Hadoopクラスタに EMR コンピューティング処理 のHadoopクラスタにEMR Job2 Job3 ストレージ
58.
これでデータが一箇所に データが一箇所にあるということは © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
59.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. 一箇所のデータに対して 最適なデータ処理エンジンを使える ストレージ Athena Redshift
60.
ストレージ © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. 一箇所のデータに対して 最適なデータ処理エンジンを使える Athena Redshift データレイク
61.
Hadoopの考え方との違い (Hadoopはオンプレミスを想定した アーキテクチャ) © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
62.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. ・データローカリティを活かした処理スループットの向上。 ・起動し続けるのでクラスタではHDFSのデータは絶対。その司令 塔であるマスターノードはHA構成で死守する。 ・Rack-awarenessでラック障害や距離を意識したデータ配置、 レプリケーション時のL2スイッチの上りの帯域の考慮、スイッチ のDeepBuffer機能使ったりなど。
63.
・データローカリティを活かした処理スループットの向上。 ・起動し続けるのでクラスタではHDFSのデータは絶対。その司令 塔であるマスターノードはHA構成で死守する。 ・Rack-awarenessでラック障害や距離を意識したデータ配置、 レプリケーション時のL2スイッチの上りの帯域の考慮、スイッチ のDeepBuffer機能使ったりなど。 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. スループットはS3でもそこそこ出る 数時間のバッチ処理時間が1,2割増えて問題あるか?で検討する 使い捨てなのでHA機能ない。 HDFSはテンポラリ用途として使う ネットワークまわり はAWS側が全て行う
64.
まとめ © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
65.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラウドらしさとは ・リソースをすぐに使えて不要になったら捨てる ・容量無制限のストレージ ・バージョンアップの気軽さ、本番スケールのテストのしやすさ ・ジャストサイズでプロビジョニング ・運用負荷軽減で本来やりたいことに注力 ・データローカリティは下がる ・HDFSはテンポラリ ・NameNodeのメタデータ操作にビビらない。NameNodeも作って壊す ・他にもビッグデータ処理に役立つサービスとしてAthena、Kinesis、 Redshift、Snowball、QuickSightなどなど :
66.
© 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved. クラウドらしいベストプラクティス ・なるべくマネージドサービスを使って運用負荷軽減 ・できるだけ一時クラスターを使う ・EC2スポットインスタンスの活用。「スポットフリート!」 ・新しいインスタンスに移行してパフォーマンスを活用 ・最適なサイジングの為のモニタリング :
67.
詳しくは・・ © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
68.
・ディスカッションあるよ © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
69.
6月くらいに Big Data 認定資格出ました ©
2016 Amazon Web Services, Inc. and its affiliates. All rights reserved.
70.
認定資格、トレーニングの話 © 2016 Amazon
Web Services, Inc. and its affiliates. All rights reserved.
71.
71
Download now