Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
EN
Uploaded by
Yu Yamada
PPTX, PDF
13,393 views
ここがつらいよAws batch
AWS Batchを使い始める時のつまづきポイントを紹介します。 山田 雄(株式会社リクルートライフスタイル)
Technology
◦
Read more
0
Save
Share
Embed
Embed presentation
Download
Downloaded 15 times
1
/ 20
2
/ 20
3
/ 20
4
/ 20
5
/ 20
6
/ 20
7
/ 20
8
/ 20
9
/ 20
10
/ 20
11
/ 20
12
/ 20
13
/ 20
14
/ 20
15
/ 20
16
/ 20
17
/ 20
18
/ 20
19
/ 20
20
/ 20
More Related Content
PDF
Open Liberty: オープンソースになったWebSphere Liberty
by
Takakiyo Tanaka
PDF
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
by
NTT DATA OSS Professional Services
PDF
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
by
Amazon Web Services Japan
PDF
そんなトランザクションマネージャで大丈夫か?
by
takezoe
PDF
雑なMySQLパフォーマンスチューニング
by
yoku0825
PDF
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
by
Amazon Web Services Japan
PDF
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
by
Takuto Wada
PPTX
Azure Cosmos DB のキホンと使いドコロ
by
Kazuyuki Miyake
Open Liberty: オープンソースになったWebSphere Liberty
by
Takakiyo Tanaka
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
by
NTT DATA OSS Professional Services
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
by
Amazon Web Services Japan
そんなトランザクションマネージャで大丈夫か?
by
takezoe
雑なMySQLパフォーマンスチューニング
by
yoku0825
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
by
Amazon Web Services Japan
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
by
Takuto Wada
Azure Cosmos DB のキホンと使いドコロ
by
Kazuyuki Miyake
What's hot
PDF
[よくわかるクラウドデータベース] Amazon RDS for PostgreSQL検証報告
by
Amazon Web Services Japan
PDF
分散トレーシング技術について(Open tracingやjaeger)
by
NTT Communications Technology Development
PDF
マルチテナント化で知っておきたいデータベースのこと
by
Amazon Web Services Japan
PDF
Nginx lua
by
Moriyoshi Koizumi
PDF
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
by
NTT DATA OSS Professional Services
PDF
Azure Monitor Logで実現するモダンな管理手法
by
Takeshi Fukuhara
PPTX
Cloud Spanner をより便利にする運用支援ツールの紹介
by
gree_tech
PDF
Amazon ElastiCacheのはじめ方
by
Amazon Web Services Japan
PDF
Apache Kuduを使った分析システムの裏側
by
Cloudera Japan
PDF
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
by
onozaty
PPTX
Azure API Management 俺的マニュアル
by
貴志 上坂
PDF
統計情報のリセットによるautovacuumへの影響について(第39回PostgreSQLアンカンファレンス@オンライン 発表資料)
by
NTT DATA Technology & Innovation
PDF
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
by
NTT DATA Technology & Innovation
PDF
Swaggerで始めるモデルファーストなAPI開発
by
Takuro Sasaki
PDF
AWSのログ管理ベストプラクティス
by
Akihiro Kuwano
PDF
オススメのJavaログ管理手法 ~コンテナ編~(Open Source Conference 2022 Online/Spring 発表資料)
by
NTT DATA Technology & Innovation
PDF
ドメイン駆動設計のための Spring の上手な使い方
by
増田 亨
PDF
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
by
Yahoo!デベロッパーネットワーク
PDF
3分でわかるAzureでのService Principal
by
Toru Makabe
PDF
乗っ取れコンテナ!!開発者から見たコンテナセキュリティの考え方(CloudNative Days Tokyo 2021 発表資料)
by
NTT DATA Technology & Innovation
[よくわかるクラウドデータベース] Amazon RDS for PostgreSQL検証報告
by
Amazon Web Services Japan
分散トレーシング技術について(Open tracingやjaeger)
by
NTT Communications Technology Development
マルチテナント化で知っておきたいデータベースのこと
by
Amazon Web Services Japan
Nginx lua
by
Moriyoshi Koizumi
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
by
NTT DATA OSS Professional Services
Azure Monitor Logで実現するモダンな管理手法
by
Takeshi Fukuhara
Cloud Spanner をより便利にする運用支援ツールの紹介
by
gree_tech
Amazon ElastiCacheのはじめ方
by
Amazon Web Services Japan
Apache Kuduを使った分析システムの裏側
by
Cloudera Japan
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
by
onozaty
Azure API Management 俺的マニュアル
by
貴志 上坂
統計情報のリセットによるautovacuumへの影響について(第39回PostgreSQLアンカンファレンス@オンライン 発表資料)
by
NTT DATA Technology & Innovation
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
by
NTT DATA Technology & Innovation
Swaggerで始めるモデルファーストなAPI開発
by
Takuro Sasaki
AWSのログ管理ベストプラクティス
by
Akihiro Kuwano
オススメのJavaログ管理手法 ~コンテナ編~(Open Source Conference 2022 Online/Spring 発表資料)
by
NTT DATA Technology & Innovation
ドメイン駆動設計のための Spring の上手な使い方
by
増田 亨
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
by
Yahoo!デベロッパーネットワーク
3分でわかるAzureでのService Principal
by
Toru Makabe
乗っ取れコンテナ!!開発者から見たコンテナセキュリティの考え方(CloudNative Days Tokyo 2021 発表資料)
by
NTT DATA Technology & Innovation
Similar to ここがつらいよAws batch
PDF
AWS Batchとアップデートについて
by
nishiyamayuji
PPTX
Aws Batchを用いたサーバレスな競馬スクレイピング環境.pptx
by
ShichijoYuhi
PDF
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
by
Inoue Seki
PDF
Cloudnative online-2021-stepfunction
by
kota tomimatsu
PPTX
AWS Batch Fargate対応は何をもたらすか
by
Shun Fukazawa
PPTX
Containers + EC2 Spot: AWS Batch による大規模バッチ処理でのスポットインスタンス活用
by
Daisuke Miyamoto
PDF
JobStreamerではじめるJavaBatchのクラウド分散実行
by
Yoshitaka Kawashima
AWS Batchとアップデートについて
by
nishiyamayuji
Aws Batchを用いたサーバレスな競馬スクレイピング環境.pptx
by
ShichijoYuhi
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
by
Inoue Seki
Cloudnative online-2021-stepfunction
by
kota tomimatsu
AWS Batch Fargate対応は何をもたらすか
by
Shun Fukazawa
Containers + EC2 Spot: AWS Batch による大規模バッチ処理でのスポットインスタンス活用
by
Daisuke Miyamoto
JobStreamerではじめるJavaBatchのクラウド分散実行
by
Yoshitaka Kawashima
More from Yu Yamada
PPTX
Google cloudnext recap_DataAnalytics
by
Yu Yamada
PPTX
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
by
Yu Yamada
PPTX
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
by
Yu Yamada
PPTX
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
by
Yu Yamada
PPTX
やってはいけない空振りDelete
by
Yu Yamada
PPTX
リクルートライフスタイルの売上を支える共通分析基盤
by
Yu Yamada
PPTX
kafkaのデータをRedshiftへ入れるパイプライン作ってみた
by
Yu Yamada
PPTX
Uuidはどこまでuuidか試してみた
by
Yu Yamada
PPTX
リクルートライフスタイルのデータを支える技術
by
Yu Yamada
PPTX
オンプレとクラウドのHadoopを比較して僕の思うとこ
by
Yu Yamada
PDF
僕の考える最強のビックデータエンジニア
by
Yu Yamada
PPTX
CDH4->5 update苦労話
by
Yu Yamada
Google cloudnext recap_DataAnalytics
by
Yu Yamada
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
by
Yu Yamada
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
by
Yu Yamada
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
by
Yu Yamada
やってはいけない空振りDelete
by
Yu Yamada
リクルートライフスタイルの売上を支える共通分析基盤
by
Yu Yamada
kafkaのデータをRedshiftへ入れるパイプライン作ってみた
by
Yu Yamada
Uuidはどこまでuuidか試してみた
by
Yu Yamada
リクルートライフスタイルのデータを支える技術
by
Yu Yamada
オンプレとクラウドのHadoopを比較して僕の思うとこ
by
Yu Yamada
僕の考える最強のビックデータエンジニア
by
Yu Yamada
CDH4->5 update苦労話
by
Yu Yamada
ここがつらいよAws batch
1.
ここがつらいよ AWSBatch Serverless Meetup Tokyo
2017 09/06/2017 山田 雄 ネットビジネス本部 データ基盤チーム
2.
■山田 雄(ヤマダ ユウ) 株式会社
リクルートライフスタイル ネットビジネス本部 データ基盤T Twitter:@nii_yan GitHub:https://github.com/yu-yamada ・以前はメールマーケティング用基盤の作成からデータ分析まで関わる 現在はリクルートライフスタイルの共通分析基盤の開発、運用全般を担当 ビックデータ、Ruby、ビール、カップ焼きそばが好き。 自己紹介
3.
AWS Batchとは? フルマネージド型バッチ処理 CPUとメモリを指定すれば、Dockerイメージをよしなに実 行してくれる。
4.
AWS Batch実行手順 1. 実行するイメージを選択 2.
イメージで使用するCPUとMemoryを選択 3. 実行環境を選択(MinimumCPU,MaxCPUなど) 4. Jobキューを作成 5. JobをSubmit
5.
Jobのステータスがわかりにくい!
6.
どのstatusがどういう状態なんだか・・・
7.
StatusがRUNNABLEから変わらない!
8.
CPUとMemoryを指定出来るが、その組み合わせのタイプのEC2がないと動かな い。 また、EC2の上限数制限に引っかかっても動かない。 さらにはFAILEDに行かないでRUNNABLEで固まる。
9.
料金の見積もりが出来ない!
10.
どのタイプのインスタンスが何時間動くのか実際に動かしてみないとわからない。 (事前にインスタンスタイプを指定することは可能。)
11.
構成管理が出来ない!
12.
terraformが絶賛開発中っぽい・・・
13.
見ないといけないコンソールが多すぎる!
15.
ログ監視&通知がつらい!
16.
ロググループは「/aws/batch/job」で固定で実行するたびにログストリーム名が 変わる。 ロググループ1つにつき、1つしかサブスクリプションフィルタは作れない・・・ メトリクスフィルタ作ってsns経由でlambdaに飛ばしてもログストリーム名が取れな い・・・
17.
JOB定義を変更も削除も出来ない!
18.
既存のjob定義を変更は出来ず、ひたすら新しいrivisionを 追加するしかない。 DeregisterしてもINACTIVEには行くが削除は出来ない。
19.
まとめ 辛いとこ色々書きましたが、AWSの新サービスって大体 辛いです。 辛い以上に便利なとこが多いのも確かなので、是非とも 皆さんもAWS Batch使いましょう!
20.
ご清聴ありがとうございました
Download