目で見て分かる

「必要な時、必要なだけ」
2014年 1月13日
JAWS-UG沖縄 勉強会 第6回
@k_nishijima
あんた誰?
西島 幸一郎 / にしじま こういちろう

twitter : @k_nishijima



JAWS−UG沖縄の副代表、

やらせて頂いてます。
AWSのプロです。

(AWS 認定 ソリューションアーキテクト)
そして今年2014年、
な、なんと・・・
アワード:AWSサムライ2014
拝命しました!
ありがとうございます!
!

沖縄の皆様が
JAWS-UGに参加して

下さるお陰です!
皆様あってこその
JAWS-UG沖縄!
皆様
イコール
JAWS-UG沖縄
というわけで
今年もよろしく
お願い致しますm(_ _)m
アジェンダ
「必要な時、必要なだけ」とは何か?
「目で見て分かる」とは?
じゃあ具体的にどうやって

コストを押さえるか
まとめと次回予告
「必要な時、必要なだけ」
とは何か?
もちろんご存知、トヨタのアレですよ

http://www.toyota.co.jp/jpn/company/vision/
production_system/just.html
初期費用なんて要らない

使った分だけ従量課金

思い立った瞬間から使える
AWS=アマゾンウェブサービス
は「ほぼ」

どんなサービスでも

この原則に則っている
Amazon CloudFrontの独自証明書

AWS=アマゾンウェブサービス
は1日単位課金だけど滅茶苦茶

高いのなんとかして下さい

は「ほぼ」

どんなサービスでも

Amazon WorkSpaces
が月額課金制なのは
どうなのよ...
愚痴はさておき
「目で見て分かる」とは?
従量課金 ⇛
AWSのリソースをどれだけ使ったか?
構築したシステムが稼働するのに

幾らお金を使っているかが分かる。
「目で見て分かる」とは?
細かい数字をエクセルで見るより
やっぱりグラフで
見たほうが分かりやすい。
AWSでリソースをモニタし
グラフ化するといえば
!

Amazon CloudWatch
ここで突然のAWS擬人化!
© @ayakomuro
詳細は @ayakomuro 殿に
うかがって下さいm(_ _)m
とにかくCloudWatch
CPUの利用率やディスクの読み書きの速
度など、各サービスの利用状況が事細か
にモニタリング可能
自分で独自の値を追加することも可能
勝手にグラフになるので楽
とにかくCloudWatch
とにかくCloudWatch
ページビュー

エラー件数を

を表示したり

表示したり

ECの

システムの稼働状態と


売上金額を


見なせるものなら

表示したり

なんでもOK
なるほど
「目で見て分かる」
じゃあこれらを使って、
どうやってコストを下げるの?
コストを下げる
=
そもそも使わない

またはパフォーマンスを抑える
これが鉄則
JAWS-UG沖縄会長の米須さんが

2年以上前から力説

「EC2を使うと負け」
例えばDynamoDBなら
読込/書込のスループットに

対して課金が掛かる
=
使わない時は
スループット小さくて良い
具体的な事例
DynamoDBにあれこれデータを突っ込む
1日1回バッチ処理(EMRでゴリっと回す)

⇛読み込むのはこの時だけ
ってことは、readのスループットはバッチ
実行時だけ上げ下げすればいいんじゃ?
手順は割と簡単
1. モニタリングして

2. 必要なリソースを把握し

3. API叩いて調整
1. モニタリングして
グラフをじっと睨む。




EMRのクラスタが

どのくらいreadを

消費しているか
2. 必要なリソースを把握
Maxが

23500÷(5min*60sec)

= 78.3
約80Unit位が

Maxあればよさそう
@see http://docs.aws.amazon.com/amazondynamodb/latest...
3.API叩いて調整
バッチの中で

APIを叩いて

スループット変更
注意点としては
1. DynamoDBの制限としてスループットの変更は

プラスは1API呼び出しで+100%

(つまり倍)まで

マイナス方向は1日2回まで

(ただしどこまででも減らせる)
2. EMR(hive)が全スループット使ってい...
ちなみに・・・EMRのTIPS
EMRクラスタに
余裕があれば、

スループット

上げればパフォー
マンスも上がる
まとめ
あらゆるリソースをモニタして、

目で見て分かる状態にしましょう
「使った分だけ課金」の真の意味を

考えて、コストを削減しましょう
次回予告!
2月8日土曜日13時から会場はココで、

AWSハンズオン+もくもく勉強会やります!
課金の範囲内でAWSのどのサービスでも試せる!
(Kinesisは除く、かも。。。)
申込はこちら 

http://jaws-ug-okinaw...
ありがとうございました!
Upcoming SlideShare
Loading in...5
×

20140113目で見て分かる「必要な時、必要なだけ」

790

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
790
On Slideshare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
2
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "20140113目で見て分かる「必要な時、必要なだけ」"

  1. 1. 目で見て分かる
 「必要な時、必要なだけ」 2014年 1月13日 JAWS-UG沖縄 勉強会 第6回 @k_nishijima
  2. 2. あんた誰? 西島 幸一郎 / にしじま こういちろう
 twitter : @k_nishijima
 
 JAWS−UG沖縄の副代表、
 やらせて頂いてます。 AWSのプロです。
 (AWS 認定 ソリューションアーキテクト)
  3. 3. そして今年2014年、 な、なんと・・・
  4. 4. アワード:AWSサムライ2014 拝命しました!
  5. 5. ありがとうございます! ! 沖縄の皆様が JAWS-UGに参加して
 下さるお陰です!
  6. 6. 皆様あってこその JAWS-UG沖縄!
  7. 7. 皆様 イコール JAWS-UG沖縄
  8. 8. というわけで 今年もよろしく お願い致しますm(_ _)m
  9. 9. アジェンダ 「必要な時、必要なだけ」とは何か? 「目で見て分かる」とは? じゃあ具体的にどうやって
 コストを押さえるか まとめと次回予告
  10. 10. 「必要な時、必要なだけ」 とは何か? もちろんご存知、トヨタのアレですよ http://www.toyota.co.jp/jpn/company/vision/ production_system/just.html
  11. 11. 初期費用なんて要らない
 使った分だけ従量課金
 思い立った瞬間から使える
  12. 12. AWS=アマゾンウェブサービス は「ほぼ」
 どんなサービスでも
 この原則に則っている
  13. 13. Amazon CloudFrontの独自証明書 AWS=アマゾンウェブサービス は1日単位課金だけど滅茶苦茶
 高いのなんとかして下さい は「ほぼ」
 どんなサービスでも
 Amazon WorkSpaces が月額課金制なのは どうなのよ この原則に則っている 円安トホホ
  14. 14. 愚痴はさておき
  15. 15. 「目で見て分かる」とは? 従量課金 ⇛ AWSのリソースをどれだけ使ったか? 構築したシステムが稼働するのに
 幾らお金を使っているかが分かる。
  16. 16. 「目で見て分かる」とは? 細かい数字をエクセルで見るより やっぱりグラフで 見たほうが分かりやすい。
  17. 17. AWSでリソースをモニタし グラフ化するといえば ! Amazon CloudWatch
  18. 18. ここで突然のAWS擬人化! © @ayakomuro
  19. 19. 詳細は @ayakomuro 殿に うかがって下さいm(_ _)m
  20. 20. とにかくCloudWatch CPUの利用率やディスクの読み書きの速 度など、各サービスの利用状況が事細か にモニタリング可能 自分で独自の値を追加することも可能 勝手にグラフになるので楽
  21. 21. とにかくCloudWatch
  22. 22. とにかくCloudWatch ページビュー エラー件数を を表示したり 表示したり ECの システムの稼働状態と
 売上金額を
 見なせるものなら 表示したり なんでもOK
  23. 23. なるほど 「目で見て分かる」
  24. 24. じゃあこれらを使って、 どうやってコストを下げるの?
  25. 25. コストを下げる = そもそも使わない
 またはパフォーマンスを抑える これが鉄則
  26. 26. JAWS-UG沖縄会長の米須さんが
 2年以上前から力説 「EC2を使うと負け」
  27. 27. 例えばDynamoDBなら 読込/書込のスループットに
 対して課金が掛かる = 使わない時は スループット小さくて良い
  28. 28. 具体的な事例 DynamoDBにあれこれデータを突っ込む 1日1回バッチ処理(EMRでゴリっと回す)
 ⇛読み込むのはこの時だけ ってことは、readのスループットはバッチ 実行時だけ上げ下げすればいいんじゃ?
  29. 29. 手順は割と簡単 1. モニタリングして
 2. 必要なリソースを把握し
 3. API叩いて調整
  30. 30. 1. モニタリングして グラフをじっと睨む。
 
 EMRのクラスタが
 どのくらいreadを
 消費しているか
  31. 31. 2. 必要なリソースを把握 Maxが
 23500÷(5min*60sec)
 = 78.3 約80Unit位が
 Maxあればよさそう @see http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/MonitoringDynamoDB.html
  32. 32. 3.API叩いて調整 バッチの中で
 APIを叩いて
 スループット変更
  33. 33. 注意点としては 1. DynamoDBの制限としてスループットの変更は
 プラスは1API呼び出しで+100%
 (つまり倍)まで
 マイナス方向は1日2回まで
 (ただしどこまででも減らせる) 2. EMR(hive)が全スループット使っていいなら
 SET dynamodb.throughput.read.percent=1.0;
 しておくと吉
  34. 34. ちなみに・・・EMRのTIPS EMRクラスタに 余裕があれば、
 スループット
 上げればパフォー マンスも上がる
  35. 35. まとめ あらゆるリソースをモニタして、
 目で見て分かる状態にしましょう 「使った分だけ課金」の真の意味を
 考えて、コストを削減しましょう
  36. 36. 次回予告! 2月8日土曜日13時から会場はココで、
 AWSハンズオン+もくもく勉強会やります! 課金の範囲内でAWSのどのサービスでも試せる! (Kinesisは除く、かも。。。) 申込はこちら 
 http://jaws-ug-okinawa.doorkeeper.jp/events/8321
  37. 37. ありがとうございました!
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×