Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
株式会社サーバーワークス
坂井田	
 保彦
S3
はじめに
•Twitterハッシュタグ
#jawsdays #ace
今日は何の日?
We launched Amazon S3 on
March 14, 2006
Happy Birthday S3!
自己紹介
•坂井田保彦(さかいだ やすひこ)
•株式会社サーバーワークス
テクニカルチーム
•@idacchi
Picture by popowa - http://www.pixiv.net/member_illust.php?mode=ma...
アジェンダ
•S3って何?
•S3のユースケース
•S3を使う
•S3を使う上でのポイント
S3って何?
Amazon
Simple
Storage
Service
S3って何?
•99.999999999% の耐久性と
99.99% の可用性をもつ
AWSのオンラインストレージ
•1GBあたり約10円
S3のユースケース
•ディザスタリカバリー
→EC2のAMIの保存先として
•ファイルストレージ
→安価で大容量
S3を使う:
Management Console
S3を使う:
GUI tool
•dgtools
•s3sync
•s3cmd
etc...
S3を使う:
CUI tool
•インターネットにつながらないと
S3につながらない
S3を使う上でのポイント:
ネットワーク
S3を使う上でのポイント:
ネットワーク
S3を使う上でのポイント:
ネットワーク
EIP or public IP
•オブジェクトへのアクセス状況
のログを出力できる
•ログ自体もS3へ保存
S3を使う上でのポイント:
アクセスログ機能
• 84f3ecaec919ad5e9e76d14fe22875668f4957e3e8
2297050b83fdf9c98c0cab swx-sakaida-0 [04/Jun/
2013:13:55:10 +0000] 10.115.82....
•オブジェクトのライフサイクル
設定でGlacierへの転送設定がで
きる
S3を使う上でのポイント:
Glacierとの連携
•Glacier???
•1GBあたり約1円
(S3の1/10)
•即時にデータを取り出せない
S3を使う上でのポイント:
Glacierとの連携
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
S3を使う上でのポイント:
Glacierとの連携
•Management Consoleから
Glacierのオブジェクトを取り
出せない
S3を使う上でのポイント:
Glacierとの連携
•S3のライフサイクル設定で
Glacerに送ったファイルは
S3のManagement Consoleから
取り出せる
S3を使う上でのポイント:
Glacierとの連携
•大量のGETをさばく必要が
ある場合
→Cloud Front
S3を使う上でのポイント:
パフォーマンス
•GETだけじゃなくて複数のリ
クエストタイプある場合
(GET、PUT、List Objects)
→オブジェクト名の付け方を
工夫する
S3を使う上でのポイント:
パフォーマンス
S3を使う上でのポイント:
パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj
<bucket>/2014-03-15-jaws_00002.obj
<bucket>/2014-03-15-jaws_00003...
S3を使う上でのポイント:
パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj
<bucket>/2014-03-15-jaws_00002.obj
<bucket>/2014-03-15-jaws_00003...
S3を使う上でのポイント:
パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj
<bucket>/7b54-2014-03-15-jaws_00002.obj
<bucket>/921c-2014-0...
S3を使う上でのポイント:
パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj
<bucket>/7b54-2014-03-15-jaws_00002.obj
<bucket>/921c-2014-0...
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた
•100,000個のオブジェクトをS3
に置く
•オブジェクト名のprefixの違いで
List Objectsのスピードに差があ
るのか?
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた
•s3cmdでList Objectsする時間
をtime コマンドで測定
•EC2インスタンス
Amazon Linux 64bit
c3.large
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた:static
[ec2-user@ip-10-0-0-230 s3cmd-master]$
time ./s3cmd ls s3://jaws-sakaida/home/ec2-
u...
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた:hash
[ec2-user@ip-10-0-0-230 s3cmd-master]$
time ./s3cmd ls s3://jaws-sakaida/home/ec2-
use...
S3を使う上でのポイント:
パフォーマンス
prefixがhashのほうが速い
prefix time
static 1m31.959s
hash 1m22.980s
• http://www.slideshare.net/AmazonWebServices/
maximizing-amazon-s3-performance-stg304-aws-
reinvent-2013
• http://docs.aw...
one more thing...
AWSをとりまく
もうひとつのS
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•AWSに特化したSI
•クラウドインテグレーター
•170社超の導入実績!
•APN Advanced Consulting
Partner
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•14:00∼ ACEに聞け! SWF
桶谷 拓也
•14:00∼ 最強のサムライ
小室 文
今日も仲間が話します
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•今日もジョブボードに掲載中!
•気軽に声かけてね
仲間募集中!
Thank you!
JAWS DAYS 2014 ACEに聞け! S3
JAWS DAYS 2014 ACEに聞け! S3
Upcoming SlideShare
Loading in …5
×

JAWS DAYS 2014 ACEに聞け! S3

1,550 views

Published on

JAWS DAYS 2014のACEに聞け!でお話した内容です。

- web
http://jawsdays2014.jaws-ug.jp/

- togetter
http://togetter.com/li/639933

Published in: Technology
  • Be the first to comment

JAWS DAYS 2014 ACEに聞け! S3

  1. 1. 株式会社サーバーワークス 坂井田 保彦 S3
  2. 2. はじめに •Twitterハッシュタグ #jawsdays #ace
  3. 3. 今日は何の日?
  4. 4. We launched Amazon S3 on March 14, 2006
  5. 5. Happy Birthday S3!
  6. 6. 自己紹介 •坂井田保彦(さかいだ やすひこ) •株式会社サーバーワークス テクニカルチーム •@idacchi Picture by popowa - http://www.pixiv.net/member_illust.php?mode=manga&illust_id=42092662
  7. 7. アジェンダ •S3って何? •S3のユースケース •S3を使う •S3を使う上でのポイント
  8. 8. S3って何? Amazon Simple Storage Service
  9. 9. S3って何? •99.999999999% の耐久性と 99.99% の可用性をもつ AWSのオンラインストレージ •1GBあたり約10円
  10. 10. S3のユースケース •ディザスタリカバリー →EC2のAMIの保存先として •ファイルストレージ →安価で大容量
  11. 11. S3を使う: Management Console
  12. 12. S3を使う: GUI tool
  13. 13. •dgtools •s3sync •s3cmd etc... S3を使う: CUI tool
  14. 14. •インターネットにつながらないと S3につながらない S3を使う上でのポイント: ネットワーク
  15. 15. S3を使う上でのポイント: ネットワーク
  16. 16. S3を使う上でのポイント: ネットワーク EIP or public IP
  17. 17. •オブジェクトへのアクセス状況 のログを出力できる •ログ自体もS3へ保存 S3を使う上でのポイント: アクセスログ機能
  18. 18. • 84f3ecaec919ad5e9e76d14fe22875668f4957e3e8 2297050b83fdf9c98c0cab swx-sakaida-0 [04/Jun/ 2013:13:55:10 +0000] 10.115.82.47 84f3ecaec919ad5e9e76d14fe22875668f4957e3e8 2297050b83fdf9c98c0cab ABA0E38F38B88D2C REST.PUT.LOGGING_STATUS - "PUT /jaws- sakaida-0?logging HTTP/1.1" 200 - - - 325 - "-" "S3Console/0.4" - S3を使う上でのポイント: アクセスログ機能
  19. 19. •オブジェクトのライフサイクル 設定でGlacierへの転送設定がで きる S3を使う上でのポイント: Glacierとの連携
  20. 20. •Glacier??? •1GBあたり約1円 (S3の1/10) •即時にデータを取り出せない S3を使う上でのポイント: Glacierとの連携
  21. 21. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier S3を使う上でのポイント: Glacierとの連携
  22. 22. •Management Consoleから Glacierのオブジェクトを取り 出せない S3を使う上でのポイント: Glacierとの連携
  23. 23. •S3のライフサイクル設定で Glacerに送ったファイルは S3のManagement Consoleから 取り出せる S3を使う上でのポイント: Glacierとの連携
  24. 24. •大量のGETをさばく必要が ある場合 →Cloud Front S3を使う上でのポイント: パフォーマンス
  25. 25. •GETだけじゃなくて複数のリ クエストタイプある場合 (GET、PUT、List Objects) →オブジェクト名の付け方を 工夫する S3を使う上でのポイント: パフォーマンス
  26. 26. S3を使う上でのポイント: パフォーマンス <bucket>/2014-03-15-jaws_00001.obj <bucket>/2014-03-15-jaws_00002.obj <bucket>/2014-03-15-jaws_00003.obj ... <bucket>/2014-03-15-jaws_99997.obj <bucket>/2014-03-15-jaws_99998.obj <bucket>/2014-03-15-jaws_99999.obj 好ましくない命名
  27. 27. S3を使う上でのポイント: パフォーマンス <bucket>/2014-03-15-jaws_00001.obj <bucket>/2014-03-15-jaws_00002.obj <bucket>/2014-03-15-jaws_00003.obj ... <bucket>/2014-03-15-jaws_99997.obj <bucket>/2014-03-15-jaws_99998.obj <bucket>/2014-03-15-jaws_99999.obj 好ましくない命名 オブジェクト名のprefixがstatic
  28. 28. S3を使う上でのポイント: パフォーマンス <bucket>/232a-2014-03-15-jaws_00001.obj <bucket>/7b54-2014-03-15-jaws_00002.obj <bucket>/921c-2014-03-15-jaws_00003.obj ... <bucket>/fe21-2014-03-15-jaws_99997.obj <bucket>/c532-2014-03-15-jaws_99998.obj <bucket>/a81f-2014-03-15-jaws_99999.obj パフォーマンス向上が期待できる
  29. 29. S3を使う上でのポイント: パフォーマンス <bucket>/232a-2014-03-15-jaws_00001.obj <bucket>/7b54-2014-03-15-jaws_00002.obj <bucket>/921c-2014-03-15-jaws_00003.obj ... <bucket>/fe21-2014-03-15-jaws_99997.obj <bucket>/c532-2014-03-15-jaws_99998.obj <bucket>/a81f-2014-03-15-jaws_99999.obj パフォーマンス向上が期待できる オブジェクト名のprefixがhash
  30. 30. S3を使う上でのポイント: パフォーマンス 実際に測ってみた •100,000個のオブジェクトをS3 に置く •オブジェクト名のprefixの違いで List Objectsのスピードに差があ るのか?
  31. 31. S3を使う上でのポイント: パフォーマンス 実際に測ってみた •s3cmdでList Objectsする時間 をtime コマンドで測定 •EC2インスタンス Amazon Linux 64bit c3.large
  32. 32. S3を使う上でのポイント: パフォーマンス 実際に測ってみた:static [ec2-user@ip-10-0-0-230 s3cmd-master]$ time ./s3cmd ls s3://jaws-sakaida/home/ec2- user/prefix_static/ > result_static.txt real 1m31.959s user 1m8.492s sys 0m1.836s
  33. 33. S3を使う上でのポイント: パフォーマンス 実際に測ってみた:hash [ec2-user@ip-10-0-0-230 s3cmd-master]$ time ./s3cmd ls s3://jaws-sakaida/home/ec2- user/prefix_hash/ > result_hash.txt real 1m22.980s user 1m7.256s sys 0m1.972s
  34. 34. S3を使う上でのポイント: パフォーマンス prefixがhashのほうが速い prefix time static 1m31.959s hash 1m22.980s
  35. 35. • http://www.slideshare.net/AmazonWebServices/ maximizing-amazon-s3-performance-stg304-aws- reinvent-2013 • http://docs.aws.amazon.com/ja_jp/AmazonS3/ latest/dev/request-rate-perf-considerations.html S3を使う上でのポイント: パフォーマンス 参考資料
  36. 36. one more thing...
  37. 37. AWSをとりまく もうひとつのS
  38. 38. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier •AWSに特化したSI •クラウドインテグレーター •170社超の導入実績! •APN Advanced Consulting Partner
  39. 39. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier •14:00∼ ACEに聞け! SWF 桶谷 拓也 •14:00∼ 最強のサムライ 小室 文 今日も仲間が話します
  40. 40. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier •今日もジョブボードに掲載中! •気軽に声かけてね 仲間募集中!
  41. 41. Thank you!

×