株式会社サーバーワークス
坂井田	
 保彦
S3
はじめに
•Twitterハッシュタグ
#jawsdays #ace
今日は何の日?
We launched Amazon S3 on
March 14, 2006
Happy Birthday S3!
自己紹介
•坂井田保彦(さかいだ やすひこ)
•株式会社サーバーワークス
テクニカルチーム
•@idacchi
Picture by popowa - http://www.pixiv.net/member_illust.php?mode=ma...
アジェンダ
•S3って何?
•S3のユースケース
•S3を使う
•S3を使う上でのポイント
S3って何?
Amazon
Simple
Storage
Service
S3って何?
•99.999999999% の耐久性と
99.99% の可用性をもつ
AWSのオンラインストレージ
•1GBあたり約10円
S3のユースケース
•ディザスタリカバリー
→EC2のAMIの保存先として
•ファイルストレージ
→安価で大容量
S3を使う:
Management Console
S3を使う:
GUI tool
•dgtools
•s3sync
•s3cmd
etc...
S3を使う:
CUI tool
•インターネットにつながらないと
S3につながらない
S3を使う上でのポイント:
ネットワーク
S3を使う上でのポイント:
ネットワーク
S3を使う上でのポイント:
ネットワーク
EIP or public IP
•オブジェクトへのアクセス状況
のログを出力できる
•ログ自体もS3へ保存
S3を使う上でのポイント:
アクセスログ機能
• 84f3ecaec919ad5e9e76d14fe22875668f4957e3e8
2297050b83fdf9c98c0cab swx-sakaida-0 [04/Jun/
2013:13:55:10 +0000] 10.115.82....
•オブジェクトのライフサイクル
設定でGlacierへの転送設定がで
きる
S3を使う上でのポイント:
Glacierとの連携
•Glacier???
•1GBあたり約1円
(S3の1/10)
•即時にデータを取り出せない
S3を使う上でのポイント:
Glacierとの連携
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
S3を使う上でのポイント:
Glacierとの連携
•Management Consoleから
Glacierのオブジェクトを取り
出せない
S3を使う上でのポイント:
Glacierとの連携
•S3のライフサイクル設定で
Glacerに送ったファイルは
S3のManagement Consoleから
取り出せる
S3を使う上でのポイント:
Glacierとの連携
•大量のGETをさばく必要が
ある場合
→Cloud Front
S3を使う上でのポイント:
パフォーマンス
•GETだけじゃなくて複数のリ
クエストタイプある場合
(GET、PUT、List Objects)
→オブジェクト名の付け方を
工夫する
S3を使う上でのポイント:
パフォーマンス
S3を使う上でのポイント:
パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj
<bucket>/2014-03-15-jaws_00002.obj
<bucket>/2014-03-15-jaws_00003...
S3を使う上でのポイント:
パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj
<bucket>/2014-03-15-jaws_00002.obj
<bucket>/2014-03-15-jaws_00003...
S3を使う上でのポイント:
パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj
<bucket>/7b54-2014-03-15-jaws_00002.obj
<bucket>/921c-2014-0...
S3を使う上でのポイント:
パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj
<bucket>/7b54-2014-03-15-jaws_00002.obj
<bucket>/921c-2014-0...
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた
•100,000個のオブジェクトをS3
に置く
•オブジェクト名のprefixの違いで
List Objectsのスピードに差があ
るのか?
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた
•s3cmdでList Objectsする時間
をtime コマンドで測定
•EC2インスタンス
Amazon Linux 64bit
c3.large
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた:static
[ec2-user@ip-10-0-0-230 s3cmd-master]$
time ./s3cmd ls s3://jaws-sakaida/home/ec2-
u...
S3を使う上でのポイント:
パフォーマンス
実際に測ってみた:hash
[ec2-user@ip-10-0-0-230 s3cmd-master]$
time ./s3cmd ls s3://jaws-sakaida/home/ec2-
use...
S3を使う上でのポイント:
パフォーマンス
prefixがhashのほうが速い
prefix time
static 1m31.959s
hash 1m22.980s
• http://www.slideshare.net/AmazonWebServices/
maximizing-amazon-s3-performance-stg304-aws-
reinvent-2013
• http://docs.aw...
one more thing...
AWSをとりまく
もうひとつのS
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•AWSに特化したSI
•クラウドインテグレーター
•170社超の導入実績!
•APN Advanced Consulting
Partner
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•14:00∼ ACEに聞け! SWF
桶谷 拓也
•14:00∼ 最強のサムライ
小室 文
今日も仲間が話します
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•今日もジョブボードに掲載中!
•気軽に声かけてね
仲間募集中!
Thank you!
JAWS DAYS 2014 ACEに聞け! S3
JAWS DAYS 2014 ACEに聞け! S3
Upcoming SlideShare
Loading in …5
×

JAWS DAYS 2014 ACEに聞け! S3

1,444 views

Published on

JAWS DAYS 2014のACEに聞け!でお話した内容です。

- web
http://jawsdays2014.jaws-ug.jp/

- togetter
http://togetter.com/li/639933

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,444
On SlideShare
0
From Embeds
0
Number of Embeds
122
Actions
Shares
0
Downloads
8
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

JAWS DAYS 2014 ACEに聞け! S3

  1. 1. 株式会社サーバーワークス 坂井田 保彦 S3
  2. 2. はじめに •Twitterハッシュタグ #jawsdays #ace
  3. 3. 今日は何の日?
  4. 4. We launched Amazon S3 on March 14, 2006
  5. 5. Happy Birthday S3!
  6. 6. 自己紹介 •坂井田保彦(さかいだ やすひこ) •株式会社サーバーワークス テクニカルチーム •@idacchi Picture by popowa - http://www.pixiv.net/member_illust.php?mode=manga&illust_id=42092662
  7. 7. アジェンダ •S3って何? •S3のユースケース •S3を使う •S3を使う上でのポイント
  8. 8. S3って何? Amazon Simple Storage Service
  9. 9. S3って何? •99.999999999% の耐久性と 99.99% の可用性をもつ AWSのオンラインストレージ •1GBあたり約10円
  10. 10. S3のユースケース •ディザスタリカバリー →EC2のAMIの保存先として •ファイルストレージ →安価で大容量
  11. 11. S3を使う: Management Console
  12. 12. S3を使う: GUI tool
  13. 13. •dgtools •s3sync •s3cmd etc... S3を使う: CUI tool
  14. 14. •インターネットにつながらないと S3につながらない S3を使う上でのポイント: ネットワーク
  15. 15. S3を使う上でのポイント: ネットワーク
  16. 16. S3を使う上でのポイント: ネットワーク EIP or public IP
  17. 17. •オブジェクトへのアクセス状況 のログを出力できる •ログ自体もS3へ保存 S3を使う上でのポイント: アクセスログ機能
  18. 18. • 84f3ecaec919ad5e9e76d14fe22875668f4957e3e8 2297050b83fdf9c98c0cab swx-sakaida-0 [04/Jun/ 2013:13:55:10 +0000] 10.115.82.47 84f3ecaec919ad5e9e76d14fe22875668f4957e3e8 2297050b83fdf9c98c0cab ABA0E38F38B88D2C REST.PUT.LOGGING_STATUS - "PUT /jaws- sakaida-0?logging HTTP/1.1" 200 - - - 325 - "-" "S3Console/0.4" - S3を使う上でのポイント: アクセスログ機能
  19. 19. •オブジェクトのライフサイクル 設定でGlacierへの転送設定がで きる S3を使う上でのポイント: Glacierとの連携
  20. 20. •Glacier??? •1GBあたり約1円 (S3の1/10) •即時にデータを取り出せない S3を使う上でのポイント: Glacierとの連携
  21. 21. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier S3を使う上でのポイント: Glacierとの連携
  22. 22. •Management Consoleから Glacierのオブジェクトを取り 出せない S3を使う上でのポイント: Glacierとの連携
  23. 23. •S3のライフサイクル設定で Glacerに送ったファイルは S3のManagement Consoleから 取り出せる S3を使う上でのポイント: Glacierとの連携
  24. 24. •大量のGETをさばく必要が ある場合 →Cloud Front S3を使う上でのポイント: パフォーマンス
  25. 25. •GETだけじゃなくて複数のリ クエストタイプある場合 (GET、PUT、List Objects) →オブジェクト名の付け方を 工夫する S3を使う上でのポイント: パフォーマンス
  26. 26. S3を使う上でのポイント: パフォーマンス <bucket>/2014-03-15-jaws_00001.obj <bucket>/2014-03-15-jaws_00002.obj <bucket>/2014-03-15-jaws_00003.obj ... <bucket>/2014-03-15-jaws_99997.obj <bucket>/2014-03-15-jaws_99998.obj <bucket>/2014-03-15-jaws_99999.obj 好ましくない命名
  27. 27. S3を使う上でのポイント: パフォーマンス <bucket>/2014-03-15-jaws_00001.obj <bucket>/2014-03-15-jaws_00002.obj <bucket>/2014-03-15-jaws_00003.obj ... <bucket>/2014-03-15-jaws_99997.obj <bucket>/2014-03-15-jaws_99998.obj <bucket>/2014-03-15-jaws_99999.obj 好ましくない命名 オブジェクト名のprefixがstatic
  28. 28. S3を使う上でのポイント: パフォーマンス <bucket>/232a-2014-03-15-jaws_00001.obj <bucket>/7b54-2014-03-15-jaws_00002.obj <bucket>/921c-2014-03-15-jaws_00003.obj ... <bucket>/fe21-2014-03-15-jaws_99997.obj <bucket>/c532-2014-03-15-jaws_99998.obj <bucket>/a81f-2014-03-15-jaws_99999.obj パフォーマンス向上が期待できる
  29. 29. S3を使う上でのポイント: パフォーマンス <bucket>/232a-2014-03-15-jaws_00001.obj <bucket>/7b54-2014-03-15-jaws_00002.obj <bucket>/921c-2014-03-15-jaws_00003.obj ... <bucket>/fe21-2014-03-15-jaws_99997.obj <bucket>/c532-2014-03-15-jaws_99998.obj <bucket>/a81f-2014-03-15-jaws_99999.obj パフォーマンス向上が期待できる オブジェクト名のprefixがhash
  30. 30. S3を使う上でのポイント: パフォーマンス 実際に測ってみた •100,000個のオブジェクトをS3 に置く •オブジェクト名のprefixの違いで List Objectsのスピードに差があ るのか?
  31. 31. S3を使う上でのポイント: パフォーマンス 実際に測ってみた •s3cmdでList Objectsする時間 をtime コマンドで測定 •EC2インスタンス Amazon Linux 64bit c3.large
  32. 32. S3を使う上でのポイント: パフォーマンス 実際に測ってみた:static [ec2-user@ip-10-0-0-230 s3cmd-master]$ time ./s3cmd ls s3://jaws-sakaida/home/ec2- user/prefix_static/ > result_static.txt real 1m31.959s user 1m8.492s sys 0m1.836s
  33. 33. S3を使う上でのポイント: パフォーマンス 実際に測ってみた:hash [ec2-user@ip-10-0-0-230 s3cmd-master]$ time ./s3cmd ls s3://jaws-sakaida/home/ec2- user/prefix_hash/ > result_hash.txt real 1m22.980s user 1m7.256s sys 0m1.972s
  34. 34. S3を使う上でのポイント: パフォーマンス prefixがhashのほうが速い prefix time static 1m31.959s hash 1m22.980s
  35. 35. • http://www.slideshare.net/AmazonWebServices/ maximizing-amazon-s3-performance-stg304-aws- reinvent-2013 • http://docs.aws.amazon.com/ja_jp/AmazonS3/ latest/dev/request-rate-perf-considerations.html S3を使う上でのポイント: パフォーマンス 参考資料
  36. 36. one more thing...
  37. 37. AWSをとりまく もうひとつのS
  38. 38. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier •AWSに特化したSI •クラウドインテグレーター •170社超の導入実績! •APN Advanced Consulting Partner
  39. 39. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier •14:00∼ ACEに聞け! SWF 桶谷 拓也 •14:00∼ 最強のサムライ 小室 文 今日も仲間が話します
  40. 40. •使用頻度が高いものはS3 •使用頻度が低いものはGlacier •今日もジョブボードに掲載中! •気軽に声かけてね 仲間募集中!
  41. 41. Thank you!

×