JAWS DAYS 2014のACEに聞け！でお話した内容です。 - web http://jawsdays2014.jaws-ug.jp/ - togetter http://togetter.com/li/639933

1. 株式会社サーバーワークス
坂井田
保彦
S3

2. はじめに
•Twitterハッシュタグ
#jawsdays #ace

3. 今日は何の日？

5. We launched Amazon S3 on
March 14, 2006

6. Happy Birthday S3!

7. 自己紹介
•坂井田保彦（さかいだ やすひこ）
•株式会社サーバーワークス
テクニカルチーム
•@idacchi
Picture by popowa - http://www.pixiv.net/member_illust.php?mode=manga&illust_id=42092662

8. アジェンダ
•S3って何？
•S3のユースケース
•S3を使う
•S3を使う上でのポイント

9. S3って何？
Amazon
Simple
Storage
Service

10. S3って何？
•99.999999999% の耐久性と
99.99% の可用性をもつ
AWSのオンラインストレージ
•1GBあたり約10円

11. S3のユースケース
•ディザスタリカバリー
→EC2のAMIの保存先として
•ファイルストレージ
→安価で大容量

12. S3を使う:
Management Console

13. S3を使う:
GUI tool

14. •dgtools
•s3sync
•s3cmd
etc...
S3を使う:
CUI tool

15. •インターネットにつながらないと
S3につながらない
S3を使う上でのポイント:
ネットワーク

16. S3を使う上でのポイント:
ネットワーク

17. S3を使う上でのポイント:
ネットワーク
EIP or public IP

18. •オブジェクトへのアクセス状況
のログを出力できる
•ログ自体もS3へ保存
S3を使う上でのポイント:
アクセスログ機能

19. • 84f3ecaec919ad5e9e76d14fe22875668f4957e3e8
2297050b83fdf9c98c0cab swx-sakaida-0 [04/Jun/
2013:13:55:10 +0000] 10.115.82.47
84f3ecaec919ad5e9e76d14fe22875668f4957e3e8
2297050b83fdf9c98c0cab ABA0E38F38B88D2C
REST.PUT.LOGGING_STATUS - "PUT /jaws-
sakaida-0?logging HTTP/1.1" 200 - - - 325 - "-"
"S3Console/0.4" -
S3を使う上でのポイント:
アクセスログ機能

20. •オブジェクトのライフサイクル
設定でGlacierへの転送設定がで
きる
S3を使う上でのポイント:
Glacierとの連携

21. •Glacier？？？
•1GBあたり約1円
（S3の1/10）
•即時にデータを取り出せない
S3を使う上でのポイント:
Glacierとの連携

22. •使用頻度が高いものはS3
•使用頻度が低いものはGlacier
S3を使う上でのポイント:
Glacierとの連携

23. •Management Consoleから
Glacierのオブジェクトを取り
出せない
S3を使う上でのポイント:
Glacierとの連携

24. •S3のライフサイクル設定で
Glacerに送ったファイルは
S3のManagement Consoleから
取り出せる
S3を使う上でのポイント:
Glacierとの連携

25. •大量のGETをさばく必要が
ある場合
→Cloud Front
S3を使う上でのポイント:
パフォーマンス

26. •GETだけじゃなくて複数のリ
クエストタイプある場合
（GET、PUT、List Objects）
→オブジェクト名の付け方を
工夫する
S3を使う上でのポイント:
パフォーマンス

27. S3を使う上でのポイント:
パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj
<bucket>/2014-03-15-jaws_00002.obj
<bucket>/2014-03-15-jaws_00003.obj
...
<bucket>/2014-03-15-jaws_99997.obj
<bucket>/2014-03-15-jaws_99998.obj
<bucket>/2014-03-15-jaws_99999.obj
好ましくない命名

28. S3を使う上でのポイント:
パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj
<bucket>/2014-03-15-jaws_00002.obj
<bucket>/2014-03-15-jaws_00003.obj
...
<bucket>/2014-03-15-jaws_99997.obj
<bucket>/2014-03-15-jaws_99998.obj
<bucket>/2014-03-15-jaws_99999.obj
好ましくない命名
オブジェクト名のprefixがstatic

29. S3を使う上でのポイント:
パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj
<bucket>/7b54-2014-03-15-jaws_00002.obj
<bucket>/921c-2014-03-15-jaws_00003.obj
...
<bucket>/fe21-2014-03-15-jaws_99997.obj
<bucket>/c532-2014-03-15-jaws_99998.obj
<bucket>/a81f-2014-03-15-jaws_99999.obj
パフォーマンス向上が期待できる

30. S3を使う上でのポイント:
パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj
<bucket>/7b54-2014-03-15-jaws_00002.obj
<bucket>/921c-2014-03-15-jaws_00003.obj
...
<bucket>/fe21-2014-03-15-jaws_99997.obj
<bucket>/c532-2014-03-15-jaws_99998.obj
<bucket>/a81f-2014-03-15-jaws_99999.obj
パフォーマンス向上が期待できる
オブジェクト名のprefixがhash

31. S3を使う上でのポイント:
パフォーマンス
実際に測ってみた
•100,000個のオブジェクトをS3
に置く
•オブジェクト名のprefixの違いで
List Objectsのスピードに差があ
るのか？

32. S3を使う上でのポイント:
パフォーマンス
実際に測ってみた
•s3cmdでList Objectsする時間
をtime コマンドで測定
•EC2インスタンス
Amazon Linux 64bit
c3.large

33. S3を使う上でのポイント:
パフォーマンス
実際に測ってみた：static
[ec2-user@ip-10-0-0-230 s3cmd-master]$
time ./s3cmd ls s3://jaws-sakaida/home/ec2-
user/prefix_static/ > result_static.txt
real 1m31.959s
user 1m8.492s
sys 0m1.836s

34. S3を使う上でのポイント:
パフォーマンス
実際に測ってみた：hash
[ec2-user@ip-10-0-0-230 s3cmd-master]$
time ./s3cmd ls s3://jaws-sakaida/home/ec2-
user/prefix_hash/ > result_hash.txt
real 1m22.980s
user 1m7.256s
sys 0m1.972s

35. S3を使う上でのポイント:
パフォーマンス
prefixがhashのほうが速い
prefix time
static 1m31.959s
hash 1m22.980s

36. • http://www.slideshare.net/AmazonWebServices/
maximizing-amazon-s3-performance-stg304-aws-
reinvent-2013
• http://docs.aws.amazon.com/ja_jp/AmazonS3/
latest/dev/request-rate-perf-considerations.html
S3を使う上でのポイント:
パフォーマンス
参考資料

37. one more thing...

38. AWSをとりまく
もうひとつのS

40. •使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•AWSに特化したSI
•クラウドインテグレーター
•170社超の導入実績！
•APN Advanced Consulting
Partner

41. •使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•14:00∼ ACEに聞け！ SWF
桶谷 拓也
•14:00∼ 最強のサムライ
小室 文
今日も仲間が話します

42. •使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•今日もジョブボードに掲載中！
•気軽に声かけてね
仲間募集中！

43. Thank you!