SSD+Squidで画像をキャッシュしなイカ?

12,838 views

Published on

Published in: Technology, Self Improvement
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
12,838
On SlideShare
0
From Embeds
0
Number of Embeds
46
Actions
Shares
0
Downloads
58
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

SSD+Squidで画像をキャッシュしなイカ?

  1. 1. SSD+Squidで画像をキャッシュしなイカ? ピクシブ株式会社 藤本和寿(@phji) 2010/12/20 pixiv Tech Meeting
  2. 2. 自己紹介• 藤本和寿• 24歳• 2010年4月ピクシブ株式会社入社• インフラ• 新卒?
  3. 3. 話すこと1. Squid, SSD2. pixivの画像サーバの構成3. pixivの画像サーバでのSSDの用途
  4. 4. SquidSquid(スクウィッド)はプロキシ (Proxy) サーバ、ウェブキャッシュサーバなどに利用されるフリーソフトウェア。GPLでライセンスされている。http://ja.wikipedia.org/wiki/Squid_cache
  5. 5. Squid = イカ
  6. 6. 侵略!イカ娘テレビ東京 月曜 26時00分 - 26時30分http://www.ika-musume.com/
  7. 7. SSDピクシブでのSSDの用途1. データベース2. 画像の参照のキャッシュReal SSD C300 64GB12000円ぐらい
  8. 8. SSDSSDを使うとSquidのrebuildが早く終わるrebuild:キャッシュ領域の再構築、ディスクに対してリードがすごく走る60GBのキャッシュ領域のrebuildにかかった時間HDD:20分SSD:5分
  9. 9. pixivの画像サーバの構成
  10. 10. SSDの用途1pixivの画像のサイズは、オリジナルサイズ, mサイズ, sサイズ,100サイズ 等 13種類あるその中でも特に s サイズ(サムネイルのサイズ)の参照頻度が高い
  11. 11. SSDの用途1mypageを開くと私の場合、sサイズが13枚、100サイズが12枚
  12. 12. SSDの用途1みんなの新着イラストを開くとsサイズの画像が20枚
  13. 13. SSDの用途1昨日 12/19 23:30頃の1台のサーバの10万件のリクエスト サイズ 回数 s 69093 64x64 5068 m 3433 100 2504 128x128 1509s:PCのサムネイル64x64:モバイルのサムネイルm:PCサムネイルを押すと表示される
  14. 14. SSDの用途1画像フロント(nginx)設定でsサイズの画像はSSDから参照させるif ($request_uri ~* "_s.(jpeg|jpg|gif|png)") { proxy_pass http://s_cache_server;}proxy_pass http://cache_server;
  15. 15. SSDの用途1sサイズをキャッシュするサーバ秒間の最大リクエスト数 : 630 requests / secヒット率 : 97%
  16. 16. SSDの用途1それ以外をキャッシュするサーバ秒間の最大リクエスト数 : 125 requests / secヒット率 : 91%
  17. 17. SSDの用途2キャッシュサーバに使えるサーバがあまりない…sサイズの画像を参照するサーバは効果があったため、キャッシュ領域をHDDからSSDに置き変えてみる
  18. 18. SSDの用途2HDDと同じweightで参照させると効果があるが、weightを上げるとキャッシュヒット率が下がる…キャッシュ領域を大きくするため、HDD+SSDの両方を使う
  19. 19. SSDの用途2200KB以下の画像はSSDから参照させ、それより大きい画像はHDDから参照させる10万件のリクエストのうち 200KB以下 200KBより大きい リクエスト数 88813件 11187 リクエストの合計 5209MB 2466MB 100KB以下 100KBより大きい リクエスト数 79959件 20041件 リクエストの合計 6515MB 1159MB
  20. 20. SSDの用途2squidの設定cache_dir coss /var/spool/squid/ssd/coss_l 20480 max-size=204800cache_dir coss /var/spool/squid/hdd/coss_l 20480 min-size=204800max-size=8388608
  21. 21. ほぼ同じ数のリクエストをさばいているサーバ HDD SSD+HDD
  22. 22. 結論なんとかSSDでいい感じにスケールアップできているんじゃなイカ?
  23. 23. ご静聴ありがとうございました

×