pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス

NSEG feat. Kosenconf-053nseg 2012-06-23 pixivのインフラになって2ヶ月がたったはるかさん / harukasan

高専カンファレンスの方から来ました！

はるかさん・久留米高専制御情報工学科43期生・NHK高専ロボコン・ACM/ICPC・筑波大学大学院卒業・pixivのインフラ3ヶ月目

はるかさん・Kosenconf-003tokyo・Kosenconf-005kyushu・Kosenconf-013salesio・Kosenconf-014tokyo・Kosenconf-020salesio2・Kosenconf-031sciences・Kosenconf-038tokyo・Kosenconf-045tokyo・Kosenconf-053nseg ←NEW!!

http://www.pixiv.net

・イラストコミュニケーションサービス・2007年9月10日にスタート会員数 444400万人作品数 2288,,000000,,000000 平均投稿数 2288,,000000//日ページビュー 3300億PPVV//月　　　　　　

pixivのインフラ

自作サーバー群 Athlon 2core & 4core × 約200台

データセンター hp製1Uサーバー×130台

２拠点のハイブリッド構成

自作サーバー群・AthlonX2 64 505e / Athlon II X4 605e・B-28（ベニヤ）機・1Gbps線 6本

データセンターサーバー群・hp DL120G7（DB、TS、Front）・hp DL165G7（AP、Solr）・1Gbps線10本

アプリケーションまわりの構成 Internet Internet Front Front Front Front AP AP AP AP Slave L3 L3 Slave Slave LVS Slave Master Slave LVS Slave KVS Slave KVS 旧社屋クラスタ iDCクラスタ・旧社屋とデータセンタの２つで捌いている・２拠点間を１Gbpsの専用線で接続

画像まわりの構成 Internet Front Front Front Cache Cache Cache Dispatcher Dispatcher Dispatcher Origin L3 L3 Origin Origin Original Thumbnail Origin 旧社屋クラスタ iDCクラスタ・旧社屋に画像オリジンがある・データセンタ側でキャッシュ（９５％）・オリジナル、サムネイルの一部はiDCに

画像まわりの構成 Internet Front Front Front Front: NGINX (RAM Cache) Cache Cache Cache Cache: TrafﬁcServer (SSD Cache)L3 Dispatcher Dispatcher Dispatcher Dispatcher: NGINX Original Thumbnail iDCクラスタ・Front、Cache、Dispatcherを同居させて　ネットワークコストを下げる・tmpfsを利用してRAM領域にキャッシュ・画像集約サーバーにサムネイルを集約

http://harukasan.jp	440
https://twitter.com	50
http://us-w1.rockmelt.com	1
http://pult.io	1

pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス

by Harukasan Michii on Jun 24, 2012

Accessibility

Categories

Upload Details

Usage Rights

4 Embeds 492

Statistics

pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス Presentation Transcript