SlideShare a Scribd company logo
NSEG feat. Kosenconf-053nseg
2012-06-23

pixivのインフラになっ
て2ヶ月がたった
はるかさん / harukasan
高専カンファレンス
の方から来ました!
はるかさん
・久留米高専制御情報工学科43期生
・NHK高専ロボコン
・ACM/ICPC
・筑波大学大学院卒業
・pixivのインフラ3ヶ月目
はるかさん
・Kosenconf-003tokyo
・Kosenconf-005kyushu
・Kosenconf-013salesio
・Kosenconf-014tokyo
・Kosenconf-020salesio2
・Kosenconf-031sciences
・Kosenconf-038tokyo
・Kosenconf-045tokyo
・Kosenconf-053nseg ←NEW!!
http://www.pixiv.net
pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス
・イラストコミュニケーションサービス
・2007年9月10日にスタート
会員数

444400万人

作品数

2288,,000000,,000000

平均投稿数
ページビュー

2288,,000000//日
3300億PPVV//月      
     
pixivのインフラ
2拠点のハイブリッド
構成
自作サーバー群
・AthlonX2 64 505e / Athlon II X4 605e
・B-28(ベニヤ)機
・1Gbps線 6本
データセンターサーバー群
・hp DL120G7(DB、TS、Front)
・hp DL165G7(AP、Solr)
・1Gbps線10本
アプリケーションまわりの構成
Internet

Internet

Front

Front

Front

Front

AP

AP

AP

AP

Slave
LVS

L3

Slave

L3

Slave
Master

Slave

Slave

KVS

旧社屋クラスタ

KVS

Slave

LVS

Slave

iDCクラスタ

・旧社屋とデータセンタの2つで捌いている
・2拠点間を1Gbpsの専用線で接続
画像まわりの構成
Internet

Front

Cache

Cache

Dispatcher

L3

Front

Cache
Origin

Front

Dispatcher

Dispatcher

Original

Thumbnail

L3

Origin
Origin
Origin

旧社屋クラスタ

iDCクラスタ

・旧社屋に画像オリジンがある
・データセンタ側でキャッシュ(95%)
・オリジナル、サムネイルの一部はiDCに
画像まわりの構成
Internet

Front

Front

Front

Cache

Cache

Cache

Dispatcher

Dispatcher

Dispatcher

Original

Front: NGINX (RAM Cache)
Cache: TrafficServer (SSD Cache)
Dispatcher: NGINX

Thumbnail

L3

iDCクラスタ

・Front、Cache、Dispatcherを同居させて
 ネットワークコストを下げる
・tmpfsを利用してRAM領域にキャッシュ
・画像集約サーバーにサムネイルを集約
最近のプロダクト
pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス
・pixivでマンガの試し読みができるサービス
・2012年6月5日にスタート
・Ruby on Rails 3.2 / Unicorn
・インフラの担当をやっている
国際版
国際版

・海外向けpixiv
・日本ではプレミアム会員になれば見られる
・Rails/ActiveResource + PHP5.3/Restful API
・2011年12月末にスタート
Internet
・Ruby on Rails 3.2 / Unicorn
・PHP5.3 / Apache
Front

Front

Rails

Rails

PHP

PHP

pixiv.netのインフラ
まとめ
・データセンターの依存度高まってきた
・Ruby on Railsのプロダクト増えてきた
・バックアップちゃんとする
pixivではエンジニアを募集しています!!
http://recruit.pixiv.net/
サマーインターン申し込み受付中です!
http://recruit.pixiv.net/

More Related Content

Viewers also liked

[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
IDC Frontier
 
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
IDC Frontier
 
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
IDC Frontier
 
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDC Frontier
 
実話!実はIDCFクラウドって◯◯なんです
 実話!実はIDCFクラウドって◯◯なんです 実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
IDC Frontier
 
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
IDC Frontier
 

Viewers also liked (6)

[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
 
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
 
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
 
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
 
実話!実はIDCFクラウドって◯◯なんです
 実話!実はIDCFクラウドって◯◯なんです 実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
 
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
 

Recently uploaded

Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo Lab
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
TsuyoshiSaito7
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
iPride Co., Ltd.
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
Takayuki Nakayama
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
Takuya Minagawa
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
TsuyoshiSaito7
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
shogotaguchi
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
Sony - Neural Network Libraries
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo Lab
 

Recently uploaded (10)

Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
 

pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス