SlideShare a Scribd company logo
1 of 75
Download to read offline
inside pixiv’s infrastructure
〜application cluster side〜
久保 達彦
 bokko@pixiv.com
自己紹介
● 久保達彦(bokko@pixiv.com)
● @cubicdaiya(twitter, github)
● シニアソフトウェアエンジニア@pixiv. Inc
自己紹介
◎ピクシブでの担当分野
○ ミドルウェアの開発・運用
○ インフラ運用・管理
○ アプリケーション開発・メンテ
○ 採用活動
○ その他色々
自己紹介
◎開発・公開中のOSS
○ mruby_nginx_module
■ Embed mruby into Nginx
○ ngx_small_light
■ Dynamic Image Transformation with Nginx
○ neoagent
■ Yet Another Memcached Proxy Server
○ etc...
pixivについて
pixivについて
イラストコミュニケーションサービス
pixivについて
● Webサイト
○ www.pixiv.net
○ m.pixiv.net
○ touch.pixiv.net
○ dic.pixiv.net
○ comic.pixiv.net
○ www.pixiv.com
● スマートフォンアプリ
○ iOS、Android
● etc...
pixivについて
会員数 820万人
投稿作品数 38,000,000+
ページビュー 38億/月
ネットワーク帯域 10Gbps
サーバ台数 400台
inside pixiv’s infrastructure
inside pixiv’s infrastructure
Front Front・・・
Internet
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Front Front・・・
Cache Cache・・・ Cache・・・
Dispatcher Dispatcher・・・
Origin Origin・・・ Origin・・・
Other・・・
Other Other・・・
application cluster contents delivery cluster
今日は「application cluster」の話をします
Front Front・・・
Internet
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Front Front・・・
Cache Cache・・・ Cache・・・
Dispatcher Dispatcher・・・
Origin Origin・・・ Origin・・・
contents delivery cluster
Other・・・
Other Other・・・
application cluster
画像アップロードのシステムは時間の都合で
割愛するので詳しくは過去の資料を参照してください
● pixivの画像アップロードシステム
http://www.slideshare.net/cubicdaiya/pixiv-6261780
● pixiv thumbnails
http://www.slideshare.net/cubicdaiya/pixiv-thumbnails/
トピック
● 開発体制
● Inside application cluster
● データストア&キャッシュ戦略
● API for pixiv
トピック
● 開発体制
● Inside application cluster
● データストア&キャッシュ戦略
● API for pixiv
開発体制
● エンジニア30人くらい
○ インフラチームは5人
● 所謂Webアプリケーションの開発はPHPがメイン
○ レガシーなものからモダン(?)なものまで
○ 最近はRuby(Rails)が増えてる
● ミドルウェアはC、C++、Python、Lua等色々
○ PHPで書かれたデーモンもあるよ!
開発体制
● ソースコードはGitで管理
○ gitosis and github有料プラン(GHE使いたい)
○ www.pixiv.netだけで30万行くらいある
● Redmineでタスク管理 with バックログ
● PHPUnitを活用したテストスイート
● IRC活用
○ デプロイや自動テスト失敗時にbotがつぶやく
● 一日数回〜十数回くらい本番にデプロイされる
トピック
● 開発体制
● Inside application cluster
● データストア&キャッシュ戦略
● API for pixiv
Inside application cluster
Front Front・・・
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Other・・・
Internet
Front
Front Front・・・
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Other・・・
Internet
Front
Internet
Front
■Nginx
ロードバランサー
兼
多目的リバースプロキシ
AP
Front Front・・・
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Other・・・
Internet
AP
Internet
AP
● アプリケーションサーバ
○ Apache&mod_php
○ Nginx&PHP-FPM
○ Unicorn&Rails
● ミドルウェア
○ APC
○ Fluentd
○ neoagent
○ etc..
KVS
Front Front・・・
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Other・・・
Internet
KVS
Internet
KVS
● KyotoTycoon
○ 半永続データストレージ
○ オンメモリキャッシュ
● MongoDB
○ APのFluetndからかき集めたデータ
■ エラーログ
■ スロークエリログ
■ アクティビティログ
■ etc
DB
Front Front・・・
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Other・・・
Internet
DB
Internet
DB
● MySQL
○ 5.1 or 5.5
○ 永続データストレージ
● 前段にLVSがいる
Other
Front Front・・・
AP AP AP
LVS
DB DB
・・・ ・・・
・・・ DB・・・
・・・ LVS KVS
Other
KVS・・・
Other・・・
Internet
Other
Internet
Other
● 監視系サーバ
○ Nagios
○ Munin
○ リソースモニタWebアプリ
■ written in PHP
● 定期実行バッチサーバ
○ almost written in PHP
● その他
○ 検索(Apache Solr)
○ レコメンデーションシステム
○ スタックフィード(タイムライン)
○ etc...
トピック
● 開発体制
● Inside application cluster
● データストア&キャッシュ戦略
● API for pixiv
データストア&キャッシュ戦略 in pixiv
● MySQL
○ 永続データストレージ
■ ユーザー、イラスト等、
サービスの根幹に関わるデータを保存
● KyotoTycoon
○ 半永続データストレージ
■ 消えても作り直せるデータのみ保存
■ 負荷の大きい箇所や素早い応答が必要な場面で使う
○ オンメモリキャッシュ
■ MySQLから取得して構築したデータをキャッシュ
データストア&キャッシュ戦略 in pixiv
● APC
○ ローカルデータキャッシュ(not オペコードキャッシュ)
● MongoDB
○ Capped Collection only
○ 一定期間のみ保存するログデータ用
● KVSClient
○ 多段キャッシュ(APCとKyotoTycoon)へ
透過的にアクセスするためのライブラリ
データストア/キャッシングレイヤー
データストア/キャッシングレイヤー
APC -> KyotoTycoon -> MySQLの順にアクセス
べたに書くと、
このコードの問題点
● 複雑
○ キャッシュが二段ある
● アプリケーション開発者が知らなければならない事項が多い
○ キャッシュの保持期限(expire)
○ 接続先ホスト
○ 接続先ポート番号
● あとで変更するのが大変
○ 複数箇所にコードが散らばる可能性がある
KVSClient
〜The library for accessing to datastore transparently〜
KVSClientを使うと、
元のコードと比較
べた書き KVSClientを使う
詳解KVSClient
多段キャッシュへの透過的なアクセス
# 実はここでAPC -> KyotoTycoonの順にアクセスしてる
多段キャッシュへの透過的なアクセス
# 実はここでAPC -> KyotoTycoonの順にアクセスしてる
# APCにキャッシュがあればそれを返す
多段キャッシュへの透過的なアクセス
# 実はここでAPC -> KyotoTycoonの順にアクセスしてる
# APCにキャッシュがあればそれを返す
# なければKyotoTycoonから取得してAPCにキャッシュ
KVSClientはすべてを知っている
# $keyに関する設定を探索
設定はこんな感じ
# $keyに関する設定を探索
トピック
● 開発体制
● Inside application cluster
● データストア&キャッシュ戦略
● API for pixiv
去年くらいからの話
● Ruby(とRails)によるプロダクトが増え始める
○ 既存のPHPコードとの連携が問題に
○ Rubyで再実装とか㍉(行数的に)
● 提携企業向けにAPIを提供する機会がある
○ 昔はその都度イチから開発していた
○ 効率が悪いのでプラットフォーム化したい
去年くらいからの話
● Ruby(とRails)によるプロダクトが増え始める
○ 既存のPHPコードとの連携が問題に
○ Rubyで再実装とか㍉(行数的に)
● 提携企業向けにAPIを提供する機会がある
○ 昔はその都度イチから開発していた
○ 効率が悪いのでプラットフォーム化したい
API作ろう!
api.pixiv.private
api.pixiv.private
● pixivのデータを透過的に扱うためのRESTful API群
○ written in PHP
● pixiv内部からのみアクセス可能
● HTTP経由でほかの言語からでもアクセス可能
● 単なるPHPのライブラリとして使うこともできる
GET http://api.pixiv.private/v1/works.json
活用事例
www.pixiv.comの場合
www.pixiv.comの場合
www.pixiv.comの場合
ここ
Inside api.pixiv.private
● 全部PHPで書かれてる(過去の資産を活用するため)
○ 周辺ツールはRubyで書かれてたりする
● 高速な独自フレームワーク上に構築
○ 当初はSilexを使っていた
○ パフォーマンスに問題があって担当のエンジニアが
開発・移行
■ 現pixivチーム・リーダー
うわ・・・私のAPIおそすぎ・・・?
pixiv.net は 29ms
ログインするだけの API が 90ms...
無料でできるプロファイリング
->今すぐチェック
とある開発者の驚愕
チューニング劇的ビフォーアフター
最適化前 平均 90ms
最適化後 平均 8ms
プロファイラ(xhprof)で
ボトルネックを調査しました。
xhprof master
Cyrill
Silexの初期化が遅い
ルーティングしたコントローラ
が1個だと 1.129ms
ルーティングしたコントローラ
が14個だと 29.178ms
ルーティングが遅い
実際のところ、Silexが遅いというよりは
● Silex以外にもボトルネックはたくさんあった
● 当時、パフォーマンスは重視されてなかった
● スケジュールがタイトで書きやすさ重視だった
● フレームワークの用途が合ってなかった
● RESTful APIのための薄いフレームワーク
● 所謂Webアプリケーション向けである必要はない
● ルーティング以外のことはしなくていい
● もっと先へ、加速したく(ry
僕たちが本当に欲しかったもの
ぼくがかんがえたさいきょうのAPI
専用PHPフレームワーク
−> ルーティングが速い
−> ルーティング以外のことをまっ
たくしないので初期化が
めっちょ速いフレームワーク
開発者曰く
tateseta
tateseta
The accelerator, test-enough, simple,
easy, tuned application-framework
というのは建前で
本当は縦セーターの略だそうです
速度比較:初期化
Silex:12.848ms tateseta:1.98ms
bootstrap tateseta
Hello, World! by tateseta
GET http://api.pixiv.private/v1/hello.json -> {“msg”: “Hello, World!”}
HTTP使わなくてもAPIが使える
HTTPリクエストを抽象化してるので
HTTPプロトコルを使わずにAPIを叩くことができる。
その他の工夫
● require は最小限に抑える
○ ルートが確定したコントローラしか読み込まない
● file_existsなどのIO系は遅いので使わない
○ コントローラのphpのファイルの存在チェックしない
● できるかぎり正規表現に頼らない(例:preg_match)
○ strpos や explode などで頑張る
api.pixiv.public
api.pixiv.public
● api.pixiv.privateのラッパー
● これもtateseta上に構築
● OAuth対応
● スマートフォンアプリ用のAPI群
● 3rd Party向けのAPIも提供中
● publicという名前だけど一般公開はしてないです
● pixivのシステムはいろんな言語やツールでできてる
○ PHPは今でも一番使われてます
○ 用途や条件に合わせて最適なものを選ぶのがよい
● システムの巨大化・複雑化には抽象化で対抗
○ インターフェースだけ決めて隠蔽する
● 近年はRuby(Rails)プロダクトも増えてきている
○ RESTful APIでハイブリッド言語開発
まとめ

More Related Content

What's hot

DockerとPodmanの比較
DockerとPodmanの比較DockerとPodmanの比較
DockerとPodmanの比較Akihiro Suda
 
マイクロサービスに至る歴史とこれから - XP祭り2021
マイクロサービスに至る歴史とこれから - XP祭り2021マイクロサービスに至る歴史とこれから - XP祭り2021
マイクロサービスに至る歴史とこれから - XP祭り2021Yusuke Suzuki
 
Rancher と GitLab を使う3つの理由
Rancher と GitLab を使う3つの理由Rancher と GitLab を使う3つの理由
Rancher と GitLab を使う3つの理由Tetsurou Yano
 
NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介
NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介
NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介Elasticsearch
 
root権限無しでKubernetesを動かす
root権限無しでKubernetesを動かす root権限無しでKubernetesを動かす
root権限無しでKubernetesを動かす Akihiro Suda
 
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』Yoshitaka Kawashima
 
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみたOpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみたTakahiro Miyaura
 
ブルックスのいう銀の弾丸とは何か?
ブルックスのいう銀の弾丸とは何か?ブルックスのいう銀の弾丸とは何か?
ブルックスのいう銀の弾丸とは何か?Yoshitaka Kawashima
 
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発Developers Summit
 
リーン開発の本質 公開用
リーン開発の本質 公開用リーン開発の本質 公開用
リーン開発の本質 公開用ESM SEC
 
chatGPTの驚くべき対話能力.pdf
chatGPTの驚くべき対話能力.pdfchatGPTの驚くべき対話能力.pdf
chatGPTの驚くべき対話能力.pdfYamashitaKatsushi
 
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021whywaita
 
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CDKubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CDPreferred Networks
 
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのかシリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのかAtsushi Nakada
 
結果的に組織がAgileな状態であること #agile #scrum #leanstartup
結果的に組織がAgileな状態であること #agile #scrum #leanstartup結果的に組織がAgileな状態であること #agile #scrum #leanstartup
結果的に組織がAgileな状態であること #agile #scrum #leanstartupItsuki Kuroda
 
コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~
コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~
コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~Hayato YAMAZAKI
 
エラーハンドリング
エラーハンドリングエラーハンドリング
エラーハンドリング道化師 堂華
 
20170706 04 bridgepointでモデル駆動を実践する
20170706 04 bridgepointでモデル駆動を実践する20170706 04 bridgepointでモデル駆動を実践する
20170706 04 bridgepointでモデル駆動を実践するYuki Tsuchitoi
 

What's hot (20)

GitLab から GitLab に移行したときの思い出
GitLab から GitLab に移行したときの思い出GitLab から GitLab に移行したときの思い出
GitLab から GitLab に移行したときの思い出
 
DockerとPodmanの比較
DockerとPodmanの比較DockerとPodmanの比較
DockerとPodmanの比較
 
マイクロサービスに至る歴史とこれから - XP祭り2021
マイクロサービスに至る歴史とこれから - XP祭り2021マイクロサービスに至る歴史とこれから - XP祭り2021
マイクロサービスに至る歴史とこれから - XP祭り2021
 
Rancher と GitLab を使う3つの理由
Rancher と GitLab を使う3つの理由Rancher と GitLab を使う3つの理由
Rancher と GitLab を使う3つの理由
 
NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介
NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介
NRIのプロジェクト管理ソリューションにおけるKibanaを用いたログ活用事例紹介
 
root権限無しでKubernetesを動かす
root権限無しでKubernetesを動かす root権限無しでKubernetesを動かす
root権限無しでKubernetesを動かす
 
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』
 
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみたOpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
 
ブルックスのいう銀の弾丸とは何か?
ブルックスのいう銀の弾丸とは何か?ブルックスのいう銀の弾丸とは何か?
ブルックスのいう銀の弾丸とは何か?
 
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発
 
リーン開発の本質 公開用
リーン開発の本質 公開用リーン開発の本質 公開用
リーン開発の本質 公開用
 
chatGPTの驚くべき対話能力.pdf
chatGPTの驚くべき対話能力.pdfchatGPTの驚くべき対話能力.pdf
chatGPTの驚くべき対話能力.pdf
 
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
 
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CDKubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
 
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのかシリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
 
Glibc malloc internal
Glibc malloc internalGlibc malloc internal
Glibc malloc internal
 
結果的に組織がAgileな状態であること #agile #scrum #leanstartup
結果的に組織がAgileな状態であること #agile #scrum #leanstartup結果的に組織がAgileな状態であること #agile #scrum #leanstartup
結果的に組織がAgileな状態であること #agile #scrum #leanstartup
 
コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~
コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~
コロナ禍のリモートワークを乗り切るSlack w/HalpによるJira活用 ~ヘルプデスクをまるごとSlackで管理、Halpが持つ将来性~
 
エラーハンドリング
エラーハンドリングエラーハンドリング
エラーハンドリング
 
20170706 04 bridgepointでモデル駆動を実践する
20170706 04 bridgepointでモデル駆動を実践する20170706 04 bridgepointでモデル駆動を実践する
20170706 04 bridgepointでモデル駆動を実践する
 

Viewers also liked

pixivの画像アップロードシステム
pixivの画像アップロードシステムpixivの画像アップロードシステム
pixivの画像アップロードシステムTatsuhiko Kubo
 
mruby_nginx_module at pyfes 2013.11
mruby_nginx_module at pyfes 2013.11mruby_nginx_module at pyfes 2013.11
mruby_nginx_module at pyfes 2013.11Tatsuhiko Kubo
 
ngx_small_lightで動的サムネイル生成 #yapcasia2012
ngx_small_lightで動的サムネイル生成 #yapcasia2012ngx_small_lightで動的サムネイル生成 #yapcasia2012
ngx_small_lightで動的サムネイル生成 #yapcasia2012Tatsuhiko Kubo
 
OPcacheの新機能ファイルベースキャッシュの内部実装を読んでみた
OPcacheの新機能ファイルベースキャッシュの内部実装を読んでみたOPcacheの新機能ファイルベースキャッシュの内部実装を読んでみた
OPcacheの新機能ファイルベースキャッシュの内部実装を読んでみたYoshio Hanawa
 
Scaling Apache Storm (Hadoop Summit 2015)
Scaling Apache Storm (Hadoop Summit 2015)Scaling Apache Storm (Hadoop Summit 2015)
Scaling Apache Storm (Hadoop Summit 2015)Robert Evans
 
Twitterのリアルタイム分散処理システム「Storm」入門
Twitterのリアルタイム分散処理システム「Storm」入門Twitterのリアルタイム分散処理システム「Storm」入門
Twitterのリアルタイム分散処理システム「Storm」入門AdvancedTechNight
 
Apache Storm 0.9 basic training - Verisign
Apache Storm 0.9 basic training - VerisignApache Storm 0.9 basic training - Verisign
Apache Storm 0.9 basic training - VerisignMichael Noll
 

Viewers also liked (9)

pixivの画像アップロードシステム
pixivの画像アップロードシステムpixivの画像アップロードシステム
pixivの画像アップロードシステム
 
mruby_nginx_module at pyfes 2013.11
mruby_nginx_module at pyfes 2013.11mruby_nginx_module at pyfes 2013.11
mruby_nginx_module at pyfes 2013.11
 
pixiv thumbnails
pixiv thumbnailspixiv thumbnails
pixiv thumbnails
 
ngx_small_lightで動的サムネイル生成 #yapcasia2012
ngx_small_lightで動的サムネイル生成 #yapcasia2012ngx_small_lightで動的サムネイル生成 #yapcasia2012
ngx_small_lightで動的サムネイル生成 #yapcasia2012
 
OPcacheの新機能ファイルベースキャッシュの内部実装を読んでみた
OPcacheの新機能ファイルベースキャッシュの内部実装を読んでみたOPcacheの新機能ファイルベースキャッシュの内部実装を読んでみた
OPcacheの新機能ファイルベースキャッシュの内部実装を読んでみた
 
Scaling Apache Storm (Hadoop Summit 2015)
Scaling Apache Storm (Hadoop Summit 2015)Scaling Apache Storm (Hadoop Summit 2015)
Scaling Apache Storm (Hadoop Summit 2015)
 
ストリームデータ分散処理基盤Storm
ストリームデータ分散処理基盤Stormストリームデータ分散処理基盤Storm
ストリームデータ分散処理基盤Storm
 
Twitterのリアルタイム分散処理システム「Storm」入門
Twitterのリアルタイム分散処理システム「Storm」入門Twitterのリアルタイム分散処理システム「Storm」入門
Twitterのリアルタイム分散処理システム「Storm」入門
 
Apache Storm 0.9 basic training - Verisign
Apache Storm 0.9 basic training - VerisignApache Storm 0.9 basic training - Verisign
Apache Storm 0.9 basic training - Verisign
 

Similar to Inside pixiv's infrastructure〜application cluster side〜

SpringOne Platform Replay -Pivotal Cloud Foundry-
SpringOne Platform Replay -Pivotal Cloud Foundry-SpringOne Platform Replay -Pivotal Cloud Foundry-
SpringOne Platform Replay -Pivotal Cloud Foundry-CASAREAL, Inc.
 
JAMstackは眠らない
JAMstackは眠らないJAMstackは眠らない
JAMstackは眠らないKuniyoshi Tone
 
Zabbixをもっと便利に!安全に!
Zabbixをもっと便利に!安全に!Zabbixをもっと便利に!安全に!
Zabbixをもっと便利に!安全に!Takashi Matsunaga
 
Azure Websites で作るスケーラブルな PHP アプリケーション
Azure Websites で作るスケーラブルな PHP アプリケーションAzure Websites で作るスケーラブルな PHP アプリケーション
Azure Websites で作るスケーラブルな PHP アプリケーションMasashi Shinbara
 
how to port * to BitVisor
how to port * to BitVisorhow to port * to BitVisor
how to port * to BitVisoricchy
 
誰にでもできるパフォーマンスチューニング
誰にでもできるパフォーマンスチューニング誰にでもできるパフォーマンスチューニング
誰にでもできるパフォーマンスチューニングKiyokazu Kaba
 
Intalio japan special cloud workshop
Intalio japan special cloud workshopIntalio japan special cloud workshop
Intalio japan special cloud workshopDaisuke Sugai
 
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~griddb
 
SoftLayer Bluemix Community Festa 2016 はじめてのSoftLayer
SoftLayer Bluemix Community Festa 2016 はじめてのSoftLayerSoftLayer Bluemix Community Festa 2016 はじめてのSoftLayer
SoftLayer Bluemix Community Festa 2016 はじめてのSoftLayerYuichi Tamagawa
 
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Insight Technology, Inc.
 
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話Takuya Ueda
 
AWSでアプリ開発するなら 知っておくべこと
AWSでアプリ開発するなら 知っておくべことAWSでアプリ開発するなら 知っておくべこと
AWSでアプリ開発するなら 知っておくべことKeisuke Nishitani
 
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドプランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドYahoo!デベロッパーネットワーク
 
オープニングセッション
オープニングセッションオープニングセッション
オープニングセッションkonekto
 
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-recotech
 

Similar to Inside pixiv's infrastructure〜application cluster side〜 (20)

Zynga
ZyngaZynga
Zynga
 
Aws privte20110406 arai
Aws privte20110406 araiAws privte20110406 arai
Aws privte20110406 arai
 
SpringOne Platform Replay -Pivotal Cloud Foundry-
SpringOne Platform Replay -Pivotal Cloud Foundry-SpringOne Platform Replay -Pivotal Cloud Foundry-
SpringOne Platform Replay -Pivotal Cloud Foundry-
 
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjugJavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
 
Yapc::Asia_2012
Yapc::Asia_2012Yapc::Asia_2012
Yapc::Asia_2012
 
JAMstackは眠らない
JAMstackは眠らないJAMstackは眠らない
JAMstackは眠らない
 
Zabbixをもっと便利に!安全に!
Zabbixをもっと便利に!安全に!Zabbixをもっと便利に!安全に!
Zabbixをもっと便利に!安全に!
 
Azure Websites で作るスケーラブルな PHP アプリケーション
Azure Websites で作るスケーラブルな PHP アプリケーションAzure Websites で作るスケーラブルな PHP アプリケーション
Azure Websites で作るスケーラブルな PHP アプリケーション
 
how to port * to BitVisor
how to port * to BitVisorhow to port * to BitVisor
how to port * to BitVisor
 
誰にでもできるパフォーマンスチューニング
誰にでもできるパフォーマンスチューニング誰にでもできるパフォーマンスチューニング
誰にでもできるパフォーマンスチューニング
 
Intalio japan special cloud workshop
Intalio japan special cloud workshopIntalio japan special cloud workshop
Intalio japan special cloud workshop
 
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
 
SoftLayer Bluemix Community Festa 2016 はじめてのSoftLayer
SoftLayer Bluemix Community Festa 2016 はじめてのSoftLayerSoftLayer Bluemix Community Festa 2016 はじめてのSoftLayer
SoftLayer Bluemix Community Festa 2016 はじめてのSoftLayer
 
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
 
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
 
AWSでアプリ開発するなら 知っておくべこと
AWSでアプリ開発するなら 知っておくべことAWSでアプリ開発するなら 知っておくべこと
AWSでアプリ開発するなら 知っておくべこと
 
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドプランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
 
stapy_028_talk1
stapy_028_talk1stapy_028_talk1
stapy_028_talk1
 
オープニングセッション
オープニングセッションオープニングセッション
オープニングセッション
 
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-
 

More from Tatsuhiko Kubo

mruby_nginx_module〜Embedded mruby into Nginx〜
mruby_nginx_module〜Embedded mruby into Nginx〜mruby_nginx_module〜Embedded mruby into Nginx〜
mruby_nginx_module〜Embedded mruby into Nginx〜Tatsuhiko Kubo
 
memcached proxy server development and operation
memcached proxy server development and operationmemcached proxy server development and operation
memcached proxy server development and operationTatsuhiko Kubo
 
ngx_small_light at 第2回闇鍋プログラミング勉強会
ngx_small_light at 第2回闇鍋プログラミング勉強会ngx_small_light at 第2回闇鍋プログラミング勉強会
ngx_small_light at 第2回闇鍋プログラミング勉強会Tatsuhiko Kubo
 
memcachedからKyotoTycoonへ
memcachedからKyotoTycoonへmemcachedからKyotoTycoonへ
memcachedからKyotoTycoonへTatsuhiko Kubo
 
dtl - diff template library
dtl - diff template librarydtl - diff template library
dtl - diff template libraryTatsuhiko Kubo
 

More from Tatsuhiko Kubo (11)

mruby_nginx_module
mruby_nginx_modulemruby_nginx_module
mruby_nginx_module
 
mruby_nginx_module〜Embedded mruby into Nginx〜
mruby_nginx_module〜Embedded mruby into Nginx〜mruby_nginx_module〜Embedded mruby into Nginx〜
mruby_nginx_module〜Embedded mruby into Nginx〜
 
memcached proxy server development and operation
memcached proxy server development and operationmemcached proxy server development and operation
memcached proxy server development and operation
 
ngx_small_light
ngx_small_lightngx_small_light
ngx_small_light
 
ngx_small_light at 第2回闇鍋プログラミング勉強会
ngx_small_light at 第2回闇鍋プログラミング勉強会ngx_small_light at 第2回闇鍋プログラミング勉強会
ngx_small_light at 第2回闇鍋プログラミング勉強会
 
ngx_small_light
ngx_small_lightngx_small_light
ngx_small_light
 
memcachedからKyotoTycoonへ
memcachedからKyotoTycoonへmemcachedからKyotoTycoonへ
memcachedからKyotoTycoonへ
 
dtl - diff template library
dtl - diff template librarydtl - diff template library
dtl - diff template library
 
Memorypool Key
Memorypool KeyMemorypool Key
Memorypool Key
 
String Match Algrithm
String Match AlgrithmString Match Algrithm
String Match Algrithm
 
Diff
DiffDiff
Diff
 

Recently uploaded

情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイントonozaty
 
Keywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdKeywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdkokinagano2
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルCRI Japan, Inc.
 
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。iPride Co., Ltd.
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperleger Tokyo Meetup
 
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfTakayuki Nakayama
 
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルCRI Japan, Inc.
 
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用KLab Inc. / Tech
 

Recently uploaded (8)

情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
Keywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdKeywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltd
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
 
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
 
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
 
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
 

Inside pixiv's infrastructure〜application cluster side〜