Submit Search
Upload
pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス
•
17 likes
•
11,834 views
Shunsuke Michii
Follow
pixivのインフラになって2ヶ月がたったので最近の構成とかをかるく。
Read less
Read more
Technology
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 22
Download now
Download to read offline
Recommended
OGC2015でソリューションアーキテクトの片岡がご説明した資料です。
オンラインゲームの最新ニーズに応えるネットワークインフラとは
オンラインゲームの最新ニーズに応えるネットワークインフラとは
IDC Frontier
Openhack day3 カンファレンス資料 IDCフロンティア
Open hackday3 idcf_cloud
Open hackday3 idcf_cloud
Makoto Oya
Tech-Circle #2: Vagrant+Dockerを使って環境を簡単に作るハンズオン勉強会における、佐々木のLT資料です。
Vagrantでクラウド上にdocker環境を作る
Vagrantでクラウド上にdocker環境を作る
IDC Frontier
2013年10月11日に開催された、「VYATTA USERS MEETING Autumn 2013」“仮想ルータ利用の手引きと期待”セッションのIDCフロンティア発表資料です。
VYATTA USERS MEETING Autumn 2013_idcf
VYATTA USERS MEETING Autumn 2013_idcf
IDC Frontier
第1回 OCDET ベアメタルWG 勉強会 で、IDCフロンティア 金井が発表した資料です。ioMemoryを時間貸しで行うIDCFクラウドHighIOタイプの開発秘話です
Idcfクラウドhw占有タイプ開発話
Idcfクラウドhw占有タイプ開発話
IDC Frontier
2013年10月9日~11日の3日間にわたって開催された、ITpro EXPO 2013(Citrix Japan様ブース)でのIDCフロンティア講演資料です。
201310 ITproEXPO_clouddaystokyo2013fall_idcf
201310 ITproEXPO_clouddaystokyo2013fall_idcf
IDC Frontier
2013年10月29日に開催された、MPLS JAPAN 2013でのIDCフロンティア発表資料です。「データセンター」セッション ”クラウド事業者から見た課題と今後” より。
MPLS_JAPAN_2013_IDCF
MPLS_JAPAN_2013_IDCF
IDC Frontier
Aerospike Meetup in Tokyo #3 で発表した内容です。 超高速なクラスタ側NoSQLデータベースのAerospikeをIDCFクラウド上で動かしてみました。
Aerospike on IDCF Cloud
Aerospike on IDCF Cloud
IDC Frontier
Recommended
OGC2015でソリューションアーキテクトの片岡がご説明した資料です。
オンラインゲームの最新ニーズに応えるネットワークインフラとは
オンラインゲームの最新ニーズに応えるネットワークインフラとは
IDC Frontier
Openhack day3 カンファレンス資料 IDCフロンティア
Open hackday3 idcf_cloud
Open hackday3 idcf_cloud
Makoto Oya
Tech-Circle #2: Vagrant+Dockerを使って環境を簡単に作るハンズオン勉強会における、佐々木のLT資料です。
Vagrantでクラウド上にdocker環境を作る
Vagrantでクラウド上にdocker環境を作る
IDC Frontier
2013年10月11日に開催された、「VYATTA USERS MEETING Autumn 2013」“仮想ルータ利用の手引きと期待”セッションのIDCフロンティア発表資料です。
VYATTA USERS MEETING Autumn 2013_idcf
VYATTA USERS MEETING Autumn 2013_idcf
IDC Frontier
第1回 OCDET ベアメタルWG 勉強会 で、IDCフロンティア 金井が発表した資料です。ioMemoryを時間貸しで行うIDCFクラウドHighIOタイプの開発秘話です
Idcfクラウドhw占有タイプ開発話
Idcfクラウドhw占有タイプ開発話
IDC Frontier
2013年10月9日~11日の3日間にわたって開催された、ITpro EXPO 2013(Citrix Japan様ブース)でのIDCフロンティア講演資料です。
201310 ITproEXPO_clouddaystokyo2013fall_idcf
201310 ITproEXPO_clouddaystokyo2013fall_idcf
IDC Frontier
2013年10月29日に開催された、MPLS JAPAN 2013でのIDCフロンティア発表資料です。「データセンター」セッション ”クラウド事業者から見た課題と今後” より。
MPLS_JAPAN_2013_IDCF
MPLS_JAPAN_2013_IDCF
IDC Frontier
Aerospike Meetup in Tokyo #3 で発表した内容です。 超高速なクラスタ側NoSQLデータベースのAerospikeをIDCFクラウド上で動かしてみました。
Aerospike on IDCF Cloud
Aerospike on IDCF Cloud
IDC Frontier
2013年9月18日~20日の3日間にわたって開催された、次世代ネットワーク技術「SDN」をテーマとしたイベント「SDN Japan 2013」での講演資料です。
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
IDC Frontier
2013年12月4日に開催された、クラウドマネージメントツール勉強会 第2回で利用した資料です。 http://kokucheese.com/event/index/128799/
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
IDC Frontier
クラウドを使って、WordPressでのWEBサイト構築方法をご紹介します。
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
IDC Frontier
第四回ゲームサーバー勉強会でソリューションアーキテクトの藤城拓哉がLTした際の資料です。 - 2015/04/21 LINK更新しました。
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDC Frontier
IDCFクラウドMeetup! in Osaka 2016年3月9日
実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
IDC Frontier
1ヵ月500円から使えるIDCFクラウド上で、KUSANAGIテンプレートを利用してWordPressサイトを公開する方法を解説します。
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
IDC Frontier
2024年5月8日 Power Platform 勉強会 #1 LT資料
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Key topics covered: - Understanding Ballerina's role in integrations: features and advantages - Designing and implementing REST APIs for integration - Designing and implementing GraphQL services with Ballerina - Monitoring and observing applications - Introduction to data integration
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2022年10月27日に社内向けに開催した勉強会資料の社外公開版です(発表8分程度)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
More Related Content
Viewers also liked
2013年9月18日~20日の3日間にわたって開催された、次世代ネットワーク技術「SDN」をテーマとしたイベント「SDN Japan 2013」での講演資料です。
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
IDC Frontier
2013年12月4日に開催された、クラウドマネージメントツール勉強会 第2回で利用した資料です。 http://kokucheese.com/event/index/128799/
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
IDC Frontier
クラウドを使って、WordPressでのWEBサイト構築方法をご紹介します。
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
IDC Frontier
第四回ゲームサーバー勉強会でソリューションアーキテクトの藤城拓哉がLTした際の資料です。 - 2015/04/21 LINK更新しました。
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDC Frontier
IDCFクラウドMeetup! in Osaka 2016年3月9日
実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
IDC Frontier
1ヵ月500円から使えるIDCFクラウド上で、KUSANAGIテンプレートを利用してWordPressサイトを公開する方法を解説します。
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
IDC Frontier
Viewers also liked
(6)
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
[SDN JAPAN 2013] IaaS事業者が考える真のSDN
201312 scalr[oss] installation_idcf
201312 scalr[oss] installation_idcf
サーバー初心者のためのWordPressサイト構築手順
サーバー初心者のためのWordPressサイト構築手順
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
IDCFクラウド for Gaming 第四回ゲームサーバー勉強会
実話!実はIDCFクラウドって◯◯なんです
実話!実はIDCFクラウドって◯◯なんです
IDCFクラウドで、WordPressサイト構築!
IDCFクラウドで、WordPressサイト構築!
Recently uploaded
2024年5月8日 Power Platform 勉強会 #1 LT資料
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Key topics covered: - Understanding Ballerina's role in integrations: features and advantages - Designing and implementing REST APIs for integration - Designing and implementing GraphQL services with Ballerina - Monitoring and observing applications - Introduction to data integration
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2022年10月27日に社内向けに開催した勉強会資料の社外公開版です(発表8分程度)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Recently uploaded
(11)
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
pixivのインフラになって2ヶ月がたった - NSEG feat. 高専カンファレンス
1.
NSEG feat. Kosenconf-053nseg 2012-06-23 pixivのインフラになっ て2ヶ月がたった はるかさん
/ harukasan
2.
高専カンファレンス の方から来ました!
3.
はるかさん ・久留米高専制御情報工学科43期生 ・NHK高専ロボコン ・ACM/ICPC ・筑波大学大学院卒業 ・pixivのインフラ3ヶ月目
4.
はるかさん ・Kosenconf-003tokyo ・Kosenconf-005kyushu ・Kosenconf-013salesio ・Kosenconf-014tokyo ・Kosenconf-020salesio2 ・Kosenconf-031sciences ・Kosenconf-038tokyo ・Kosenconf-045tokyo ・Kosenconf-053nseg ←NEW!!
5.
http://www.pixiv.net
6.
7.
・イラストコミュニケーションサービス ・2007年9月10日にスタート 会員数 444400万人 作品数 2288,,000000,,000000 平均投稿数 ページビュー 2288,,000000//日 3300億PPVV//月
8.
pixivのインフラ
9.
2拠点のハイブリッド 構成
10.
自作サーバー群 ・AthlonX2 64 505e
/ Athlon II X4 605e ・B-28(ベニヤ)機 ・1Gbps線 6本
11.
データセンターサーバー群 ・hp DL120G7(DB、TS、Front) ・hp DL165G7(AP、Solr) ・1Gbps線10本
12.
アプリケーションまわりの構成 Internet Internet Front Front Front Front AP AP AP AP Slave LVS L3 Slave L3 Slave Master Slave Slave KVS 旧社屋クラスタ KVS Slave LVS Slave iDCクラスタ ・旧社屋とデータセンタの2つで捌いている ・2拠点間を1Gbpsの専用線で接続
13.
画像まわりの構成 Internet Front Cache Cache Dispatcher L3 Front Cache Origin Front Dispatcher Dispatcher Original Thumbnail L3 Origin Origin Origin 旧社屋クラスタ iDCクラスタ ・旧社屋に画像オリジンがある ・データセンタ側でキャッシュ(95%) ・オリジナル、サムネイルの一部はiDCに
14.
画像まわりの構成 Internet Front Front Front Cache Cache Cache Dispatcher Dispatcher Dispatcher Original Front: NGINX (RAM
Cache) Cache: TrafficServer (SSD Cache) Dispatcher: NGINX Thumbnail L3 iDCクラスタ ・Front、Cache、Dispatcherを同居させて ネットワークコストを下げる ・tmpfsを利用してRAM領域にキャッシュ ・画像集約サーバーにサムネイルを集約
15.
最近のプロダクト
16.
17.
・pixivでマンガの試し読みができるサービス ・2012年6月5日にスタート ・Ruby on Rails
3.2 / Unicorn ・インフラの担当をやっている
18.
国際版
19.
国際版 ・海外向けpixiv ・日本ではプレミアム会員になれば見られる ・Rails/ActiveResource + PHP5.3/Restful
API ・2011年12月末にスタート Internet ・Ruby on Rails 3.2 / Unicorn ・PHP5.3 / Apache Front Front Rails Rails PHP PHP pixiv.netのインフラ
20.
まとめ ・データセンターの依存度高まってきた ・Ruby on Railsのプロダクト増えてきた ・バックアップちゃんとする
21.
pixivではエンジニアを募集しています!! http://recruit.pixiv.net/
22.
サマーインターン申し込み受付中です! http://recruit.pixiv.net/
Download now