pixivのインフラを支える技術

pixivのインフラを支える技術 2009/09/25 ピクシブ株式会社　上薗竜太

自己紹介

自己紹介上薗竜太 kamipo ピクシブ株式会社 2008年11月入社インフラの設計・構築・運用管理

アジェンダ pixivについて pixivのインフラ自作サーバシステム構成運用構築あれこれまとめ

pixivについて

pixivについてイラストコミュニケーションサービス 2007年09月10日〜サービス規模 125万ユーザ 8億5000万PV/月 3000万PV/日関連サービス drawr http://drawr.net/ drawTwit http://drawtwit.com/ サーバ160台

pixivのインフラ自作サーバ

自作サーバ

pixivのインフラシステム構成

システム構成 OS Linux 2.6 (Debian lenny) Webサーバ apache 2.2.9 (prefork, event) データベース mysql 5.0.67 (tritonn 1.0.12) アプリケーション PHP 5.2.6 (+ APC)

システム構成ロードバランサ mod_proxy_balancer (L7) LVS (L4) キャッシュサーバ memcached 1.4.1 (データベース) squid 2.7 (画像)

システム構成

運用構築あれこれ

apacheのMPM prefork PHPサーバ用 event workerの改良版 proxy、画像サーバ用

KeepAlive prefork KeepAlive Off event KeepAlive On MaxKeepAliveRequests 100 KeepAliveTimeout 2

mysqlの運用 mysqlは自動起動にしないウォームアップ後に本番に投入 cat *.MY[ID] *.SEN* とにかくデータをメモリに乗せることが重要メモリ増設 4GB -> 8GB データベース分割現在4つに分割しているデータベース分割が難しいときは参照分割

mysqlの運用メディック復旧専用のスレーブ機障害機にスナップショットを転送

netfilter (iptables) ip_conntrack_maxの値が規定値だと小さい ip_conntrack: table full, dropping packet. デフォルトだと65536 sysctl -w ¥ net.ipv4.netfilter. ip_conntrack_max=262144

netfilter (iptables)

noatime/relatime デフォルト常にatimeを更新する noatime 常にatimeを更新しない relatime atimeがctimeやmtimeより古いとき更新

noatime/relatime

運用管理あれこれインストール PXEブート preseed setup.sh Subversion configファイルのバージョン管理 commit時にMLに通知

運用管理あれこれアプリケーションのデプロイ staging環境から本番環境にrsync Capistrano 多数のサーバにコマンド発行できる cap invoke COMMAND='cat /proc/loadavg'

まとめ pixivのインフラについて紹介しましたセオリー通りでなんとかなります運用や構築についてちょっとしたことが大きく効いてきます

ご清聴ありがとうございました

pixivのインフラを支える技術

by Ryuta Kamizono on Nov 26, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 18

Statistics

pixivのインフラを支える技術 — Presentation Transcript

http://www.slideshare.net	15
http://localhost	3