More Related Content Similar to hbstudy25 劇的ビフォーアフター
Similar to hbstudy25 劇的ビフォーアフター (20) 4. 自己紹介
● 飯田 祐基 (@semind)
● もうすぐ三十路
● もうすぐpixivに来て2年 (インフラ部隊)
● 前職はプロバイダ (I○J)
● ネットワーク、広告配信、画像配信、データセ
ンタ
● リクルータみたいなことも
● コーディングもサーバもネットワークも配線も
● 最近の興味はrails, coffeescript, html5, css3
15. 色々大丈夫なの？
案外いけます
(でもBtoBとかではやらない方が良いと思います)
16. すぐ壊れたりしないの？
そうでもないです
● 200台強でディスク故障が数回/年
● 意外とNICがダメになりやすい (１回/月未満)
● その他のパーツも月１回あるかないか
18. 捌くための努力
大きく2パターン
● 積むもの積む(ハードウェア増強)
=> コスト大
● 積むもの積まない (最適化)
=> コスト小
20. 積まずに済ます努力
当然やってます！
● プログラムの最適化
● ミドルウェアの選定、チューニング
26. ベニヤ(B28)サーバ
● CPU: AMD AthlonⅡ X4 605e
● Memory: バルク 8GB
● HDD: WD1600BEKT (Crucial RealSSD C300 64GB)
● 電源: KRPW-V300W
● MB: GA-MA785GMUS2H
1台あたり５万円弱 (主にビッグカメラで購入)
http://www.atmarkit.co.jp/news/201007/21/pixiv.html
29. UPS
UPS1200LX ￥7,980 (x7)
● ホントに安い
● 2年すると瞬断でも ×
● 電圧降下が起きて不安定
サウンドハウスで購入
30. L2スイッチ(Giga 24port)
Buffalo LSW-GT-24NSRR
● ￥ 30,000
● ほとんど壊れない
● 少し上位のモデルは７００Mbps出た
● BPDU透過
31. ルータ (外向けの接続)
Super OPT 100e
● １００M共用回線用
● 価格.comで調べたら最安が￥16,000くらい
● 通販で買ってた
● 今はL2スイッチと同じものに入れ替えた
34. 実際運用してて感じた事
● まとめて調達するのは難しい
● 家電量販店でも値切れる
● 販売停止のサイクルが早くて困る
● ロット単位ではずれ引いたりする
● 思ったよりも荒い扱いしても大丈夫 (市販品
でも質は高い)
● 配線が結構面倒 & 酷くなりがち
● 物理的に違うホストと間違えやすい
● NICが壊れる
● Realtekは弱い (でも実績で270Mbpsは出た)
● 新しいパーツを直ぐ試せる (SSDとか)
35. 悩みどころ(限界)
● L3スイッチは比較的高価なのでL2でカスケー
ド繰り返してたらアドレスが足りなくなった &
輻輳が酷くなった
● 共用の回線を沢山引いていたら（外→室内
の）ファイバを通す余裕がもうないと言われた
● 電源まわりが非常に不安
● セキュリティ的にも非常に不安
● リモートで電源操作できないのは不便
● 正直地震は怖かった
43. HP A5500-24G E
● VRRPで冗長化 & スパニングツリー
● 定価60万強
● 24ポート Gigabit L3 Layer Switching Hub
● オフィスサーバルーム、データセンタ間の専用線接続
● スター型へトポロジーの変更
● サブネットの分割
● かなりCiscoライクでマニュアルを頑張って読めばなんとかなる
● 元々はH3C社の製品
46. IDCフロンティア !
● 契約帯域 Max 8Gbps !
● 4ラック 100台強稼動
● コアな機能はほぼすでにこちらで動いている
● 会社から近い
● 外側のスイッチの運用はお任せしている
● データセンタ移行記
http://dev.pixiv.net/archives/1140352.html
● 6GbpsをさばくオレオレCDN構築術
http://www.slideshare.net/semind/20101220-pixiv-techmeeting-6267332
47. HP Proliant DL120 G6
● 現在の主力機
● 定価１０万強
● iLO (リモート電源管理, Serial over LAN)
● 3.5インチベイに2.5インチ変換アダプターで
SSDを接続
48. A+ Server 2022TG-HTRF
● 2Uに４台分 (デュアルCPU)入るベアボーン
キット
● ベアボーンのみで３０万強
● 空間効率が非常に良い
● Opteron 8-Core 6128 x8
● アプリケーションサーバとして利用
● ベニヤサーバ１6台分 (CPUコア数ベース)
http://www.supermicro.com.tw/Aplus/system/2U/2022/AS-2022TG-HTRF.cfm
49. HP ProCurve Switch 2510G-48
● 各ラックのLANを受けるのに利用
● 定価２０万強
● ４８ポート -> L3スイッチを通るトラフィックが減少
● L3スイッチのとの間でリンクアグリゲーション (L2 ⇔ L3 2G)
● mysqlのコネクション接続の失敗が減少した
52. nginxでローカルキャッシュ
● 画像配信系サーバで実施
● 参照頻度が高く、種類の少ないファイル(js, css, ランキングサム
ネイル, 広告系の画像etc)
● Disk IOが増えがちなのでメモリ増強 + SSD投入
● nginxの設定でIO減少
proxy_temp_path /dev/shm/nginx_proxy_temp;
proxy_cache_min_uses 5;
53. APC + TokyoTyrantで２段キャッシュ
● 広告配信系サーバで実施
● APC (Apacheのメモリ空間上にキャッシュ、揮発性)
● 元々はMemcahed(unix domain soket)を使っていた
● DL120G6でピーク時 1200req / sec (１台あたり、まだ余裕)
57. Broadcom BCM5709
● LVSで利用
● 1万
● on Ubuntu 10.10 にて CPUコア分散
● generic-receive-offloadをoffにしている
MTUサイズを越えるSQLクエリーの再送が頻発
$ ethtool -k eth0
62. 近況と今後の展望
● 全文検索をTorittonからSolrへ切り替え
○ インデックス生成バッチ処理にscala
● Key Value Store を Kyoto Tycoonへ
● ドーピング的な最適化から緻密な最適化へ
○ パケットのdump
○ ログ集計、負荷の可視化
○ slow queryの条件を厳しく
○ オープンソースの挙動を追う
○ メンテナンスセグメント構築
63. 近況と今後の展望 ２
● 管理コスト減
○ フレームワークの導入 (rails, silex)
○ 開発、デプロイ方法の整備
○ 監視設定の整備、自動化
● データ、ログ解析
○ レコメンデーション
○ 最適化
○ ユーザの動向の把握
● 海外展開に向けてCDNとかディザスタとか
