PerlとPerl以外の運用 #kichijojipm

Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Perl と Perl 以外の運用について
吉祥寺.pm #4
July 10, 2015
Kiyoshi Yasutake
DeNA Co., Ltd.

自己紹介
 安武貴世志
 @key_amb (きいあむ)
 DeNA でインフラやってます。
2

Perl と
Perl 以外
の運用について
3

Web
アプリケーション
の「運用」って？
4

データセンター
イメージ
5
データ
ストア
Webサーバ
OS・ミドル
ウェア
物理筐体
WebApp Query
Network

データセンター
イメージ
6
データ
ストア
Webサーバ
OS・ミドル
ウェア
物理筐体
WebApp Query
Network
アプリケーションエンジニア
の守備範囲
インフラエンジニア
の守備範囲

Web アプリケーションの運用で考えるべきこと
 Web アプリケーションレイヤ
⁃ 性能, 応答速度
⁃ 安定性, セキュリティ
⁃ デプロイ, メンテナンス
⁃ ロギング
⁃ ライブラリ管理
 サーバレイヤ
⁃ リソースを使いすぎていないか
 データストアに対して
⁃ よくない使い方をしてないか
• 例) クソクエリ, ループ内でのクエリ発行, etc.
7

本題
8

本日の参考資料: Perl
 Mobageを支える技術~ソーシャ
ルゲームの舞台裏~ (2012)
 Perl や大規模インフラ運用のノ
ウハウが詰まっています。
9

本日の参考資料: Ruby
 Mobageを支えるRubyの技術〜
複数DB編〜 @sonots (2014)
 この資料はDB中心ですが、DB以
外も整備されています。
 参考:
⁃ 運用を楽にするためのアプリケー
ションコードを書くということ -
sonots:blog
10

今日話す項目
 ホットデプロイ
 Max Requests Per Worker
 社内 module/gem リポジトリ
 DNS ルックアップ
 プロファイラ
 バックトレース
 サーバ情報の取得
 ロギング
11

ホットデプロイ
12

Server::Starter
13

Daemontools w/ Server::Starter
 https://github.com/kazuho/p5-Server-Starter
 Server::Starterから学ぶhot deployの仕組み - $shibayu36->blog;
 Ruby でも Server::Starter
⁃ Server::Starterに対応するとはどういうことか - Limitの日記
⁃ 「Server::Starterに対応するとはどういうことか」の補足 - sonots:blog
14
start_server
plackup(親)
plackup(子)
plackup(親) plackup(子)
SIGHUP
current
new

Max Requests
Per Worker
15

Max Requests Per Worker
 一定リクエスト受け付けた後、ワーカープロセスが exit し、ワーカーを
再生成する
 メモリリーク対策
 Perl
⁃ Starlet の場合
⁃ --max-reqs-per-child, --min-reqs-per-child オプション
 Ruby
⁃ kzk/unicorn-worker-killer for Unicorn
⁃ use Unicorn::WorkerKiller::MaxRequests, <min>, <max>
16

社内
module/gem
リポジトリ
17

社内 module/gem リポジトリ
Perl Modules Ruby Gems
社内サイト DeNAPAN RubyGems ミラー
GitHub:e Baran Organization Dino Organization
18
 GitHub:e => Webhook で社内サイトに配置
図: 割り箸・名入れ箸袋・業務用資材なら
いい割り箸どっとこむ-バラン（両山型）

Dino の由来
19

DNS ルックアップ
20

MyDNS + Unbound
21
MyDNS
WebApp
unbound
127.0.0.1
db_user_s.xxx.local:
- (xxd01, 100)
- (xxd02, 50)
- (xxd03, 0)

問題点
 Unbound 経由だと…
⁃ 重みの情報が失われる
⁃ DNSレコードのTTLの間、名前解決したIPの順番が固定になる
• さっきの例だと (xxd01, xxd02) という順番
⁃ 重み 0 のレコードが取れない
• スタンバイサーバを重み 0 で入れている
• 例えば slave が全滅したときのために master を重み 0 で入れる
22

DNS ルックアップのためのライブラリ
 Perl
⁃ Baran::Net::DNS::ResolveKetama
⁃ Mobage::Memcached
 Ruby
⁃ dino/resolver_mydns
 仕組み
⁃ Unbound を介さない
• 独自のキャッシュ機構(例:ファイルキャッシュ)
⁃ MyDNS DB から直接 SELECT する
⁃ Weighted Round-robin 対応
⁃ 重み 0 へのフォールバック
⁃ Consistent Hashing (Mobage::Memcached)
23

プロファイラ
24

Devel::NYTProf for Perl
 https://metacpan.org/pod/Devel::NYTProf
25
図: http://aplawrence.com/Unix/nytprof.html

NewRelic for Ruby
 http://newrelic.com/
26

バックトレース
27

gdbperl.pl と gdbruby.rb
 プロセスや core のバックトレースを出力する
 固まった時やクラッシュするときに使える
 https://github.com/ahiguti/gdbperl
⁃ http://www.slideshare.net/akirahiguchi/gdbperl
 https://github.com/gunyarakun/gdbruby
⁃ http://blog.wktk.co.jp/ja/entry/2013/10/30/gdbruby
28
$ gdbperl.pl <pid>
$ gdbperl.pl <corefilepath> <path of perl>
$ gdbruby.rb <pid>
$ gdbruby.rb <corefilepath> <path of ruby>

Admintool
クライアント
29

Admintool
30

Admintool
 DeNA のサーバ情報を一元管理しているツール
 クライアントライブラリ:
⁃ Perl
• Admin::Host
• Global Infra
⁃ get-hosts … CLI
⁃ Ruby
• dino/dino-host
31

ロギング
32

ロギング
 ログ監視の都合上、ファイルパスやフォーマットをある程度決めたい
 エラーログ系
⁃ xxx.err.log.YYYYMMDD など
⁃ Perl: MLog (Mobage), etc.
⁃ Ruby: dino/m_log
 パフォーマンスログ
⁃ アプリケーションの処理で費やされた時間を記録
⁃ Ruby: dino/rack-performance_log
33

まとめ
34

まとめ
 DeNA では Mobage / ソーシャルゲームの成長を通して Perl アプリケ
ーションの運用ノウハウをたくさん蓄積してきました。
 Ruby アプリケーションにおいても、ほぼ同水準の運用を達成しつつあ
ります。
 新しい言語の運用を整えるのはそれなりに大変です。
 アプリケーション  インフラのプロトコル部分を整えるだけなら、そ
れほどでもないと思います。
35

〜 We Are Hiring!! 〜
36
 http://dena.com/jp/recruit/career/engineer/
 http://denagames-tokyo.jp/

37
Thank You!!

PerlとPerl以外の運用 #kichijojipm

Recommended

Recommended

More Related Content

Recently uploaded

Recently uploaded (12)

Featured

Featured (20)

PerlとPerl以外の運用 #kichijojipm