Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Perl と Perl 以外の運用について
吉祥寺.pm #4
July 10, 2015
Kiyoshi Yasutake
DeNA Co., ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
自己紹介
 安武 貴世志
 @key_amb (きいあむ)
 DeNA でインフラやってます。
2
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Perl と
Perl 以外
の運用について
3
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Web
アプリケーション
の「運用」って?
4
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
データセンター
イメージ
5
データ
ストア
Webサーバ
OS・ミドル
ウェア
物理筐体
WebApp Query
Network
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
データセンター
イメージ
6
データ
ストア
Webサーバ
OS・ミドル
ウェア
物理筐体
WebApp Query
Network
アプリケーシ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Web アプリケーションの運用で考えるべきこと
 Web アプリケーションレイヤ
⁃ 性能, 応答速度
⁃ 安定性, セキュリティ
⁃ デプロイ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
本題
8
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
本日の参考資料: Perl
 Mobageを支える技術~ソーシャ
ルゲームの舞台裏~ (2012)
 Perl や大規模インフラ運用のノ
ウハ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
本日の参考資料: Ruby
 Mobageを支えるRubyの技術〜
複数DB編〜 @sonots (2014)
 この資料はDB中心ですが、D...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
今日話す項目
 ホットデプロイ
 Max Requests Per Worker
 社内 module/gem リポジトリ
 DNS ルッ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ホットデプロイ
12
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Server::Starter
13
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Daemontools w/ Server::Starter
 https://github.com/kazuho/p5-Server-Star...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Max Requests
Per Worker
15
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Max Requests Per Worker
 一定リクエスト受け付けた後、ワーカープロセスが exit し、ワーカーを
再生成する
 メモ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
社内
module/gem
リポジトリ
17
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
社内 module/gem リポジトリ
Perl Modules Ruby Gems
社内サイト DeNAPAN RubyGems ミラー
Git...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Dino の由来
19
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DNS ルックアップ
20
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
MyDNS + Unbound
21
MyDNS
WebApp
unbound
127.0.0.1
db_user_s.xxx.local:
- ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
問題点
 Unbound 経由だと…
⁃ 重みの情報が失われる
⁃ DNSレコードのTTLの間、名前解決したIPの順番が固定になる
• さっきの...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DNS ルックアップのためのライブラリ
 Perl
⁃ Baran::Net::DNS::ResolveKetama
⁃ Mobage::Mem...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
プロファイラ
24
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Devel::NYTProf for Perl
 https://metacpan.org/pod/Devel::NYTProf
25
図: h...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
NewRelic for Ruby
 http://newrelic.com/
26
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
バックトレース
27
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
gdbperl.pl と gdbruby.rb
 プロセスや core のバックトレースを出力する
 固まった時やクラッシュするときに使える
...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Admintool
クライアント
29
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Admintool
30
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
Admintool
 DeNA のサーバ情報を一元管理しているツール
 クライアントライブラリ:
⁃ Perl
• Admin::Host
•...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ロギング
32
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ロギング
 ログ監視の都合上、ファイルパスやフォーマットをある程度決めたい
 エラーログ系
⁃ xxx.err.log.YYYYMMDD など...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
まとめ
34
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
まとめ
 DeNA では Mobage / ソーシャルゲームの成長を通して Perl アプリケ
ーションの運用ノウハウをたくさん蓄積してきました...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
〜 We Are Hiring!! 〜
36
 http://dena.com/jp/recruit/career/engineer/
 ht...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
37
Thank You!!
Upcoming SlideShare
Loading in …5
×

PerlとPerl以外の運用 #kichijojipm

5,973 views

Published on

吉祥寺.pm #4 で発表した資料です。
https://atnd.org/events/67250

Published in: Technology

PerlとPerl以外の運用 #kichijojipm

  1. 1. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Perl と Perl 以外の運用について 吉祥寺.pm #4 July 10, 2015 Kiyoshi Yasutake DeNA Co., Ltd.
  2. 2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 自己紹介  安武 貴世志  @key_amb (きいあむ)  DeNA でインフラやってます。 2
  3. 3. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Perl と Perl 以外 の運用について 3
  4. 4. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Web アプリケーション の「運用」って? 4
  5. 5. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. データセンター イメージ 5 データ ストア Webサーバ OS・ミドル ウェア 物理筐体 WebApp Query Network
  6. 6. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. データセンター イメージ 6 データ ストア Webサーバ OS・ミドル ウェア 物理筐体 WebApp Query Network アプリケーションエンジニア の守備範囲 インフラエンジニア の守備範囲
  7. 7. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Web アプリケーションの運用で考えるべきこと  Web アプリケーションレイヤ ⁃ 性能, 応答速度 ⁃ 安定性, セキュリティ ⁃ デプロイ, メンテナンス ⁃ ロギング ⁃ ライブラリ管理  サーバレイヤ ⁃ リソースを使いすぎていないか  データストアに対して ⁃ よくない使い方をしてないか • 例) クソクエリ, ループ内でのクエリ発行, etc. 7
  8. 8. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 本題 8
  9. 9. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 本日の参考資料: Perl  Mobageを支える技術~ソーシャ ルゲームの舞台裏~ (2012)  Perl や大規模インフラ運用のノ ウハウが詰まっています。 9
  10. 10. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 本日の参考資料: Ruby  Mobageを支えるRubyの技術〜 複数DB編〜 @sonots (2014)  この資料はDB中心ですが、DB以 外も整備されています。  参考: ⁃ 運用を楽にするためのアプリケー ションコードを書くということ - sonots:blog 10
  11. 11. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 今日話す項目  ホットデプロイ  Max Requests Per Worker  社内 module/gem リポジトリ  DNS ルックアップ  プロファイラ  バックトレース  サーバ情報の取得  ロギング 11
  12. 12. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ホットデプロイ 12
  13. 13. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Server::Starter 13
  14. 14. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Daemontools w/ Server::Starter  https://github.com/kazuho/p5-Server-Starter  Server::Starterから学ぶhot deployの仕組み - $shibayu36->blog;  Ruby でも Server::Starter ⁃ Server::Starterに対応するとはどういうことか - Limitの日記 ⁃ 「Server::Starterに対応するとはどういうことか」の補足 - sonots:blog 14 start_server plackup(親) plackup(子) plackup(親) plackup(子) SIGHUP current new
  15. 15. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Max Requests Per Worker 15
  16. 16. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Max Requests Per Worker  一定リクエスト受け付けた後、ワーカープロセスが exit し、ワーカーを 再生成する  メモリリーク対策  Perl ⁃ Starlet の場合 ⁃ --max-reqs-per-child, --min-reqs-per-child オプション  Ruby ⁃ kzk/unicorn-worker-killer for Unicorn ⁃ use Unicorn::WorkerKiller::MaxRequests, <min>, <max> 16
  17. 17. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 社内 module/gem リポジトリ 17
  18. 18. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 社内 module/gem リポジトリ Perl Modules Ruby Gems 社内サイト DeNAPAN RubyGems ミラー GitHub:e Baran Organization Dino Organization 18  GitHub:e => Webhook で社内サイトに配置 図: 割り箸・名入れ箸袋・業務用資材なら いい割り箸どっとこむ-バラン(両山型)
  19. 19. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Dino の由来 19
  20. 20. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DNS ルックアップ 20
  21. 21. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. MyDNS + Unbound 21 MyDNS WebApp unbound 127.0.0.1 db_user_s.xxx.local: - (xxd01, 100) - (xxd02, 50) - (xxd03, 0)
  22. 22. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 問題点  Unbound 経由だと… ⁃ 重みの情報が失われる ⁃ DNSレコードのTTLの間、名前解決したIPの順番が固定になる • さっきの例だと (xxd01, xxd02) という順番 ⁃ 重み 0 のレコードが取れない • スタンバイサーバを重み 0 で入れている • 例えば slave が全滅したときのために master を重み 0 で入れる 22
  23. 23. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DNS ルックアップのためのライブラリ  Perl ⁃ Baran::Net::DNS::ResolveKetama ⁃ Mobage::Memcached  Ruby ⁃ dino/resolver_mydns  仕組み ⁃ Unbound を介さない • 独自のキャッシュ機構(例:ファイルキャッシュ) ⁃ MyDNS DB から直接 SELECT する ⁃ Weighted Round-robin 対応 ⁃ 重み 0 へのフォールバック ⁃ Consistent Hashing (Mobage::Memcached) 23
  24. 24. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. プロファイラ 24
  25. 25. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Devel::NYTProf for Perl  https://metacpan.org/pod/Devel::NYTProf 25 図: http://aplawrence.com/Unix/nytprof.html
  26. 26. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. NewRelic for Ruby  http://newrelic.com/ 26
  27. 27. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. バックトレース 27
  28. 28. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. gdbperl.pl と gdbruby.rb  プロセスや core のバックトレースを出力する  固まった時やクラッシュするときに使える  https://github.com/ahiguti/gdbperl ⁃ http://www.slideshare.net/akirahiguchi/gdbperl  https://github.com/gunyarakun/gdbruby ⁃ http://blog.wktk.co.jp/ja/entry/2013/10/30/gdbruby 28 $ gdbperl.pl <pid> $ gdbperl.pl <corefilepath> <path of perl> $ gdbruby.rb <pid> $ gdbruby.rb <corefilepath> <path of ruby>
  29. 29. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Admintool クライアント 29
  30. 30. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Admintool 30
  31. 31. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Admintool  DeNA のサーバ情報を一元管理しているツール  クライアントライブラリ: ⁃ Perl • Admin::Host • Global Infra ⁃ get-hosts … CLI ⁃ Ruby • dino/dino-host 31
  32. 32. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ロギング 32
  33. 33. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ロギング  ログ監視の都合上、ファイルパスやフォーマットをある程度決めたい  エラーログ系 ⁃ xxx.err.log.YYYYMMDD など ⁃ Perl: MLog (Mobage), etc. ⁃ Ruby: dino/m_log  パフォーマンスログ ⁃ アプリケーションの処理で費やされた時間を記録 ⁃ Ruby: dino/rack-performance_log 33
  34. 34. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. まとめ 34
  35. 35. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. まとめ  DeNA では Mobage / ソーシャルゲームの成長を通して Perl アプリケ ーションの運用ノウハウをたくさん蓄積してきました。  Ruby アプリケーションにおいても、ほぼ同水準の運用を達成しつつあ ります。  新しい言語の運用を整えるのはそれなりに大変です。  アプリケーション  インフラのプロトコル部分を整えるだけなら、そ れほどでもないと思います。 35
  36. 36. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 〜 We Are Hiring!! 〜 36  http://dena.com/jp/recruit/career/engineer/  http://denagames-tokyo.jp/
  37. 37. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 37 Thank You!!

×