Your SlideShare is downloading. ×
PaaSの作り方 Sqaleの場合
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

PaaSの作り方 Sqaleの場合

10,497

Published on

0 Comments
60 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
10,497
On Slideshare
0
From Embeds
0
Number of Embeds
10
Actions
Shares
0
Downloads
50
Comments
0
Likes
60
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. PaaSの作り方 Sqaleの場合 @hiboma paperboy&co. 1
  • 2. • 名前 • 伊藤洋也 (いとう ひろや) • 所属 • 株式会社 paperboy&co. 6年目 • 技術基盤チーム • いろいろやる人 • 新卒研修の面倒見 etc @hiboma 2
  • 3. 3
  • 4. • Perl, Ruby, PHP • Apache, Nginx, MySQL, ... • C ( ミドルウェア ... Apache 成分多い) • トラブル調査などで触れてます • カーネル周りは拾い読み • 開発はさっぱりできません !!! 業務 4
  • 5. • ゲーム厨の兄がいます @hiboma 5
  • 6. ブログ http://d.hatena.ne.jp/hiboma 6
  • 7. ひゃっはー !!! 7
  • 8. アジェンダ • LXCを使ったPaaSの作り方 : Sqale の場合 • サービスの概要 • コンテナの構築 • HTTP, SSHのルーティング • Sqaleで遭遇したカーネルのバグ話 • Xenのバグ • cgroupのバグ 8
  • 9. LXCを使ったPaaSの作り方 Sqale の場合 9
  • 10. PaaS? • Platform as a Service 何を持って 「PaaS」を定義するか各論あるかと思いますが ... • 本トークでは 「git pushしたらRuby on Railsがいい感じに動いてくれる」 「でもミドルウェアの管理はわからんのでお任せしたい」 「 heroku っぽいの」 といった意味でお話します ... 10
  • 11. Sqale 11
  • 12. 12
  • 13. 13
  • 14. 14
  • 15. 15
  • 16. environment • Sqale は AWSを全面利用しています • EC2 • EBS (ユーザ領域、Git等のストレージ) • Route53 (ドメイン管理) • ELB ( HTTP,SSHDのリバースプロキシの前段, SSL) • RDS (共有MySQL) 16
  • 17. ホストOS • EC2 Amazon Linux • CentOS6, SL6 相当 * Q. Ubuntuとか使わないの? A. RedHat系の運用に長けた人が多いので • いろいろ大変 !!! • Patched Kernel • grsecurity patch • restrcit bind(2) patch ( mizzy ) • fork bomb patch ( mizzy ) * 厳密な意味では全然違うと思いますが ... 17
  • 18. EC2を利用 • EC2インスタンス内に LXC をいっぱい生やす • Ruby環境のコンテナ • PHP環境のコンテナ * 厳密な意味では全然違うと思いますが ... 18
  • 19. Rubyコンテナ • Nginx + Ruby(Rackアプリ)を動かせるLXC環境 • Ruby 1.9.3 ∼ 2.0.0 の最新パッチレベルを提供 • supervisord で Nginx と Rackアプリを監視 • SSH, Cron 使用可 • デプロイすると bundle install, assets:precompile などを 自動で行い Rackアプリを再起動する 19
  • 20. Rubyコンテナ • Nginx は port 8000 + n で listen(2) • sshd は port 2000 + n で listen(2) • n は コンテナごとに一意の数値 • network namespace は使用していない • コンテナ内で TCP port の bind(2) を制限するパッチ当てた 20
  • 21. PHPコンテナ • Apache2.4 + php­fpm を動かせるLXC環境 • 5.3, 5.4 系を提供 • supervisord で Apache と php-fpm を監視 • SSH, Cron 使用可 21
  • 22. rootfs • コンテナ用のファイルツリーを rootfs と呼んでいます • 全てのコンテナで mount するディレクトリツリー 22
  • 23. $ sudo yum --releasever=$ver --installroot=/var/rootfs/$role/ groupinstall Base rootfs の構築 • Ruby, PHP それぞれ用の rootfs ( chroot 環境) を作る 1. yum --installroot でベースを作る 2. ruby や chef-solo も入れる 3. chroot して chef-solo でペチペチして構築 ・Nginx とか Apache とか Ruby, PHP をいれてく • 構築時に lxc のテンプレートは使ってない • お手本として何度も参照しました :) 23
  • 24. rootfs • rootfs を lxc-start 起動時に '/' として mount --bind (ro) 更に ユーザ領域 (EBS) を mount --bind • ユーザ領域以外は read only ( errno is EROFS) 24
  • 25. rootfsの共有 • pros: 管理の一元化 ディスクスペースの節約 • cons: 個別カスタマイズの自由度は低い 25
  • 26. コンテナ作成 26
  • 27. コンテナ作成 • lxc-start の設定ファイル作成、起動 • ユーザ領域のディレクトリの作成 • 監視設定の更新 など • Resque + chef-solo app (Rails) Redis https://sqale.jp/projects/new からアプリ作成 Redis に job を enqueue する Resque dequeue enqueue Resque が job を dequeue chef-solo で LXCの設定をセットアップして lxc-start を起動する chef-solo 27
  • 28. UIDの統一 • アプリ実行ユーザは全てのLXCで sqale (uid:1000) で統一 28
  • 29. UIDの統一: プロセス数制限 • Q. uid が統一されている。 プロセス数上限 どうする? setrlimit(2) の RLIMIT_NPROC はシステムワイドで 各コンテナごとに sqaleユーザ(uid:1000) がいる • A. id:mizzy の cgroup form bomb パッチで対応 uid:1000 の RLIMIT_NPROC は上限まであげとく 29
  • 30. UIDの統一 : クォータ • Q. uid が統一されている。 uidベースのディスククォータ使えないけどどうする? • A. XFS のプロジェクトクォータで解決 ディレクトリ単位でクォータを設定可能 /var/sqale/<ユーザ名>/<アプリ名>/<id> 30
  • 31. リソース制限 • Q. コンテナの CPU, メモリのリソース制限は? • A. cgroup.cpuset, cgroup.memory で基本通り • lxc-start の設定ファイルに記述 • 動的に変更する運用は(まだ)していない 31
  • 32. lxc-start の監視 • lxc-start は monit で監視 lxc-start がバグで止まったことは今ん所観測して無い :) • ごく初期に supervisord で監視してたが ... supervisord を停止すると lxc-start が orphaned になって厄介なので monit にした 32
  • 33. ルーティング • コンテナを作って次に考えないといけないこと • ドメイン管理どうする? • HTTP, SSH, Git ( over SSH) でどうアクセスさせる? • ロードバランサやリバースプロキシを介してアクセスさせたい • HTTP Reverse Proxy • SSH Reverse Proxy 33
  • 34. ドメイン管理 • Route53で sqale.jp ドメインを管理 • CNAME を ELB に向けている • • コンテナ作成/破棄のタイミングで Route53 の API を叩く ELB Proxy CNAME: ruby-hiboma.sqale.jp ruby-hiboma.sqale.jp. 0 IN CNAME proxy-lb001-******.ap-northeast-1.elb.amazonaws.com. Route53 HTTP DNS 34
  • 35. HTTPのルーティング • HTTPのリバースプロキシどうしよう • うーん Nginx ? ELB Nginx 35
  • 36. HTTPのルーティング • Q. リバースプロキシ(upstream)設定をどう管理する ? • 都度設定ファイル足す? • コンテナが増える/削除する度に? • 設定のリロード大変そう • プロキシが複数いたら atomic な変更できない • DBとの不整合出たらやだなー ... 心配種は尽きない ELB Nginx 36
  • 37. HTTPのルーティング • Q. リバースプロキシ先をどう設定する ? • いい感じに扱いたい • Nginx に DB, KVS を参照させて解決したい • そこで Lua ですよ ! • ( or ngx_mruby ! ) 37
  • 38. HTTPのルーティング 実装 • OpenResty (aka. ngx_openresty) • 便利モジュールが詰め込まれた Nginx • 継続的にリリースされてて安心++ 38
  • 39. HTTPのルーティング 実装 • Redis, MySQL, memcached と連携できる • Lua で upstream (プロキシ設定) をいじれる 39
  • 40. HTTPの動的ルーティング Redis ELB Nginx + Lua CNAME: ruby-hiboma.sqale.jp Hostヘッダ (CNAME) 内部ホスト ruby-hiboma.sqale.jp users001.sqale.lan:8000 php-sushi.sqale.jp users002.sqale.lan:8100 users001.sqale.lan:8001 Hostヘッダ(CNAME) を Redis に投げて 内部ホストに変換 CNAME を ELB に向けてる (Route53管理) ① ② ③ ④ 40
  • 41. HTTPの動的ルーティング http {   server { listen 8888; server_name localhost;   location / { set $upstream ""; rewrite_by_lua ' local res = ngx.location.capture("/redis") if res.status == ngx.HTTP_OK then ngx.var.upstream = res.body else ngx.exit(ngx.HTTP_FORBIDDEN) end '; proxy_pass http://$upstream; }   # HostヘッダをキーにしてRedisに問い合わせ location /redis { internal; set $redis_key $host; redis_pass 127.0.0.1:6379; default_type text/html; } } location / { set $upstream ""; rewrite_by_lua ' local res = ngx.location.capture("/redis") if res.status == ngx.HTTP_OK then ngx.var.upstream = res.body else ngx.exit(ngx.HTTP_FORBIDDEN) end '; proxy_pass http://$upstream; }   # HostヘッダをキーにしてRedisに問い合わせ location /redis { internal; set $redis_key $host; redis_pass 127.0.0.1:6379; default_type text/html; } 41
  • 42. HTTPのルーティング 実装 42
  • 43. SSH Router の実装 • Q. SSHのリバースプロキシ、どうしよう ... • A. OpenSSH にパッチ • "AuthorizedKeysScript" を追加 • 公開 認証を任意のスクリプトに委譲できる • 公開 をDBで照合 => 接続ユーザと収容コンテナを判別 43
  • 44. SSHのルーティング ELB SSH Router Patched OpenSSH SSH Git SFTP Git Server File server DB (MySQL) 公開 認証 ・ユーザが登録した公開 と照合する ・収容されているコンテナを問い合わせる SSH Git SFTP Git SFTP SSH ① ② ③ ④ 44
  • 45. git push のルーティング ELB SSH Router Patched OpenSSH git push Build Server Git Server DB (MySQL) ... ... ① ② ③ ④ bundle install assets:precompile etc ... git の hook スクリプト でキューにjob追加 git clone rsync Rackアプリの再起動 45
  • 46. 独自ドメインSSL • 1SSLごとにELBを割り当て • SSL証明書をアップロードしてもらいELBにアタッチ Redis ELB Nginx + Lua ELB 独自ドメイン HTTPS +SSL HTTP 46
  • 47. 今日の発表の技術的な詳細 http://slidesha.re/R4Kjjo 47
  • 48. Sqaleで遭遇した カーネルのバグ話 48
  • 49. バグその1 • リリース後に悩まされたバグ • 現象 • 稀にホストダウン • oops メッセージ取れてない • 特定のコンテナが OOM Killer を連発していた • 再現 • コンテナで OOM を連続させることで稀に再現 • EC2インスタンスでのみ再現 • 社内のKVMの開発環境だと再現しない • カーネルのバージョンをいろいろ変えてやっと oops 取れた 49
  • 50. Jun 26 20:14:48 users900 kernel: [71494876.304224] ------------[ cut here ]------------ Jun 26 20:14:48 users900 kernel: [71494876.304225] kernel BUG at drivers/tty/hvc/hvc_xen.c:101! Jun 26 20:14:48 users900 kernel: [71494876.304227] invalid opcode: 0000 [#1] SMP Jun 26 20:14:48 users900 kernel: [71494876.304381] Modules linked in: ipv6 binfmt_misc xfs libcrc32c dm_mirror dm_region_hash dm_log dm_mod crc32c_intel pcspkr microcode ext4 jbd2 mbcache crc16 Jun 26 20:14:48 users900 kernel: [71494876.304384] CPU 0 Jun 26 20:14:48 users900 kernel: [71494876.304384] CPU 0 Jun 26 20:14:48 users900 kernel: [71494876.304385] Pid: 7746, comm: perl Not tainted 3.9.7 #2 Jun 26 20:14:48 users900 kernel: [71494876.304389] RIP: e030:[<ffffffff81285bac>] [<ffffffff81285bac>] domU_write_console +0x13c/0x180 Jun 26 20:14:48 users900 kernel: [71494876.304390] RSP: e02b:ffff8808502f9898 EFLAGS: 00010002 Jun 26 20:14:48 users900 kernel: [71494876.304391] RAX: 00000000004a62c6 RBX: 0000000000000000 RCX: 0000000000000010 Jun 26 20:14:48 users900 kernel: [71494876.304392] RDX: 0000000000000823 RSI: 0000000000000000 RDI: 0000000000000000 Jun 26 20:14:48 users900 kernel: [71494876.304393] RBP: ffff8808502f98e8 R08: ffff8800076fc000 R09: 00000000004a5aa3 Jun 26 20:14:48 users900 kernel: [71494876.304393] R10: 0000000000000000 R11: 00000000000061df R12: 0000000000000010 Jun 26 20:14:48 users900 kernel: [71494876.304394] R13: 0000000000000000 R14: ffff8808502f9910 R15: ffff88085fc09000 Jun 26 20:14:48 users900 kernel: [71494876.304398] FS: 00007fecd7312720(0000) GS:ffff880887000000(0000) knlGS:0000000000000000 Jun 26 20:14:48 users900 kernel: [71494876.304399] CS: e033 DS: 0000 ES: 0000 CR0: 000000008005003b Jun 26 20:14:48 users900 kernel: [71494876.304400] CR2: 00007fecb1e15000 CR3: 000000084edf0000 CR4: 0000000000002660 Jun 26 20:14:48 users900 kernel: [71494876.304400] CR2: 00007fecb1e15000 CR3: 000000084edf0000 CR4: 0000000000002660 Jun 26 20:14:48 users900 kernel: [71494876.304401] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000 Jun 26 20:14:48 users900 kernel: [71494876.304402] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400 Jun 26 20:14:48 users900 kernel: [71494876.304403] Process perl (pid: 7746, threadinfo ffff8808502f8000, task ffff88084f1016d0) Jun 26 20:14:48 users900 kernel: [71494876.304403] Process perl (pid: 7746, threadinfo ffff8808502f8000, task ffff88084f1016d0) Jun 26 20:14:48 users900 kernel: [71494876.304403] Stack: Jun 26 20:14:48 users900 kernel: [71494876.304405] ffff8808502f98e8 ffff8808502f98a8 0000000000000007 000000020000000a Jun 26 20:14:48 users900 kernel: [71494876.304406] 000000000442ecdc 0000000000000010 000000000000003c 0000000000000020 Jun 26 20:14:48 users900 kernel: [71494876.304407] 0000000000000000 ffffffff817cd1e0 ffff8808502f9958 ffffffff8128437c Jun 26 20:14:48 users900 kernel: [71494876.304408] Call Trace: Jun 26 20:14:48 users900 kernel: [71494876.304410] [<ffffffff8128437c>] hvc_console_print+0xdc/0x130 Jun 26 20:14:48 users900 kernel: [71494876.304414] [<ffffffff81044683>] call_console_drivers.constprop.10+0x93/0xb0 Jun 26 20:14:48 users900 kernel: [71494876.304416] [<ffffffff8104548d>] console_unlock+0x1fd/0x3e0 Jun 26 20:14:48 users900 kernel: [71494876.304416] [<ffffffff8104548d>] console_unlock+0x1fd/0x3e0 Jun 26 20:14:48 users900 kernel: [71494876.304418] [<ffffffff81045ad5>] vprintk_emit+0x245/0x480 Jun 26 20:14:48 users900 kernel: [71494876.304420] [<ffffffff810da519>] ? find_lock_task_mm+0x29/0x70 Jun 26 20:14:48 users900 kernel: [71494876.304422] [<ffffffff813bae75>] printk+0x5c/0x5e Jun 26 20:14:48 users900 kernel: [71494876.304423] [<ffffffff813bbd78>] dump_header+0x18d/0x1ce Jun 26 20:14:48 users900 kernel: [71494876.304425] [<ffffffff810da906>] oom_kill_process+0x1b6/0x320 Jun 26 20:14:48 users900 kernel: [71494876.304427] [<ffffffff8111eeb1>] ? mem_cgroup_iter+0x1a1/0x1f0 Jun 26 20:14:48 users900 kernel: [71494876.304429] [<ffffffff8104e630>] ? has_ns_capability_noaudit+0x10/0x20 Jun 26 20:14:48 users900 kernel: [71494876.304430] [<ffffffff811216b6>] __mem_cgroup_try_charge+0xb16/0xb40 Jun 26 20:14:48 users900 kernel: [71494876.304432] [<ffffffff81121c40>] ? mem_cgroup_charge_common+0x60/0x60 Jun 26 20:14:48 users900 kernel: [71494876.304434] [<ffffffff81121c12>] mem_cgroup_charge_common+0x32/0x60 Jun 26 20:14:48 users900 kernel: [71494876.304435] [<ffffffff81123372>] mem_cgroup_newpage_charge+0x22/0x30 Jun 26 20:14:48 users900 kernel: [71494876.304437] [<ffffffff810f8124>] handle_pte_fault+0x6c4/0xa10 Jun 26 20:14:48 users900 kernel: [71494876.304439] [<ffffffff81007373>] ? pte_mfn_to_pfn+0x93/0x110 Jun 26 20:14:48 users900 kernel: [71494876.304440] [<ffffffff81004859>] ? __raw_callee_save_xen_pmd_val+0x11/0x1e 50
  • 51. バグその1 • Xenのttyドライバ?のバグぽい • workaround • klogctl(2) で コンソールへの printk を無効にすることで回避 • OOMを連発させる負荷テスト必須 /* 6 -- コンソールへの printk を無効にする */ klogctl(6, NULL, 0); 51
  • 52. バグその2 52
  • 53. バグその2 53
  • 54. バグその2 54
  • 55. 終わり 55

×