Rails on GKEで運用するWebアプリケーションの紹介

2. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 自己紹介 • 自己紹介 2  2008年 DeNA入社  2010年エンジニアになる  2011年 DeNA退社 -> 福岡へ  2013年 DeNAに出戻り  2016年ゲーム事業本部  2017年コマース&インキュベーション事業本部 GitHub https://github.com/SpringMT Twitter https://twitter.com/Spring_MT @Spring_MT

9. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Dockerを使ったイメージベースの成果物管理コードベースを同じに • イメージを作成したら変えない • ビルドは一回 • ddとか使ってバイナリをいじるようなことはしない • 起動時にコードを追加するなどもしない • 検証環境・本番環境でも動くようなイメージの構成にする • なにも手を加えずに検証環境から本番環境にイメージを移行させる 9

10. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 検証環境と本番環境でGCPのプロジェクトをわけるコードベースを同じに • 検証環境と本番環境を完全に分離する • 検証環境はQA専任チームなど別チームも閲覧・操作する • 本番環境は開発者のみ • この2つを行き来できるのはDockerのイメージのみアプリケーションのデータ運用(マスターデータ・アセット)は最初から考えておく 10

11. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Dockerのイメージの構成コードベースを同じに • 3種類のイメージにわけて作成 • 設定ファイルなどは全てのイメージに含まれる 11 ├ api ├ DB_Schema ├ 管理ツール ├ config(subtree) ├ shared API DB Schema 管理ツール ├ api ├ config(subtree) ├ shared ├ DB Schema ├ config(subtree) ├ shared ├ 管理ツール ├ config(subtree) ├ shared

14. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 社内リソースとの連携コードベースを同じに Container Builderを使うための調整 • GitHub:Enterprise、CircleCI Enterprise、社内rubygemsがある • Container BuilderはGH:EにはアクセスできないのでGoogle Source Repositoryを経由する • 社内rubygemsは利用しない(社内gemは使わない) • 使う場合はレポジトリに直接subtree等で取り込むことを想定 14

15. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 15 Dockerのイメージ作成フローコードベースを同じにテストが通ったブランチは全部イメージを作る Developers Cloud Source Repositories Container Registry Container Builder HookPush テスト実行 Push DeNA

16. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Dockerのイメージ作成コードベースを同じに CircleCIからSource Repositoryへpush 16 deploy: machine: enabled: true steps: - checkout - run: command: echo "${LIVE_SB_NETRC}" > ~/.netrc - run: command: git remote add google https://source.developers.google.com/p/sample/r/server - run: command: git push google "${CIRCLE_BRANCH}"

20. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Rails コードベースを同じに 20 ENV RAILS_ENV production # Use EntryKit ENTRYPOINT [ "prehook", "ruby -v", "--", "prehook", "bundle exec ruby shared/scripts/setup.rb", "--", "switch", "shell=/bin/sh", "rails_c=bundle exec rails c", "rails_db=bundle exec rails db", "rails_s=bundle exec rails s -b 0.0.0.0", "--", "bundle", "exec", "unicorn_rails", "-c", "config/unicorn/production.rb" ]

21. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Rails コードベースを同じにサーバーの設定 config用のレポジトリを用意し、subtreeで取り込み Logは標準出力に stackdriver loggingで回収 -> exportして各処理へパフォーマンス測定本番環境はstackdriver trace 検証環境はstackdriver traceに加えてstackprofでも確認する 21

25. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. kubernetesの管理構成を同じに設定はyamlで管理 • 規模感的にまだHemlとかを導入するほどでもない • kustomizeは検討中 • Service + HPA + Deploymentで一つのyamlにまとめている • 環境ごとの差分はなるべく少なく • replicasの数くらいが差分になっている 25

26. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. kubernetesの構成構成を同じに ConfigMapとSecret • 環境変数(ConfigMap、Secret)とアプリ内でもつ設定の分離 • 秘密情報は全てSecretを使って環境変数経由で受け渡す • アプリケーションの設定情報はコードに含め環境変数で受け渡すことは基本的にしない • unicornのworker数などこまめに調整する数値のみ環境変数で管理 26

27. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. kubernetesの構成構成を同じに Service、HPA、Deployment • API、管理ツール等ではreplicas以外の差はない • HPAの設定、deploymentのProbeの設定を忘れずに • graceful shutdownとスケーリングをちゃんと設定しておく • 負荷試験時にイメージの更新を挟むことで確認 27

30. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. GKEの設定構成を同じに本番環境ではマスター承認済みのネットワークを設定 • 社内のgatewayサーバーからのみアクセスできる deployサーバー(GCE)を用意してそこからのみkubectlが打てる • gatewayサーバーにはttyrecが仕込んであり監査用にログが残してある • 検証環境はローカルマシンからkubectlを打てる 30

31. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. GKEの設定構成を同じに限定公開クラスタは無効 • CloudSQLがプライベートGoogleアクセスに対応していない • https://cloud.google.com/vpc/docs/private-google-access • アプリケーションからは結局Cloud SQL Proxy経由でアクセス 31

38. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ハマったこと構成を同じに CronJob • sidecarがあるとsidecarが終わらない問題 • v1.10.5未満だと失敗したjobが延々とリトライし続ける問題があった(解消済) graceful shutdownできていない • CloudSQL ProxyのpreStopの設定 38

Rails on GKEで運用するWebアプリケーションの紹介

You are reading a preview.

Check these out next

Rails on GKEで運用するWebアプリケーションの紹介

More Related Content

Slideshows for you (20)

Similar to Rails on GKEで運用するWebアプリケーションの紹介 (20)

More from Makoto Haruyama (11)

Recently uploaded (20)