Downloaded 23 times
![[Docker Tokyo #35] Docker 20.10](https://cdn.slidesharecdn.com/ss_thumbnails/dockertokyo35-210527234040-thumbnail.jpg?width=640&height=640&fit=bounds)
On-Premise Kubernetes on Rancher
- 1.
- 2. 自己紹介 金屋 泰士 UZABASE, IncSRE Team SPEEDAのインフラエンジニア（主にサーバ／ミドル） オンプレミス環境の経験が長い 2007年04月～ NAVITIME JAPANにて、基盤運用部サーバチーム所属 2011年10月～ Chip1Stop(半導体ECサイト）にて、インフラ全般担当 2014年04月～ UZABASEにJoin ・k8s環境、ElasitcSearch環境、Xen仮想基盤、ハード監視、ストレージ等を構築
- 3. Table of Contents 1.Backgrounds 2. Why Rancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation
- 4. Table of Contents 1.Backgrounds 2. Why Rancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation
- 5. Backgrounds • SPEEDAはオンプレミス環境で稼働 • 巨大でモノリシックなアプリケーション •開発者はマイクロサービスを推進したい • 開発者はコンテナ化を推進したい • 開発者はk8sを使いたい
- 6. Backgrounds • SPEEDAはオンプレミス環境で稼働 • 巨大でモノリシックなアプリケーション •開発者はマイクロサービスを推進したい • 開発者はコンテナ化を推進したい • 開発者はk8sを使いたい アジャイルで 高速に開発したい！
- 7.
- 8.
- 9.
- 10. 今回のスコープ kubernetes on Rancher DevOpswith k8s モニタリング Rancher環境
- 11. Table of Contents 1.Backgrounds 2. Why Rancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation
- 12. Why Rancher Rancherを導入するに至った経緯 ┗ 開発環境でdockerを導入した ┗コンテナ乱立で管理が困難 ┗ 統合管理プラットフォームが必要
- 13. Dev with Docker 開発環境でdockerを使い たい dockerengineを起動した サーバを複数準備
- 14. Dev with Docker 開発環境でdockerを使い たい dockerengineを起動した サーバを複数準備 コンテナの乱立 ・どこで何が動いているか 分からない ・クラスタ化されてないから リソース増強しづらい ・どこで何が動いているか 分からない ・スケールが困難
- 15. Dev with Docker 開発環境でdockerを使い たい dockerengineを起動した サーバを複数準備 コンテナの乱立 ・どこで何が動いているか 分からない ・クラスタ化されてないから リソース増強しづらい ・どこで何が動いているか 分からない ・スケールが困難 統合管理したい使い易い環境が良い
- 16. Dev with Docker 開発環境でdockerを使い たい dockerengineを起動した サーバを複数準備 コンテナの乱立 ・どこで何が動いているか 分からない ・クラスタ化されてないから リソース増強しづらい ・どこで何が動いているか 分からない ・スケールが困難 使い易い環境が良い 統合管理したい
- 17. Table of Contents 1.Backgrounds 2. Why Rancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation
- 18.
- 19. RancherOSの特徴 ・軽量で新しいLinux/Docker ・各環境で稼働 Cloud,VM,BareMetal ・cloud-config.yml で一括設定可能 ・Dockeron Dockerで分離・モジュール化 ・コマンドが軽量OSでは充実(defaultで)
- 20. 軽量で新しいLinux/Docker ・随時追従(Stable) 2018/03時点 ・Docker 17.09.1-ce⇔ 17.12.1-ce(本家) ・Linux 4.9.78 ⇔ 4.9.87(本家LTS) ・ISOファイルは70MB ・インストール後は300MB程度
- 21.
- 22.
- 23. Docker on Dockerで分離・モジュール化 ホスト （仮想or 物理マシン） SYSTEM DOCKER 下記を提供 ・デバイス ・コンソール ・ネットワーク ・基本サービス (NTP,DNS等） USER DOCKER Docker Engineに相当 ユーザのコンテナを稼 働させる
- 24. Docker on Dockerで分離・モジュール化 ・OS/dockerやConsoleを簡単に切替可能 利用可能なdocker #ros engine list disabled docker-1.12.6 disabled docker-1.13.1 disabled docker-17.03.1-ce current docker-17.03.2-ce disabled docker-17.09.1-ce 切替え # ros engine switch docker-17.09.1-ce 利用可能なconsole # ros console list disabled alpine disabled centos disabled debian current default disabled fedora disabled ubuntu 切替え # ros console switch centos 利用可能なOSバージョン # ros os list rancher/os:v1.2.0 remote latest rancher/os:v1.1.4 remote available rancher/os:v1.1.3 local available running rancher/os:v1.1.2 remote available 切替え（バージョンアップ） # ros os upgrade -i rancher/os:v1.2.0
- 25. コマンドが軽量OSでは充実(default console) ・telnet netstattraceroute wget tftp ・less tr jq envsubst ・bash getopt expr basename dirname ・lsof lspci mount rsync
- 26.
- 27. Rancherクラスタの構成 rancher/server rancher/server rancher/server cattle外部DB 外部バランサ https://rancherXX.uzabase.com RancherAgent rancher/agent rancher/agent rancher/agent Rancher Server ホスト 管理 ・管理GUIを提供 ・管理情報（ユーザ、ホスト、レジ ストリ、etc...） ・複数台サーバでクラスタ化 ・外部DBで管理情報を永続化 ・コンテナ稼働環境 ・Environmentで定義した（オーケ ストレーション、ユーザ） ・必要に応じてホスト追加 Environment（ホスト、ユーザ、オーケストレーション）
- 28.
- 29. Rancherクラスタの構成 rancher/server rancher/server rancher/server cattle外部DB 外部バランサ https://rancherXX.uzabase.com RancherAgent rancher/agent rancher/agent rancher/agent Rancher Server ・管理GUIを提供 ・管理情報（ユーザ、ホスト、レジ ストリ、etc...） ・複数台サーバでクラスタ化 ・外部DBで管理情報を永続化 ・コンテナ稼働環境 ・Environmentで定義した（オーケ ストレーション、ユーザ） ・必要に応じてホスト追加 Environment（ホスト、ユーザ、オーケストレーション） ホスト 管理
- 30. クラスタ／HA構成 ・外部DB起動（MySQL） ・複数RancherServerを起動（外部DB接続） ・外部バランサに追加 docker run -d--restart=unless-stopped -p 8080:8080 rancher/server --db-host myhost --db-port 3306 --db-user username --db-pass password --db-name cattle
- 31. Rancherクラスタの構成 rancher/server rancher/server rancher/server cattle外部DB 外部バランサ https://rancherXX.uzabase.com RancherAgent rancher/agent rancher/agent rancher/agent Rancher Server ・管理GUIを提供 ・管理情報（ユーザ、ホスト、レジ ストリ、etc...） ・複数台サーバでクラスタ化 ・外部DBで管理情報を永続化 ・コンテナ稼働環境 ・Environmentで定義した（オーケ ストレーション、ユーザ） ・必要に応じてホスト追加 Environment（ホスト、ユーザ、オーケストレーション） ホスト 管理
- 32.
- 35.
- 36. Rancherクラスタの構成 rancher/server rancher/server rancher/server cattle外部DB 外部バランサ https://rancherXX.uzabase.com RancherAgent rancher/agent rancher/agent rancher/agent Rancher Server Environment（ホスト、ユーザ、オーケストレーション） インフラストラクチャースタック ネットワーク／CNI(Container Networking Interface)、Rancher内部DNS マルチホストでのDockerネットワークをサポート ユーザースタック ユーザーが作成したアプリケーション ホスト 管理
- 37.
- 39. 権限のタイプ ユーザ タイプ できること ユーザA管理者 管理操作（ユーザ追加、アクセス権操作）含む全て ユーザB ユーザ 自分が所属するEnvironmentの情報を表示 Environmentタイプ できること Owner 管理操作（マッピング管理）含む全て member Environment操作以外の全て restiricted 所属するEnvironment内のコンテナ操作 read only 所属するEnvironmentの情報表示のみ
- 40. 管理者の例（フル権限） ユーザ タイプ できること ユーザA管理者 管理操作（ユーザ追加、アクセス権操作）含む全て ユーザB ユーザ 自分が所属するEnvironmentの情報を表示 Environmentタイプ できること Owner 管理操作（マッピング管理）含む全て member Environment操作以外の全て restiricted 所属するEnvironment内のコンテナ操作 read only 所属するEnvironmentの情報表示のみ
- 41. デプロイ用の例（CIから利用） ユーザ タイプ できること ユーザA管理者 管理操作（ユーザ追加、アクセス権操作）含む全て ユーザB ユーザ 自分が所属するEnvironmentの情報を表示 Environmentタイプ できること Owner 管理操作（マッピング管理）含む全て member Environment操作以外の全て restiricted 所属するEnvironment内のコンテナ操作 read only 所属するEnvironmentの情報表示のみ
- 42. 参照用の例（監視ツール等） ユーザ タイプ できること ユーザA管理者 管理操作（ユーザ追加、アクセス権操作）含む全て ユーザB ユーザ 自分が所属するEnvironmentの情報を表示 Environmentタイプ できること Owner 管理操作（マッピング管理）含む全て member Environment操作以外の全て restiricted 所属するEnvironment内のコンテナ操作 read only 所属するEnvironmentの情報表示のみ
- 43.
- 44. Rancherクラスタの構成 rancher/server rancher/server rancher/server cattle外部DB 外部バランサ https://rancherXX.uzabase.com RancherAgent rancher/agent rancher/agent rancher/agent Rancher Server ・複数台サーバでクラスタ化 ・外部DBで管理情報を永続化 ・管理GUIを提供 ・管理情報（ユーザ、ホスト、レジ ストリ、etc...） ・ユーザコンテナを稼働させるリ ソースを、定義したEnvironmentで 提供 ・必要に応じてホスト追加 Environment（ホスト、ユーザ、オーケストレーション） ホスト 管理
- 45.
- 46.
- 47.
- 48.
- 49. Table of Contents 1.Backgrounds 2. Why Rancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation
- 50. k8s on Rancher •前述のEnvironmentで説明した通り、Rancherがオーケス トレーションの１つとしてkubernetesを標準でサポートして いる （Version1.8.5@2018/03時点）
- 51.
- 53. k8s on Rancherクラスタ RancherAgent rancher/agent rancher/agent rancher/agent Environment（ホスト、ユーザ、オーケストレーション） インフラストラクチャースタック ネットワーク／CNI(Container Networking Interface)、Rancher内部DNS インフラストラクチャースタック kubernetes（etcd、kubelet、master、proxy、kubectld、dashboard） インフラストラクチャースタック kubernetes-ingress（namespace毎のingress or service） k8s外部のシステム
- 54.
- 55.
- 56.
- 57.
- 59.
- 60. k8s on Rancherクラスタ RancherAgent rancher/agent rancher/agent rancher/agent Environment（ホスト、ユーザ、オーケストレーション） インフラストラクチャースタック ネットワーク／CNI(Container Networking Interface)、Rancher内部DNS インフラストラクチャースタック kubernetes（etcd、kubelet、master、proxy、kubectld、dashboard） インフラストラクチャースタック kubernetes-ingress（namespace毎のingress or service） k8s外部のシステム
- 61. Ingress of k8son Rancher ・k8s外からアクセスするためにIngressでホストにポートを リッスンさせる ・デフォルトでは80番ポートのため、ポートを変更する必要が ある ・実体としては、Rancher側でhaproxyが起動して連携してい る
- 62.
- 63. k8s rancher rancher Pod:5000 backend rancher agent /network Node01（10.XX.XX.100）IP (haproxy) Ingress:30080 Pod:8080 front NameSpace FuncA (haproxy) Ingress:40080 NameSpace FuncB rancher agent / network Node02（10.XX.XX.200） k8s外部LoadBalancer Service:8080 front-svc Service:5000 backend-svc (haproxy) Ingress:30080 NameSpace FuncA (haproxy) Ingress:40080 NameSpace FuncB k8sスタック(kubelet、etcd、kube-api、ingress-controller等） Pod:5000 backend Pod:8080 front Service:8000 front-svc Service:4000 backend-svc Pod:5000 backend Pod:8080 front Service:8080 front-svc Service:5000 backend-svc Pod:5000 backend Pod:8080 front Service:8000 front-svc Service:4000 backend-svc Ingress (haproxy) 経由で k8s外部から アクセス ポート変更 NameSpace で分離
- 64. k8s rancher rancher Pod:5000 backend rancher agent /network Node01（10.XX.XX.100）IP (haproxy) Ingress:30080 Pod:8080 front NameSpace FuncA (haproxy) Ingress:40080 NameSpace FuncB rancher agent / network Node02（10.XX.XX.200） k8s外部LoadBalancer Service:8080 front-svc Service:5000 backend-svc (haproxy) Ingress:30080 NameSpace FuncA (haproxy) Ingress:40080 NameSpace FuncB k8sスタック(kubelet、etcd、kube-api、ingress-controller等） Pod:5000 backend Pod:8080 front Service:8000 front-svc Service:4000 backend-svc Pod:5000 backend Pod:8080 front Service:8080 front-svc Service:5000 backend-svc Pod:5000 backend Pod:8080 front Service:8000 front-svc Service:4000 backend-svc kind: Ingress metadata: name: FuncA-ingress namespace: FuncA annotations: io.rancher.scheduler.global: “true” #全NodeでIngress起動 http.port: “30080” # 変更するポート spec: rules: - http: paths: - path: /web backend: serviceName: front-svc servicePort: 8080 - path: /v2/api backend: serviceName: backend-svc servicePort: 5000
- 65.
- 66. Table of Contents 1.Backgrounds 2. Why Rancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation
- 67.
- 68.
- 69.
- 70. k8s rancher rancher Pod:5000 backend rancher agent /network Node01（10.XX.XX.100）IP (haproxy) Ingress:30080 Pod:8080 front NameSpace Blue (haproxy) Ingress:40080 NameSpace Green rancher agent / network Node02（10.XX.XX.200） k8s外部LoadBalancer Service:8080 front-svc Service:5000 backend-svc (haproxy) Ingress:30080 NameSpace Blue (haproxy) Ingress:40080 NameSpace Green k8sスタック(kubelet、etcd、kube-api、ingress-controller等） Pod:5000 backend Pod:8080 front Service:8000 front-svc Service:4000 backend-svc Pod:5000 backend Pod:8080 front Service:8080 front-svc Service:5000 backend-svc Pod:5000 backend Pod:8080 front Service:8000 front-svc Service:4000 backend-svc バランサで Blue/Greenの Ingressに 切り替え NameSpace で分離
- 71.
- 72. プロキシが多い 構成上プロキシが多段になるため、トラブルシュート時の切り分けに注意 （例）Timeout設定を延ばしたが切断される 外部LB Ingress Kong App 300sec 300sec60sec 200sec timeout 504 Gateway Timeout
- 73.
- 74.
- 75. apiVersion: extensions/v1beta1 kind: Deployment metadata: name:hoge namespace: ${NAMESPACE} spec: replicas: 1 template: metadata: labels: name: hoge spec: containers: - name: hoge image: docker-registry.uzabase.com/hoge ports: - containerPort: 5555 テンプレート 生成スクリプト（抜粋） configuration=".template.yml" # テンプレートから envsubst で環境変数を置き換えて、設定生成 cat ${template} | envsubst > "${configuration}" # 既存設定を削除 kubectl delete -f "${configuration}" || true # 設定反映 kubectl create -f "${configuration}" # 生成した設定を削除 rm -f "${configuration}" 設定をカスタマイズしつつ、 k8sの不要設定や不要ファイルを残さない
- 76. 1. Backgrounds 2. WhyRancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation Table of Contents
- 77.
- 78.
- 79. Prometheus Monitoring構成 k8s cluster Apppods node node node App pods App pods Node Exporter federation datasource PrometheusAlertmanager $ kubectl describe deployment prometheus --namespace=metrics Args: --config.file=/mnt/etc/prometheus.yml --storage.tsdb.retention=24h --web.external-url=$(EXTERNAL_URL)/prometheus
- 80. Alert example groups: - name:mem-usage.rules rules: - alert: NodeMemoryUsage expr: ( ( ( node_memory_MemTotal - node_memory_MemFree - node_memory_Cached ) / ( node_memory_MemTotal ) * 100)) > 85 for: 2m labels: severity: page annotations: DESCRIPTION: '{{$labels.instance}}: Memory usage is above 85% (current value is: {{ $value }})' SUMMARY: '{{$labels.instance}}: High memory usage detected' mem-usage.rules.yml
- 83. Table of Contents 1.Backgrounds 2. Why Rancher 3. What’s Rancher 4. k8s on Rancher 5. DevOps with k8s 6. Monitoring k8s 7. Next Generation
- 84.
- 85.
- 86.
- 87. k8s on Rancherの導入効果（Dev） リリース回数10倍！ 1回/週→ 10回/週（Blue/Greenデプロイ） 開発効率200%UP！ フルセットe2eテスト環境が簡単にデプロイできる ・データソース(DB,ES,FileServer） ・従来のAPサーバ（モノリシックな部分） ・自動テスト環境(Gauge) ・外部サービスのダミーサーバ（API、FTP、Mail等）
- 88.
- 89.