Practical approach for designing and deploying Kubernetes cluster on commodity hardware. Caveats with high availability, networking and storage on bare metal clusters.

1. Designing bare metal
Kubernetes clusters
April 2018

2. • Email: Vasyl_Samoilov@epam.com
• GitHub: VasylSamoilov
VASYL SAMOILOV
Lead DevOps engineer, Cloud Unit
2

3. AGENDA
3

4. Agenda
• Kubernetes и bare metal
• Typhoon (CoreOS, Matchbox, Terraform)
• Планирование, развертывание и
масштабирование
• Хранение данных и доступ к сервисам
• Демо
4

5. KUBERNETES И BARE METAL
5

6. Kubernetes и bare metal
• Что такое Kubernets?
• Hyper-converged infrastructure
• On-Premise Private Cloud
• Hybrid cloud
6

7. Kubernetes и bare metal
Benefits:
• Все преимущества облачных решений
• Любая аппаратная конфигурация
• Поддержка нескольких архитектур
• Меньше сетевые задержки
• Защита данных
• Нет гипервизора VM
• Улучшенная производительность
• Меньше накладные расходы
Challenges:
• Cluster lifecycle management
• Развертывание
• Масштабирование
• Отказустойчивость
• Disaster recovery
• Официальная документация содержит более 40
способов установки Kubernetes
https://kubernetes.io/docs/setup/pick-right-solution/
7

8. TYPHOON
8

9. Typhoon
• Container Linux by CoreOS
• CoreOS Matchbox
• Bootkube
• Минимальный и стабильный дистрибутив
• Декларативное описание инфрастуктуры
• $ terraform apply
https://typhoon.psdn.io/bare-metal/
9

10. ПЛАНИРОВАНИЕ, РАЗВЕРТЫВАНИЕ И
МАСШТАБИРОВАНИЕ
10

11. Планирование
• К Л АС Т Е Р E T C D
11
• Ограничения по сетевым задержкам
• Ограничения по I/O latency
• Cluster runtime (re)configuration
• Восстановление после сбоя
• Контроль доступа
• Masters, workers и сетевая топология
• Подготовка инфраструктуры
• IPMI
• IP адреса, подсети
• DHCP и PXE
• DNS записи
• Control machine
• Хранилище секретов
• Управление и инструменты
https://stripe.com/blog/operating-kubernetes
Learning to operate Kubernetes reliably

12. Подготовка инфраструктуры
12

13. Подготовка инфраструктуры
13

14. Конфигурация кластера
• Terraform
• Модуль terraform-provider-matchbox от Typhoon
• использует kubernetes-incubator/bootkube для
генерации необходимых элементов конфигурации
• Matchbox - рендеринг темплейтов для iPXE и CoreOS Ignition
• удаленное управление тепмлейтами по gRPC
• Вся необходимая конфигурация по ссылке
• Достаточно создать terraform.tfvars
• IaaC
14
https://github.com/coreos/matchbox/tree/master/examples/terraform/bootkube-install

15. Развертывание
• $ cd ~/infra/clusters
• $ terraform init
• $ terraform plan
• $ terraform apply
#!/bin/bash
ipmitool -H ipmi.node1 -U demo -P pass -I lanplus chassis bootdev pxe
ipmitool -H ipmi.node1 -U demo -P pass -I lanplus power cycle
…
• terrafrom apply complete
• cp ~/.secrets/clusters/k8sdemo/auth/kubeconfig ~/.kube/config
• kubectl get pods --all-namespaces
15

16. Масштабирование
• IP, DNS, terraform.tfvars
• $ terraform apply
• $ ipmitool

17. High availability
• Etcd proxy
• Lease endpoint reconciler
• Node problem detector
• Cluster persistent storage
• Networking
https://kubernetes.io/docs/admin/high-availability/building/

18. ХРАНЕНИЕ ДАННЫХ И ДОСТУП К
СЕРВИСАМ
18

19. Хранение данных
• PV, PVC
• Stateless?
• SDS
• Встроенные плагины
• CSI и FlexVolume
• Готовые решения
• Ceph (rook)
• GlusterFS (heketi)
• …..
https://kubernetes.io/docs/concepts/storage/volumes/
helm install --namespace rook-system --name rook rook-alpha/rook --set
"agent.flexVolumeDirPath=/var/lib/kubelet/volumeplugins"
https://github.com/rook/rook

20. Доступ к сервисам
• Что такое сервис?
• NodePort
• LoadBalancer
• MetalLB
• Балансировка и управление потоками трафика
• Стандартные протоколы маршрутизации
• Интеграция с существующую сетевую инфраструктуру
https://github.com/google/metallb

21. 21
Део
Demo

22. THANK YOU!
22