Мой доклад о безопасности в Docker и Kubernetes, о построении безопасного и защищенного Kubernetes-окружения, безопасных приложений и DevSecOps/SDLC с использованием Kubernetes. В нем я также рассказываю какие факторы безопасности мы учитываем в Mail.Ru Cloud Solutions

2. ПРОБЛЕМА
Недавно была
опубликована очень
серьезная уязвимость
CVE-2018-1002105
2
Кластер Tesla на AWS
был взломан майнерами

3. 1
УРОВНИ БЕЗОПАСНОСТИ KUBERNETES
Docker
image

4. 1
2
УРОВНИ БЕЗОПАСНОСТИ KUBERNETES
Container
runtimeDocker
image

5. 1
2
3
УРОВНИ БЕЗОПАСНОСТИ KUBERNETES
Host
Container
runtimeDocker
image

6. 1
2
3
4
УРОВНИ БЕЗОПАСНОСТИ KUBERNETES
Network
Host
Container
runtimeDocker
image

7. 1
2
3
4
5
УРОВНИ БЕЗОПАСНОСТИ KUBERNETES
K8S
Network
Host
Container
runtimeDocker
image

8. 1
2
3
4
5
6
Application
УРОВНИ БЕЗОПАСНОСТИ KUBERNETES
K8S
Network
Host
Container
runtimeDocker
image

9. Docker Image Security

10. 10
1. Не записывайте secrets в Docker-файлы
2. Не используйте root
3. Всегда создавайте пользователя
4. Используйте gosu вместо sudo
5. Используйте COPY вместо ADD
6. Всегда фиксируйте версию для базовых
images, пакетов, и т. д.
7. Безопасно скачивайте пакеты (checksum)
8. Удаляйте зависимости после сборки
9. Убедитесь, что images не содержат
известных уязвимостей
9 ЗАПОВЕДЕЙ
ДОКЕРОВОДА

11. Сканирование
исходного кода
1. InfoWatch Uppercut
2. Snyk
БЕЗОПАСНОСТЬ ИСХОДНЫХ КОДОВ
11
Сканирование
Docker Images
1. Docker Security Scanning
2. CoreOS Clair
3. Anchore
4. JFrog Xray
5. Aqua MicroScanner

12. DOCKER SECURITY SCANNING ARCHITECTURE
12

13. 13
• Сканируют Docker layers на наличие
уязвимостей в базе CVE
• Сканирование бинарников всех
компонентов Docker
• Сканирование статически линкованных
зависимостей
• Генерирование отчетов о наличии
уязвимостей
ЧТО ДЕЛАЮТ
СТАТИЧЕСКИЕ
СКАНЕРЫ
DOCKER IMAGES

14. ЧТО С ЭТИМ ДЕЛАТЬ
ДАЛЬШЕ?
1. Подписать Docker Image после
успешной проверки (Docker
Notary)
2. Запретить pull неподписанных
Images из Registry (Harbor)
3. Запретить деплой подов из
неподписанных Images в K8S
14

15. DEV SEC OPS В KUBERNETES
15

16. DEV SEC OPS В KUBERNETES
16

17. DEV SEC OPS В KUBERNETES
17

18. DEV SEC OPS В KUBERNETES
18

19. DEV SEC OPS В KUBERNETES
19

20. DEV SEC OPS В KUBERNETES
20

21. DEV SEC OPS В KUBERNETES
21

22. DEV SEC OPS В KUBERNETES
22

23. DEV SEC OPS В KUBERNETES
23

24. КАК ЭТО РАБОТАЕТ В KUBERNETES?
24

25. КАК ЭТО СДЕЛАТЬ
В KUBERNETES?
Anchore Engine
с помощью
ImagePolicyWebhook
25

26. 26
КАК ЭТО СДЕЛАТЬ
В KUBERNETES?

27. Portieris + Notary
с помощью
Mutating Admission
Webhook
27
КАК ЭТО СДЕЛАТЬ
В KUBERNETES?

28. Host Level Security

29. Readonly root file system
Доступна в Container-optimized OS:
- CoreOS
- Google Container Optimized OS
- Fedora Atomic Host
БЕЗОПАСНОСТЬ ХОСТ-МАШИНЫ
29
Hardened Operating
System
Нужно помнить,
как она обновляется
при обновлении K8S

30. FEDORA
ATOMIC HOST
30
Immutable
Infrastructure
● rpm-ostree
● Любое обновление ОС = новая
версия ОС, как в Git
● В любой момент можно сделать
полный транзакционный откат
конфигурации

31. Private clusters
(no public ip)
KUBERNETES HOST LEVEL SECURITY
Bastion nodes
31

32. Container Runtime Security

33. CONTAINER
RUNTIME SECURITY
Как защититься от 0-day
уязвимостей?
1. Создать среду, в которой
все ограничено
2. Все, что выходит за рамки
дозволенного, будет
вызывать alarm
администратору
либо блокировку
33

34. KUBERNETES POD SECURITY POLICIES
34

35. PODSECURITYPOLIC
Y
ADMISSION
CONTROLLER
35
• Простой sandboxing: seccomp
• Sandboxing с политиками:
seccomp-bpf
• Mandatory access control:
SELinux, AppArmor

36. SYSDIG FALCO
ПОВЕДЕНЧЕСКИЙ
МОНИТОРИНГ
36
WHITE-LIST ДЕЙСТВИЙ
• Какие процессы/команды могут быть запущены
в Docker-контейнере
• Какие процессы могут устанавливать исходящие
соединения или принимать входящие
• Какие порты могут слушаться
• В какие файлы и папки можно писать
• Какие вызовы ядра Linux могут выполняться

37. 1. Запуск shell в контейнере
2. Контейнер монтирует чувствительный
путь (/proc с хост-машины)
3. Порождается неожиданный процесс
4. Неожидаемое чтение файлов вида
/etc/shadow
5. Не device-файл записан в /dev
6. Стандартный системный бинарник (ls)
устанавливает исходящее сетевое
соединение
1. Syslog
2. File
3. Shell
■ mail -s ”We are under attack”
alerts@mail.ru
■ Telegram webhook
■ Slack webhook
37
ЧТО МОЖНО ОТЛОВИТЬ КАК РЕАГИРОВАТЬ

38. ДОСТАТОЧНО ВЫСОКОУРОВНЕВЫЙ ЯЗЫК ПРАВИЛ
38

39. АВТОМАТИЗИРУЙ ЭТО: FALCO, NATS И KUBELESS
39
https://github.com/sysdiglabs/falco-nats

40. Network Security

41. ПРОБЛЕМЫ
СЕТЕВОЙ
БЕЗОПАСНОСТИ
В KUBERNETES
1. По умолчанию весь трафик
между подами разрешен
2. Внутренние адреса подов
постоянно меняются
3. Трафик не шифрован
41

42. DYNAMIC NETWORK POLICIES
42

43. NETWORK PLUGINS MATRIX
43
Plugin name Layers
Ingress Network
Policy
Egress
networking
policy
Encryption
supported
Flannel L2 (VXLAN) No No No
Calico L3 (IPinIP, BGP) Yes Yes No
Weave L2 (VXLAN) Yes No Yes

44. Service Mesh!
1. (Все еще) очень сложно
2. (Все еще) не всегда
стабильно
44
МИКРОМЕНЕДЖМЕНТ
СЕТЕВОЙ БЕЗОПАСНОСТИ НО

45. IP white lists
Нужна поддержка
proxy protocol
в облачных балансерах
БЕЗОПАСНОСТЬ НА УРОВНЕ INGRESS
Web application firewall
+ Ingress
ModSecurity
в Nginx Ingress Controller
45

46. Kubernetes Internal Security

47. KUBERNETES
LEVEL
SECURITY
47
1. Authentication
2. Authorization
3. Auditing

48. ВАРИАНТЫ
KUBERNETES
AUTHENTICATION
48
1. HTTP basic auth à
Устарело
2. Static password à Устарело
3. Клиентские сертификаты à
Неудобно отзывать
4. Bearer tokens à
Непривычно

49. КОГДА НУЖНО
ИНТЕГРИРОВАТЬСЯ
С LDAP/ACTIVE
DIRECTORY
49
1. Authenticating Proxy
2. Webhook Token
Authentication
3. OpenID Connect
Tokens

50. OPENID CONNECT PROVIDERS + KUBERNETES
50

51. OPENID CONNECT PROVIDERS + KUBERNETES
51

52. ПОЧЕМУ OPENID CONNECT – ЭТО КРУТО?
52
1. Это больше, чем проверка Username/Password
2. ID-токены OIDC короткоживущие à меньше риски
○ Есть Renew tokens
3. Можно делать 2-Factor Auth: TOTP токены

53. Public
Azure Active Directory
Salesforce
Google
GitHub
OPEN ID CONNECT PROVIDERS
Private
Keycloak
OpenIAM
Dex
53

54. НУЖНО УКАЗЫВАТЬ МНОГО ПАРАМЕТРОВ ДЛЯ KUBECTL
54
kubectl config set-credentials <username>
--auth-provider=oidc
--auth-provider-arg=idp-issuer-url=<oidc-issuer-url>
--auth-provider-arg=client-id=<oidc-client-id>
--auth-provider-arg=client-secret=<oidc-client-secret>
--auth-provider-arg=id-token=<oidc-id-token>
--auth-provider-arg=refresh-token=<oidc-refresher-token>
--auth-provider-arg=idp-certificate-authority=<path-to-idp-cert>

55. ПОЛЕЗНЫЕ ПРОЕКТЫ ДЛЯ OIDC <> KUBERNETES
55
Web-based helpers:
https://github.com/negz/kuberos
https://github.com/micahhausler/k8s-
oidc-helper
https://github.com/int128/kubelogin
Cli-based helpers:
https://github.com/vimond/k8s-auth-
client
https://github.com/making/k8s-keycloak-
oidc-helper

56. KUBERNETES AUHTORIZATION: RBAC
56

57. Namespace per user
СТРАТЕГИИ АВТОРИЗАЦИИ
Namespace per group
57

58. КАК ПОДРУЖИТЬ
RBAC С OPENID
CONNECT?
58
1. Мэпинг групп OIDC
на группы Kubernetes
2. Выдавать (Cluster)RoleBinding
на группы Kubernetes

59. 59
КАК ПОДРУЖИТЬ
RBAC С OPENID
CONNECT?

60. 1. Что случилось?
2. Когда случилось?
3. Кто это сделал?
4. В каком компоненте это
случилось?
5. Когда это закончилось?
KUBERNETES AUDIT POLICY
1. Записать лог на диск
2. Вызвать Webhook (Slack,
Telegram)
60

61. Application Security

62. Kubernetes Secrets
APPLICATION SECURITY
Vault
1. Давно на рынке
2. Безопасно
3. Есть Dynamic secrets
62
Нет шифрования по умолчанию,
но в 1.13 вышла alpha encryption at rest
А также есть Sealed Secrets от Bitnami

63. ПРОБЛЕМЫ VAULT
С KUBERNETES
1. Автоматизация доставки Vault
Secrets в поды
• Sidecar containers
• Custom
resource definitions
63

64. ПОЛЕЗНЫЕ ПРОЕКТЫ ДЛЯ ИНТЕГРАЦИИ С VAULT
64
● https://github.com/Boostport/kubernetes-vault
● https://github.com/UKHomeOffice/vault-sidekick
● https://github.com/sethvargo/vault-kubernetes-authenticator
● https://vault.koudingspawn.de/

65. У НАС ОЧЕНЬ
КРУТЫЕ НОВОСТИ
• Поддержка Cluster Autoscaler
и Node Groups (Alpha)
• Делаем master-nodes
бесплатными для больших
проектов

66. Cluster Autoscaler и Node Groups

67. СПАСИБО ЗА ВНИМАНИЕ!