Deep dive on Amazon Elastic Container Service for Kubernetes (Amazon EKS) - MAD303 - São Paulo AWS Summit

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Análise detalhada do Amazon Elastic
Kubernetes Service
Bruno Emer
Arquiteto de Soluções
AWS summit São Paulo
M A D 3 0 3

Agenda
Gerenciamento do Amazon Elastic Kubernetes Service (Amazon EKS)
Data Plane do Amazon EKS
Rede e balanceamento de carga no Amazon EKS

Arquitetura do Amazon EKS
mycluster.eks.amazonaws.com
EKS Workers
Kubectl
AZ 1 AZ 2 AZ 3
Sua conta AWS
VPC

Arquitetura Amazon EKS
EKS VPCCustomer VPC
Worker Nodes
Kubernetes
API calls
Exec, Logs,
Proxy
Internet
EKS-owned
elastic network
interface

Gerenciamento do Kubernetes
Altamente disponível em uma
infraestrutura single tenant
Todos os componentes “nativos
da AWS”
Sustentado por um Network
Load Balancer
VPC
API Server ASG
Etcd ASG
NLB
AZ-1 AZ-2 AZ-3
ELB
Instances
Instances

Master Node
Scheduler
Controller
Manager
Cloud Controller
Manager
API Server
etcd

apiVersion: v1
kind: Pod
metadata:
creationTimestamp: null
labels:
component: kube-apiserver
tier: control-plane
name: kube-apiserver
namespace: kube-system
spec:
containers:
# Admission plugins
# - Recomended admission plugins - https://kubernetes.io/docs/reference/access-authn-authz/admission-controllers/#is-there-a-
recommended-set-of-admission-controllers-to-use
# We enable NodeRestriction to limit kubelet access to resources
- command:
- /bin/sh
- -c
- /usr/local/bin/kube-apiserver
--enable-admission-
plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,DefaultTolerationSeconds,NodeRestriction
--advertise-address=INTERNAL_IP
--allow-privileged=true
--anonymous-auth=true
--authorization-mode=Node,RBAC
--authentication-token-webhook-cache-ttl=AUTHN_TOKEN_CACHE_TTL_DURATION
--authentication-token-webhook-config-file=/etc/kubernetes/authenticator/apiserver-webhook-kubeconfig.yaml
--bind-address=0.0.0.0
--cloud-provider=aws

Pergunta?
O que acontece quando eu rodo ‘kubectl create –f pods.yaml’?

1) Passa a identidade da
AWS
Autenticação com IAM
Kubectl
3) Autoriza a identidade com RBAC
K8s API
2) Verifica a identidade da
AWS
4) Ação do K8’s
autorizadas/canceladas

Master Node
Scheduler
Controller
Manager
Cloud
Controller
Manager
API Server
etcd
Kubectl

API Server
Kubectl
Servidor de API do Kubernetes
Autorização
Webhook RBACaws-iam-
authenticator
Autenticação Controles de admissão
Mutating
Webhook
Validation
Webhook

# [...]
users:
- name: aws
user:
exec:
apiVersion: client.authentication.k8s.io/v1alpha1
command: aws-iam-authenticator
args:
- "token"
- "-i"
- "CLUSTER_ID"
- "-r"
- "ROLE_ARN”
# Certificado/chave de cliente não é necessária aqui!

Autorização e autenticação do Cluster
• Usuário ou regra IAM que cria o cluster do Amazon EKS
possui privilégios de admin
• Esse {“super”} usuario/role pode adicionar usuários ou roles`
IAM e configurar permissões RBAC
• Para adicionar, configure o aws-auth Configmap
kubectl edit -n kube-system configmap/aws-auth

apiVersion: v1
data:
mapRoles: |
- rolearn: arn:aws:iam::555555555555:role/devel-worker-nodes-NodeInstanceRole-74RF4UBDUKL6
username: system:node:{{EC2PrivateDNSName}}
groups:
- system:bootstrappers
- system:nodes
mapUsers: |
- userarn: arn:aws:iam::555555555555:user/admin
username: admin
groups:
- system:masters
- userarn: arn:aws:iam::555555555555:user/john
username: john
groups:
- pod-admin # k8s RBAC group

O que nós vamos cobrir:
• Arquitetura do Data Plane
• Customizando o worker node
• Customização de AMI
• Opções de Bootstrap
• Upgrades no Amazon EKS
• IAM Roles para pods

Arquitetura do Amazon EKS
EKS VPCCustomer VPC
Worker Nodes
EKS-owned elastic
network interface
Kubernetes
API calls
Exec, Logs,
Proxy
Internet

Worker Node
kube-dnsKubelet
aws-
node
Container runtime
Data Plane do Amazon EKS
Control Plane
API
kube-
proxy

Amazon EKS AMI Build Scripts
https://github.com/awslabs/amazon-eks-ami

AMI do Amazon EKS otimizada com suporte a GPU

Setup do worker node – Bootstrapping
/etc/eks/bootstrap.sh <nome-cluster> [options]
Utiliza o UserData para configurar recursos do Sistema e
configurações extra do kubelet
Reserve recursos computacionais para daemons (Kubelet,
container runtime) e limites para Pod eviction

Versões suportadas: 1.13.7, 1.12.6, 1.11.8
Amazon EKS suporta até 3 versões de Kubernetes por vez
”Depreciação” previne a criação de novos clusters em versões antigas
Versões do Kubernetes

Versão da plataforma Amazon EKS
As revisões da versão da plataforma representam alterações
de configuração do servidor de API ou patches do Kubernetes
Versões da plataforma são incrementadas somente dentro de
uma versão do Kubernetes

Atualizações de versão do K8s no Amazon EKS
Nova API UpdateClusterVersion –
suporta atualizações da versão do
Kubernetes “in place”
Introduz um objeto de "update" na
API do EKS
APIs ListUpdates e DescribeUpdate
para prover visibilidade sobre o
status de um determinado update

Atualizando os worker nodes
Duas opções:
1) Crie um novo node group com a útima AMI do Amazon
EKS >> remova os nodes antigos >> termine o antigo
template do CFN
2) Simplesmente atualize a AMI no template do CFN; a
política de replacement "rolling" terminará os nodes
antigos
(Downside: todas as aplicações são finalizadas)

IAM Roles para pods

https://github.com/aws/containers-roadmap/issues/23
Solução proposta pela AWS
Faça uso dos Kubernetes TokenRequestProjection Tokens para
assumir uma regra de IAM
Precisa de Kubernetes v1.11 & ultimos SDKs AWS
Suporte para o AWS CloudTrail no lançamento
Em
Breve
IAM Roles para pods

Passo 1: crie uma
IAM Role
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:ListBucket"],
"Resource": ["arn:aws:s3:::bucket-name"]
},
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject"
],
"Resource": ["arn:aws:s3:::bucket-name/*"]
}
]
}
IAM Roles para pods

Passo 2: Associe a
IAM role na conta de
serviço
aws eks associate-role
--role-arn
arn:aws:iam::123456789012:role/s3-bucket-
readwrite-role
--cluster-name my-cluster
--namespace default
--service-account my-serviceaccount
Nota: Nome do cluster é necessário mas namespace e conta de serviço é opcional
IAM Roles para pods

Passo 3: Crie uma
conta de serviço e
associe a um pod
apiVersion: v1
kind: Pod
metadata:
name: my-pod
namespace: default
spec:
serviceAccountName: my-serviceaccount
...
---
IAM Roles para pods

apiVersion: v1
kind: ServiceAccount
metadata:
name: my-serviceaccount
namespace: default
annotations:
"eks.amazonaws.com/assume-role":
"arn:aws:iam::123456789012:role/s3-
bucket-readwrite-role"
IAM Roles para pods
Passo 3: Crie uma
conta de serviço e
associe a um pod

O que vamos cobrir:
• VPC CNI plugin
• Custom networking
• Load balancing – Classic Load Balancer, Network Load
Balancer, Application Load Balancer

Amazon VPC CNI Plugin
ENI
Secondary IPs:
10.0.0.1
10.0.0.2
10.0.0.1
10.0.0.2
ENI
10.0.0.20
10.0.0.22
Secondary IPs:
10.0.0.20
10.0.0.22
ec2.associateaddress()
VPC Subnet – 10.0.0.0/24
Instance 1 Instance 2
VPC

Range CIDR primario endereço RFC 1918  10/8, 172.16/12, 192.168/16
Usado no Amazon EKS para:
• Pods
• ENIs para (masters  workers) cominicação (exec, logs, proxy etc.)
• Rede interna dos serviços do Kubernetes (10.100/16 or 172.20/16 – chosen
based on your VPC range)
Setup:
• Criação do cluster EKS  forneça uma lista de subnets (no mínimo de
2 Availability Zone!)  tagging
Amazon VPC CNI plugin – entendendo a alocação de IPs

EKS Advanced VPC Networking – subnet pública
Pod
10.1.0.5
VPC Public Subnet– 10.1.0.0/24
EKS Node
Public IP – 54.1.2.3
Secondary IP: 10.1.0.5
SNAT Ativo
(EXTERNALSNAT = false)
CNI performs SNAT:
10.1.0.5 <-> 54.1.2.3
“The internet”
Return traffic to
54.1.2.3
EKS Worker
Internet
gateway
VPC

EKS Advanced VPC Networking – subnet privada
EKS Node
Primary IP: 10.1.0.2
Internet
gateway
SNAT Desativado
(EXTERNALSNAT = true)
Pod traffic sent
from 10.1.0.5
Return Traffic
to 54.1.2.3
VPC Public Subnet–
10.1.1.0/24
VPC NAT gateway
Public IP: 54.1.2.3
External Device performs SNAT:
10.1.0.5 <-> 54.1.2.3
EKS Worker
Pod
10.1.0.5
“The internet”
VPC Private Subnet–
10.1.0.0/24

EKS Advanced VPC Networking – VPN/Direct Connect
VPC Private Subnet– 10.1.0.0/24s
EKS Node
SNAT Desativado
(EXTERNALSNAT = true)
Pod traffic sent
from 10.1.0.5
Return Traffic
to 10.1.0.5
VPC private gateway
(VGW)
Not doing SNAT:
10.1.0.5 <-> 192.168.10.5
VPC
EKS Worker
Pod
10.1.0.5
On premises
Corporate
data center
192.168.0.0

Ranges CIDR secundários (novo!)  blocos de endereço non-RFC 1918
(100.64.0.0/10 and 198.19.0.0/16)
Usado no Amazon EKS para:
• Somente pods
Como?
• Configuração de rede custom do Amazon EKS habilite  crie o
ENIConfig CRD  anote os nodes
CNI
1.2.1+
Amazon VPC CNI plugin – entendendo a alocação de IPs

EKS Advanced VPC Networking – CIDRs secundários
VPC Private Subnet– 10.1.0.0/24, 100.64.0.0/24
EKS Node
Pod traffic sent
from 100.64.0.10
Return Traffic
to 100.64.0.10
VPC private gateway
(VGW)
VPC
EKS Worker
Pod
100.64.0.10
On premises
Corporate
data center
10.1.0.0

Load Balancing
Os três tipos Elastic Load Balancers são suportados (ELB, ALB, NLB)
NLB e CLB são suportados pelo Kubernetes Service
type=LoadBalancer
Suporte a Load Balancers internos e externos

Load Balancing
Quer usar um load balancer interno? Use a notação:
service.beta.kubernetes.io/aws-load-balancer-
internal: 0.0.0.0/0
Quer usar o NLB? Use a notação:
service.beta.kubernetes.io/aws-load-balancer-
type: nlb

ALB Ingress Controller
Production-Ready (versão 1.0)
Suportado pelo time do Amazon EKS
Desenvolvimento Open Source:
https://github.com/kubernetes-sigs/aws-alb-ingress-
controller
Clientes estão usando em produção!

Controle de entrada do ELB
AWS Resources
Kubernetes Cluster
Node Node
Kubernetes
API Server ALB Ingress
Controller
Node
HTTP ListenerHTTPS Listener
Rule: /cheesesRule: /charcuterie
TargetGroup:
Green (IP Mode)
TargetGroup:
Blue (Instance
Mode)
NodePort NodePort

Obrigado!
Bruno Emer
Arquiteto de Soluções
AWS

“Por favor, responda a pesquisa ao final
da sessão no app. Ao finalizar a
pesquisa, passe no Help Desk e retire
seu brinde!”

Deep dive on Amazon Elastic Container Service for Kubernetes (Amazon EKS) - MAD303 - São Paulo AWS Summit

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Deep dive on Amazon Elastic Container Service for Kubernetes (Amazon EKS) - MAD303 - São Paulo AWS Summit

Similar to Deep dive on Amazon Elastic Container Service for Kubernetes (Amazon EKS) - MAD303 - São Paulo AWS Summit (20)

More from Amazon Web Services

More from Amazon Web Services (20)

Deep dive on Amazon Elastic Container Service for Kubernetes (Amazon EKS) - MAD303 - São Paulo AWS Summit