Configurações de aplicações distribuidas com etcd

11/14/2017 Conﬁgurações de aplicações distribuidas com etcd
http://localhost:3999/index.slide#1 1/53
Conﬁgurações de
aplicações distribuidas
com etcd
Wilson Júnior
Software enthusiast, Globo.com

Wilson Júnior
Pythonista desde moleque (=
Também é Gopher
Goiano root's
Apaixonado por tecnologia e como ela se apoia nas pessoas
Biker
Desenvolvedor na Globo.com há 3 anos

Caracteristicas de uma conﬁguração
Descreve o comportamento
Infrequentemente alterada
Aplicações modiﬁcam seu comportamento

Imaginemos que possuimos
uma aplicação escalada
horizontamente 100 vezes em
diferentes lugares

E cada dessas instancias
recebem uma carga de
transações muito alta

Como lidariamos com a
consulta e escrita de
conﬁgurações ?

Not better approach: variáveis de
ambiente

Good to handle
Variáveis de ambientes são rápidas e não requerem nenhum I/O
externo em tempo de consulta

Bad to handle
Cordenar 100 restarts para quando houver mudanças
a aplicação deve fazer gracefull restart não sacriﬁcando
nenhuma transação em andamento

Not better approach: consultar no
banco de dados

Good to handle
os dados sempre estarão frescos pois foram consultados no
momento
não preocupar com um componente para manter

Bad to handle
criamos um gargalo.
too many: 304 not modiﬁed content.

Not better approach: consultar no
banco de dados + sistema de cache

Good to handle
o cache garantirá velocidade no acesso.

Bad to handle
Inconsistencia temporal
se a aplicação é crítica...

Better approach: escolha um banco de
dados especializados em
conﬁgurações

O que é o etcd
Criado pela core os
Utilizado como storage do kubernetes
Key/value store
Persistente
Cluster Tolerante a falhas

O que é o etcd
Consistencia e via algoritmo Raft
MVCC Multiversion concurrency control
15K stars on github
utilizado em outras empresas

Protocolo debaixo dos panos
GRPC + HTTP (v3 da API)
Restful + JSON + HTTP (v2 da API)

Raft

Raft
Um algoritmo de Consensus
Conceito de *Log replicado*
Similar ao paxos
https://raft.github.io/
Necessidade de manter os dados consistentes e tolerante a
falhas

Tamanho do cluster
Cluster Size Majority Failure Tolerance
1 1 0
2 2 0
3 2 1
4 3 1
5 3 2
6 4 2
7 4 3
8 5 3
9 5 4

Replicated log

Exemplo

Transações lineares

Tradeoff: propagar x consultar

Somos treinados/viciados em
pensar no ﬂuxo só de consultar
dados.

Quando propagar é melhor

Quando propagar é melhor
os dados não são frequentemente alterados
os dados não possuem um grande volume

Exemplos
Conﬁgurações de rede
Feature ﬂags
Flags de negócio

Quando consultar é melhor

Quando consultar é melhor
os dados são frequentemente alterados
os dados possuem um grande volume

Exemplos
Conteúdo estruturado
Dados de usuários

Lets code

github.com/coreos/etcd/clientv3

Conectando no cluster
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"localhost:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
log.Fatal(err)
}
defer cli.Close()

Simple GET
resp, err := cli.Get(context.Background(), "my-key")
if err != nil {
log.Fatal(err)
}
if len(resp.Kvs) == 0 {
fmt.Println("my-key is not found")
return
}
fmt.Printf("The revision of cluster is: %dn", resp.Header.Re
fmt.Printf("The value of my-key is %sn", resp.Kvs[0].Value)
fmt.Printf("The value was created in revision: %dn", resp.Kv
fmt.Printf("The value was modified in revision: %dn", resp.K
}

Simple PUT
resp, err := cli.Put(
context.Background(),
"my-key",
value,
)
if err != nil {
log.Fatal(err)
}
fmt.Printf(
"Set value of my-key to: %sn",
value,
)
fmt.Printf(
"The revision created: %dn",
resp.Header.Revision,
)
}

Simple GET with preﬁx
resp, err := cli.Get(
"my",
clientv3.WithPrefix(),
)
if err != nil {
log.Fatal(err)
}
for _, kv := range resp.Kvs {
fmt.Printf(
"The value of %s is %sn",
kv.Key,
kv.Value,
)
}
}

Simple Watch
watcher := cli.Watch(context.Background(), "my-key")
for resp := range watcher {
for _, ev := range resp.Events {
fmt.Printf(
"operation=%s key=%q value=%q mod_revision=%dn",
ev.Type,
ev.Kv.Key,
ev.Kv.Value,
ev.Kv.ModRevision,
)
}
}
}

Simple Watch + Preﬁx
watcher := cli.Watch(
"my",
clientv3.WithPrefix(),
)
fmt.Printf(
"operation=%s key=%q value=%q mod_revision=%dn",
ev.Type,
ev.Kv.Key,
ev.Kv.Value,
ev.Kv.ModRevision,
)
}
}
}

Simple GET + Watch
resp, err := cli.Get(context.Background(), "my-key")
if err != nil {
log.Fatal(err)
}
log.Fatal("my-key is not defined")
}
fmt.Printf("Initial value: %q", resp.Kvs[0].Value)

Simple GET + Watch
"my-key",
clientv3.WithRev(resp.Header.Revision),
)
fmt.Printf("New value: %q", ev.Kv.Value)
}
}
}

Simple App
var (
discount atomic.Value
)
func handler(w http.ResponseWriter, r *http.Request) {
price := 50.0
fmt.Fprintf(w, "Temos o produto xn")
switch discount.Load().(string) {
case "blackfriday":
price = price * 0.9
case "pre-blackfriday":
price = price * 1.3
}
fmt.Fprintf(w, "Preço %0.2f", price)
}

Simple App
func loadConfig() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"localhost:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
log.Fatal(err)
}
defer cli.Close()

Simple App
key := "discount"
resp, err := cli.Get(context.Background(), key)
if err != nil {
log.Fatal(err)
}
log.Fatalf("%s is not defined", key)
}
discount.Store(string(resp.Kvs[0].Value))

Simple App
key,
clientv3.WithRev(resp.Header.Revision),
)
log.Printf("Discount now is %s", ev.Kv.Value)
discount.Store(string(ev.Kv.Value))
}
}
}

Simple App
Let's run and test

Código fonte disponível
github.com/wpjunior/etcd-slides

Outros projetos semelhantes
Consul
Serf
Zookeeper

Estamos contratando
talentos.globo.com

Thank you
Wilson Júnior
Software enthusiast, Globo.com
wilsonpjunior@gmail.com(mailto:wilsonpjunior@gmail.com)
https://about.me/wpjunior(https://about.me/wpjunior)
@wpjunior(http://twitter.com/wpjunior)

Configurações de aplicações distribuidas com etcd

Recommended

Recommended

More Related Content

Similar to Configurações de aplicações distribuidas com etcd

Similar to Configurações de aplicações distribuidas com etcd (20)

More from Wilson Júnior

More from Wilson Júnior (8)

Recently uploaded

Recently uploaded (9)

Configurações de aplicações distribuidas com etcd