O documento discute protocolos de serialização de alto desempenho, comparando o desempenho de serialização e desserialização de mensagens usando protocolos como Protocol Buffers, FlatBuffers e JSON. Os resultados do benchmark mostram que Protocol Buffers e FlatBuffers proporcionam desempenho superior ao JSON, enquanto FlatBuffers é o mais rápido para desserialização de uma única mensagem.

1. Explorando protocolos
de serialização de alto
desempenho
Rafael Monteiro e Pereira
Software Engineer @ BM&F Bovespa

2. “Opiniões contidas aqui são
exclusivamente minhas e não
necessariamente refletem as
opiniões do meu empregador.”

3. 99,9% de mensagens
processadas com tempo de
no máximo alguns
milissegundos

4. Problemas!
Rede!
BackPressure!
Performance!

5. Garbage Collector
Stop the World!
Freeze!

6. “Cara, não tá dando.
Precisa melhorar esse
treco”
Cara de operações

7. Testes
Profiling
Peer Review
não apontaram
melhorias evidentes

8. “Vamos fazer o fácil”
“Não temos prazo para isso!”
“Essa solução custa caro”
Chefe

9. “Nem sonhe em reescrever
80% da aplicação!”
Cara de QA

10. FFFFFFFF

11. Google, help me !

12. Serialização...
XML
JSON
Human Readable Binary
Native ( Java, c++ etc )
Google Protocol Buffers
Google FlatBuffers
Simple Binary Encoding
Muitos outros....
(Mais rápido)

13. Muito verboso
Human Readable
Schema
(XSD, DTD etc)
Typed
Lento….
XML JSON
Menos verboso…
Human Readable
Não tem Schema
Browser Friendly

14. Simples
Typed
Incluso na linguagem
Native
Human Readable
Browser Friendly
Schema
Interop

15. Languages: Java, C++,
Python
Code Generation
Interop
Typed
Schema
Backward Compatibility
Protocol Buffers
Human Readable
Browser Friendly

16. Languages: Java, C++, C#, Go,
Python
Code Generation
Interop
Typed
Schema
Backward Compatibility
Positional Access
Table Based
FlatBuffers
Human Readable
Browser Friendly

17. Languagues: C++, Java , C#
Code Generation
Interop
Typed
Schema
Backward Compatibility
Positional Access
Simple Binary Encoding
Human Readable
Browser Friendly
Complexo na utilização de
Strings
Focado em Mercado
Financeiro (FIX)
(Menção Honrosa)

18. Mais alguns dados...
GPB SBE FlatBuffers
Versionamento do
Schema
Sim Problemas Sim
Zero-copy Não Sim Sim
Leitura Random-access Não Não Sim
Schema language Proprietário XML Proprietário
Mensagens mutáveis Sim Não Sim

19. Available on:
https://github.com/rafamonteiro/SerializationProtocolsBenchMark

20. Hardware
Intel Core i7 4770K
16GB RAM DDR3 – 2400 mhz
SSD 256 GB
Ubuntu 15.04 x64
Algumas informações
sobre o benchmark...
Software
JDK 1.8 x64 – Update 51
JMH – Warmup e Bencharking
Google Protocol Buffers
FlatBuffers
Jackson(JSON)

21. Deserialization
Native Java
16,854 ns
JSON
578 ns
GPB
65 ns
FlatBuffers
9 ns
1 10 100 1,000 10,000 100,000
1 mensagem
± 902,67
± 7,91
± 0,13
± 0,05

22. Deserialization
Native Java
16,854 ns
JSON
578 ns
GPB
65 ns
FlatBuffers
9 ns
1 10 100 1,000 10,000 100,000
1 mensagem
± 902,67
± 7,91
± 0,13
± 0,05

23. Deserialization
1.000.000 mensagens
Native Java
15,177 ms
JSON
408 ms
GPB
67 ms
FlatBuffers
7 ms
1 10 100 1,000 10,000 100,000
± 32,27
± 13,42
± 1,04
± 12,49

24. Serialization
1 mensagem
Native Java
2,923 ns
JSON
425 ns
GPB
109 ns
FlatBuffers
315 ns
1 10 100 1,000 10,000
± 32,27
± 13,42
± 1,04
± 12,49

25. Serialization
1.000.000 mensagens
Native Java
2,728 ms
JSON
563 ms
GPB
110 ms
FlatBuffers
280 ms
1 10 100 1,000 10,000
± 32,27
± 13,42
± 1,04
± 12,49

26. Tamanho das Mensagens
1 Mensagem em bytes
Native Java
425.00
JSON
117.00
GPB
56.00
FlatBuffers
104.00
0 50 100 150 200 250 300 350 400 450

27. Alguma ideias...

28. MicroServices

29. ServiceBUS

30. ZeroMQ

31. Redis

32. Obrigado!!!!
Feedback ? Contato ?
Blog: rafamonteiro.io (soon)
E-mail: rafael@rafamonteiro.io
Github: github.com/rafamonteiro
Twitter: @RafaMonteiro_Io