Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
FIBRE - Projeto de Elasticidade e
Evolução do Plano de Dados da
Infraestrutura de Experimentação
do FIBRE
Fernando Farias ...
Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Traba...
Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Traba...
Motivação
• FIBRE	é	hoje	um	dos	principais	Testbeds	em	
tecnologia	de	redes	disponível	na	américa	latina.	
4
Motivação
• Para	o	FIBRE	2.0	essa	evolução	vem	sendo	uma	das	
prioridades,	com	o	objetivo	de	vencer	as	limitações	
observa...
Motivação
• Utilizar	virtualização	para	permitir	o	maior	número	de	
experimentos	possíveis.
• Evoluir	a	infraestrutura	e	n...
Motivação
7
Limitações	do	Modelo:
● Performance	
Limitada
● Não	possui	suporte	
a	novas	
funcionalidades	
● Software	
Desc...
Motivação
• Diminuir	os	custos	com	equipamento	e	aumentar	a	
flexibilidade	na	evolução	e	adoção	de	novas	
características	...
Motivação
9
• Adaptar novas novas opções de protocolos
ao experimentador:
• Suporte a Openflow 1.3
• Switches em Container...
Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Traba...
Objetivo
11
• O objetivo original do projeto era criar uma
nova forma de virtualização independente da
utilização do flowv...
Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Traba...
Solução	Inicial
13
• A solução adotada muda a visão de slice criado pelo
flowvisor.
• Também remove a camada central respo...
Solução	Inicial
14
FIBRE 1.0 (Atual) FIBRE 2.0
Solução	Inicial
15
• Prototipo 1.0
Equipamentos	
16
• Server U L800
Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embeddedc/ suporte AES-NI...
Equipamentos	
17
• Supermicro 5018A -TN7B
Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embeddedc/ supor...
Resultados	parciais	
18
• Protótipo 1.0
• Avaliação:
• Testar a performance do encaminhamento entre portas
utilizando open...
Resultados	parciais	
19
• Protótipo 1.0
Resultados	parciais	
20
• Protótipo 1.0
Resultados	parciais	
21
• Protótipo 1.0
Resultados	parciais	
22
• Protótipo 1.0
Resultados	parciais	
24
• Por outro lado, o gráfico da latência permitiu
observar a quantidade necessária de processadores...
Resultados	parciais	
23
• No Throughput observa-se que para pacote de 64
bytes de payload. Há uma limitação no
processamen...
Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Traba...
Tunning
26
• Durante os testes do protótipo 1.0 observou-
se que quando se cria a afinidade
(processador <> interface) no ...
Tunning
27
Tunning
28
Tunning
29
Tunning
30
Tunning
31
Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Traba...
Solução	Revisada	
33
• Protótipo 2.0
• Avaliação:
• Testar a performance do encaminhamento entre portas
utilizando openflo...
Solução	Revisada
34
• Protótipo 2.0
Solução	Revisada
35
• Protótipo 2.0
Solução	Revisada
36
• Protótipo 2.0
Solução	Revisada
37
• Protótipo 2.0
• Case 1
Solução	Revisada
38
• Protótipo 2.0
• Case 1
OpenFlow 1.0 OpenFlow 1.3
Solução	Revisada
39
• Protótipo 2.0
• Case 1
OpenFlow 1.0 OpenFlow 1.3
Solução	Revisada
40
• Protótipo 2.0
• Case 1
OpenFlow 1.0 OpenFlow 1.3
Solução	Revisada
41
• Protótipo 2.0
• Case 2
Solução	Revisada
42
• Protótipo 2.0
• Case 2
Solução	Revisada
43
• Protótipo 2.0
• Case 2
Solução	Revisada
44
• Protótipo 2.0
• Case 2
Solução	Revisada
45
• Protótipo 2.0
• Case 3
Solução	Revisada
46
• Protótipo 2.0
• Case 3
Solução	Revisada
47
• Protótipo 2.0
• Case 3
Solução	Revisada
48
• Protótipo 2.0
• Case 3
Solução	de	Transição
• As	soluções	apresentadas	dependem	do	
desenvolvimento	de	novos	Aggregate	Managers	
para	serem	integ...
Agenda
• Motivação
• Objetivos
• Solução Inicial
• Equipamentos
• Resultados Parciais
• Tunning
• Solução Revisada
• Concl...
Conclusões
• O	trabalho	foi	realizado	em	6	meses	utilizando	dois	
tipos	de	Hardwares
•Server	U	L800
•Supermicro		5018A-TN7...
Trabalhos	Futuros
•Avaliar	desempenho	com	portas	10G
•Analisar	aplicabilidade	na	FIBREnet
•Replicar	solução	em	whitebox	Br...
Trabalhos	Futuros
Fabricante SuperMicro Nexcom Lanner Lanner
Modelo 5018D-FN8T NSA 5160 NCA-4010A NCA-5510A
Chipset Xeon® ...
Thank you / Obrigado
Fernando Farias (UFPA)
Marcos Schwarz (RNP)
www.facebook.com/fibre.project
www.fibre.org.b
r
Upcoming SlideShare
Loading in …5
×

Projeto de Elasticidade e Evolução do Projeto FIBRE

158 views

Published on

FIBRE - Projeto de Elasticidade e Evolução do Plano de Dados da Infraestrutura de Experimentação do FIBRE.

Published in: Internet
  • Login to see the comments

Projeto de Elasticidade e Evolução do Projeto FIBRE

  1. 1. FIBRE - Projeto de Elasticidade e Evolução do Plano de Dados da Infraestrutura de Experimentação do FIBRE Fernando Farias - UFPA Marcos Schwarz - RNP Campinas, Novembro 2016
  2. 2. Agenda • Motivação • Objetivos • Solução Inicial • Equipamentos • Resultados Parciais • Tunning • Solução Revisada • Trabalhos Futuros • Conclusões 2
  3. 3. Agenda • Motivação • Objetivos • Solução Inicial • Equipamentos • Resultados Parciais • Tunning • Solução Revisada • Trabalhos Futuros • Conclusões 3
  4. 4. Motivação • FIBRE é hoje um dos principais Testbeds em tecnologia de redes disponível na américa latina. 4
  5. 5. Motivação • Para o FIBRE 2.0 essa evolução vem sendo uma das prioridades, com o objetivo de vencer as limitações observadas no projeto inicial. 5
  6. 6. Motivação • Utilizar virtualização para permitir o maior número de experimentos possíveis. • Evoluir a infraestrutura e não depender de softwares de terceiro para habilitar experimentos. • Atualmente, o FIBRE utiliza o FlowVisor para permitir a virtualização da infraestrutura. • No entanto, o FlowVisor apresenta o série de problemas em seu desenvolvimento 6
  7. 7. Motivação 7 Limitações do Modelo: ● Performance Limitada ● Não possui suporte a novas funcionalidades ● Software Descontinuado ● Não possui sucessor para versões do OpenFlow 1.0
  8. 8. Motivação • Diminuir os custos com equipamento e aumentar a flexibilidade na evolução e adoção de novas características • Avaliar a utilização dos chamados whitebox, equipamentos aberto, sem softwares e de custos reduzidos. • Além disso, avaliar também a atualização de frameworks de para aceleração o plano de dados: • Intel’s Data Plane Development Kit (DPDK) • Aceleração do processamento de pacotes • Utilização de nucleos para processamento de pacotes 8
  9. 9. Motivação 9 • Adaptar novas novas opções de protocolos ao experimentador: • Suporte a Openflow 1.3 • Switches em Containers • Topologias Virtuais • Alocação de Recurso • Monitoramento • Etc...
  10. 10. Agenda • Motivação • Objetivos • Solução Inicial • Equipamentos • Resultados Parciais • Tunning • Solução Revisada • Trabalhos Futuros • Conclusões 10
  11. 11. Objetivo 11 • O objetivo original do projeto era criar uma nova forma de virtualização independente da utilização do flowvisor: • Utilizar Whitebox para criar datapaths virtual sob- demanda. • Usar DPDK para aperfeiçoar e acelerar o processamento de pacotes • Gerenciar o OpenVSwitch para criar instâncias virtuais do datapath e oferecê-las ao experimentador • Viabilizar o uso do OpenFlow 1.3 em experimentos
  12. 12. Agenda • Motivação • Objetivos • Solução Inicial • Equipamentos • Resultados Parciais • Tunning • Solução Revisada • Trabalhos Futuros • Conclusões 12
  13. 13. Solução Inicial 13 • A solução adotada muda a visão de slice criado pelo flowvisor. • Também remove a camada central responsável por gerenciar e controlar os slices criados • Nesta solução adotamos a ideia elasticidade para switches, ou seja, habilita-se switches lógicos sob- demanda de acordo com a necessidade do experimentador • Neste switch lógico é possível habilitar qualquer versão do OpenFlow, tanto individual quanto simultâneos
  14. 14. Solução Inicial 14 FIBRE 1.0 (Atual) FIBRE 2.0
  15. 15. Solução Inicial 15 • Prototipo 1.0
  16. 16. Equipamentos 16 • Server U L800 Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embeddedc/ suporte AES-NI Chipset: Intel® "Rangeley", suporte a virtualização VT-x; Memória: 1x 8GB DDR3 on 240P DIMM socket (expansível até 16GB em 2x240P DDR3 DIMM) Interfaces de Rede: 6x Intel Gigabit, sendo 2xIntel i210AT e 4xIntel 88E1543 (igb(4), netmap ready) Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads E/S Físico: Pad de 4 teclas & Display LCM de 2 linhas (scriptáveis sim!) Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc,72Vdc Consumo: 40W
  17. 17. Equipamentos 17 • Supermicro 5018A -TN7B Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embeddedc/ suporte AES-NI Chipset: Intel® "Rangeley", suporte a virtualização VT-x; Memória: 4x 240-pin DDR3 UDIMM slots Supports up to 64GB DDR3 ECC or non-ECC memory Interfaces de Rede: Quad GbE LAN w/ Intel C2000 SoC i354 - 2 pairs LAN bypass, Single GbE LAN w/ Intel i210- AT,Dual GbE LAN w/ Intel Ethernet controller i350-AM2- 1 pair LAN bypass Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads E/S Físico: - Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc,72Vdc Consumo: 200W Low Noise AC-DC power supply with PFC
  18. 18. Resultados parciais 18 • Protótipo 1.0 • Avaliação: • Testar a performance do encaminhamento entre portas utilizando openflow 1.0 • Ambiente: • Hardware: ServerU Netmap L-800 • Software: Ubuntu 16.04, DPDK 2.2.0, OVS 2.5.0 • Gerador de Tráfego: JSDU SMARTCLASS ETHERNET • Metricas: • Latencia • Throughput • Perda de pacote
  19. 19. Resultados parciais 19 • Protótipo 1.0
  20. 20. Resultados parciais 20 • Protótipo 1.0
  21. 21. Resultados parciais 21 • Protótipo 1.0
  22. 22. Resultados parciais 22 • Protótipo 1.0
  23. 23. Resultados parciais 24 • Por outro lado, o gráfico da latência permitiu observar a quantidade necessária de processadores para se manter um limite estável da latência, que ficou nos valores entre 3000 a 4000 us (microsegundos). • Por fim, no gráfico da perda de pacote, observou que a quantidade de processadores utilizada na afinidade influência na perda de pacote, ou seja, a quantidade processadores não pode ser o valor mínimo (1 Core) e nem o valor máximo (8 Cores). • Sendo o valor mínimo o mais problemático
  24. 24. Resultados parciais 23 • No Throughput observa-se que para pacote de 64 bytes de payload. Há uma limitação no processamento • Porém para pacote maiores que 64 bytes, a solução consegue transmitir a line rate. • No entanto, o comportamento da latência se mostra preocupante, pois dependendo da quantidade de processadores usados na afinidade (Processador <- > Interface de rede), quase atinge o threshold de 10 ms.
  25. 25. Agenda • Motivação • Objetivos • Solução Inicial • Equipamentos • Resultados Parciais • Tunning • Solução Revisada • Trabalhos Futuros • Conclusões 25
  26. 26. Tunning 26 • Durante os testes do protótipo 1.0 observou- se que quando se cria a afinidade (processador <> interface) no DPDK o processador, ele não fica totalmente a interface DPDK. • Observou que isso influenciou o desempenho do OpenVSwitch.
  27. 27. Tunning 27
  28. 28. Tunning 28
  29. 29. Tunning 29
  30. 30. Tunning 30
  31. 31. Tunning 31
  32. 32. Agenda • Motivação • Objetivos • Solução Inicial • Equipamentos • Resultados Parciais • Tunning • Solução Revisada • Trabalhos Futuros • Conclusões 32
  33. 33. Solução Revisada 33 • Protótipo 2.0 • Avaliação: • Testar a performance do encaminhamento entre portas utilizando openflow 1.0 • Ambiente: • Hardware: ServerU Netmap L-800 • Software: Ubuntu 16.10, DPDK 16.07, OVS 2.6.0 • Gerador de Tráfego: JSDU SMARTCLASS ETHERNET • Metricas: • Latencia • Throughput • Perda de pacote
  34. 34. Solução Revisada 34 • Protótipo 2.0
  35. 35. Solução Revisada 35 • Protótipo 2.0
  36. 36. Solução Revisada 36 • Protótipo 2.0
  37. 37. Solução Revisada 37 • Protótipo 2.0 • Case 1
  38. 38. Solução Revisada 38 • Protótipo 2.0 • Case 1 OpenFlow 1.0 OpenFlow 1.3
  39. 39. Solução Revisada 39 • Protótipo 2.0 • Case 1 OpenFlow 1.0 OpenFlow 1.3
  40. 40. Solução Revisada 40 • Protótipo 2.0 • Case 1 OpenFlow 1.0 OpenFlow 1.3
  41. 41. Solução Revisada 41 • Protótipo 2.0 • Case 2
  42. 42. Solução Revisada 42 • Protótipo 2.0 • Case 2
  43. 43. Solução Revisada 43 • Protótipo 2.0 • Case 2
  44. 44. Solução Revisada 44 • Protótipo 2.0 • Case 2
  45. 45. Solução Revisada 45 • Protótipo 2.0 • Case 3
  46. 46. Solução Revisada 46 • Protótipo 2.0 • Case 3
  47. 47. Solução Revisada 47 • Protótipo 2.0 • Case 3
  48. 48. Solução Revisada 48 • Protótipo 2.0 • Case 3
  49. 49. Solução de Transição • As soluções apresentadas dependem do desenvolvimento de novos Aggregate Managers para serem integradas ao FIBRE 2.0. • Para viabilizar o uso do equipamento Whitebox no FIBRE atual (1.0) baseado em OCF, as primeiras unidades sendo entregues às ilhas foram configuradas com apenas uma bridge com OF 1.0. • Mas poderão ser estendidas para as soluções apresentadas acima para testes ou quando o FIBRE 2.0 estiver em operação.
  50. 50. Agenda • Motivação • Objetivos • Solução Inicial • Equipamentos • Resultados Parciais • Tunning • Solução Revisada • Conclusões e Trabalhos Futuros 50
  51. 51. Conclusões • O trabalho foi realizado em 6 meses utilizando dois tipos de Hardwares •Server U L800 •Supermicro 5018A-TN7B •Os melhores resultados de desempenho foram observados no L800. Ficou pendente validar se o tunning no SuperMicro terá os mesmos resultados. •A partir do Tunning utilizado o whitebox tem um desempenho parecido com o do Switch Pronto. •A latência melhorou bastante, mas ainda estamos em busca de novos valores.
  52. 52. Trabalhos Futuros •Avaliar desempenho com portas 10G •Analisar aplicabilidade na FIBREnet •Replicar solução em whitebox Broadcom •Ex: Pica8 Pronto 3295/3297 com PicOS (4 portas) •Explorar novas features do OVS quando disponíveis •Meters, QinQ nativo… •Homologar novos equipamentos •Maior densidade de portas •Suporte a novas técnologias (HyperThreads, VT-d, Hugepages1G) •Validar solução no CentOS que possui mais opções de tunning, ex: perfil network-latency
  53. 53. Trabalhos Futuros Fabricante SuperMicro Nexcom Lanner Lanner Modelo 5018D-FN8T NSA 5160 NCA-4010A NCA-5510A Chipset Xeon® Brodwell D- 1500 Family Xeon® Brodwell D-1500 Family Xeon® Brodwell D-1500 Family Xeon® Broadwell E5-2600 v4 Cores 4 6 8 18 Threads 8 12 16 36 HyperThreads Sim Sim Sim Sim 1G HugePages Sim Sim Sim Sim VT-d Sim Sim Sim Sim Interfaces de Rede 6x 1GbE RJ45 2x 10GE SFP+ 1x PCIe 3.0 x8 slot: - Up to 4x1GE - Up to 2x10GE - Up to 2x40GE 8x 1GbE RJ45 2x Expansion slot: - Up to 16x 1GE - Up to 8x 10GE 16x 1GbE RJ45 2x 10GbE SFP+ 1x Expansion slot: - Up to 8x1GE - Up to 4x10GE - Up to 2x40GE 4x Expansion slots: - Up to 32x1GE - Up to 16x10GE - Up to 8x40GE Price $761.35 $1,758.00 $1,560.00*
  54. 54. Thank you / Obrigado Fernando Farias (UFPA) Marcos Schwarz (RNP) www.facebook.com/fibre.project www.fibre.org.b r

×