Neste artigo será apresentada uma comparação entre filesystems em ambientes virtualizados. O objetivo é avaliar seus resultados de desempenho na máquina virtual, a utilização de recursos de storage e características de provisionamento e backup em fita, para auxiliar na melhor escolha para uma implementação de consolidação de servidores e ambientes de computação em nuvem (cloud computing).

1. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
Artigo
Kleber José da Silva
Columbia – 14/08/2012
ANÁLISE COMPARATIVA DE
DESEMPENHO DE FILESYSTEMS EM
AMBIENTES VIRTUALIZADOS

2. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
Agenda
1. Introdução
2. Contexto
3. FileSystems
4. Trabalhos relacionados
5. Especificação do experimento
6. Simulação de carga
7. Coleta dos resultados
8. Gráficos de desempenho
9. Provisionamento
10. Backup em fita
11. Trabalhos futuros
12. Conclusão

3. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
Neste artigo será apresentada uma
comparação entre filesystems em ambientes
virtualizados. O objetivo é avaliar seus
resultados de desempenho na máquina
virtual, a utilização de recursos de storage e
características de provisionamento e backup
em fita, para auxiliar na melhor escolha para
uma implementação de consolidação de
servidores e ambientes de computação em
nuvem (cloud computing).
1 - Introdução

4. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
2 - Contexto
• O VMM (Virtual Machine Monitor) ou
hypervisor virtualiza a CPU, o sistema de
gerenciamento de memória e o sistema de
entrada/saída (E/S);
• O que gera maior sobrecarga, são as
operações de E/S, nos FileSystems;
• Para o experimento desse artigo o
hypervisor vSphere da empresa VMware foi
escolhido por se tratar da maior base
instalada atualmente nas organizações;

5. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
2 - Contexto

6. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
3 - FileSystems
• Projetados para armazenar e gerenciar um
grande número de arquivos, com recursos
para criação, atribuição de nomes e exclusão
de arquivos;
• O hypervisor vSphere da VMware, na sua
última versão 5, possibilita a criação de
unidades de discos virtuais para as máquinas
virtuais por pelo menos quatro maneiras
diferentes, as quais são testadas neste
experimento em uma VM Windows 2008.

7. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
3 - FileSystems
a) Disco criado em um DataStore VMFS3
b) Disco criado em um DataStore VMFS5
c) Disco criado em um área no storage
mapeado diretamente para a máquina
virtual, ou seja, no esquema RDM (Raw
Device Mapping), sendo a formatação em
NTFS;
d) Disco criado em um DataStore NFS

8. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
3.1 - VMFS
DataStores
VMFS são áreas
disponibilizadas
no Storage para
os hypervisors
vSphere por meio
do protocolo FCP
ou iSCSI

9. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
3.2 – RDM - NTFS
Neste caso não é
criado o arquivo
.vmdk, pois a
formatação da
LUN no storage é
feita pela
máquina virtual,
por exemplo
NTFS no
Windows

10. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
3.3 – NFS
Os DataStores NFS são
áreas disponibilizadas no
Storage para os hypervisors
vSphere por meio do
protocolo NFS utilizando
uma infraestrutura TCP/IP.
(apenas NFSv3,
por enquanto)

11. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
4 – Trabalhos
relacionados
• [VMWA07] VMware Inc; “Performance
Characteristics of VMFS and RDM”. Artigo,
USA (2007):
• Filesystems VMFS3 e RDM. Para acessos
randômicos ambos produziram vazão
similar, e para acessos sequenciais o disco
em RDM apresentaram resultados melhores
que VMFS3.

12. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
5 – Especificação do
experimento
VMware
vSphere 5
Storage Netapp
FAS2040.
(RAID 7+1)
Máq. Virtual:
Windows 2008
R2 64 bits
Laboratório
dedicado

13. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
5 – Especificação do
experimento
• No Storage, 3 LUNs iSCSI e 1 volume NFS
disponibilizados para os servidores ESX;
• No ESX, 4 discos adicionais na VM Win
2008 (VMFS3, VMFS5, RDM e NFS;
• Na VM, partições iguais de 10GBytes em
cada disco e formatados com NTFS;
• Ferramenta IOMeter instalada na VM.
www.iometer.org

14. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
6 – Simulação de carga
Configurações fixas:
• Relação 75% leitura x 25% escrita;
• 40% randômico x 60% sequencial;
• 16 threads (# of outstanding I/O);
• Tamanho de arquivo em 32Kbytes;
• I/O alinhado em blocos de 4Kbytes
(o mesmo do Storage Netapp)

15. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
6 – Simulação de carga
Especificação no IOMeter:

16. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
7 – Coleta de resultados
• Servidor Windows (4 pontos de coleta). Ex.:
• Storage Netapp (3 pontos de coleta). Ex.:
IOPs Vazão (MB/s) Tempo de
Resposta (ms)
Util. CPU
1865 58MB/s 8.5ms 4%
Util. CPU Operações/Seg Util. Disco
58% 2.230 84%

17. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
8 – Gráficos de
desempenho• IOPs (Servidor)

18. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
8 – Gráficos de
desempenho• Vazão

19. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
8 – Gráficos de
desempenho• Tempo de Resposta

20. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
8 – Gráficos de
desempenho• CPU (Servidor)

21. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
8 – Gráficos de
desempenho• CPU (Storage)

22. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
8 – Gráficos de
desempenho• Operações (Storage)

23. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
8 – Gráficos de
desempenho• Disco (Storage)

24. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
9 – Provisionamento
• Criação nos discos, todos os 4 filesystems
suportam o thin provisioning. Há perda de
espaço para a formatação do filesystem
VMFS, que não ocorre no NTFS direto em
RDM ou em um datastore NFS;
• Na deleção dos discos, VMFS3, VMFS5 e
RDM não libera espaço (característica SAN)
– necessário “block reclamation”. Somente
NFS libera espaço (característica NAS).
Bom para ambiente dinâmicos (Cloud)

25. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
10 – Backup em fita
• VMFS (3 ou 5) e RDM: backup para fita com
agente instalado na máquina virtual e os
dados sendo copiados pela rede ethernet
para um Media Server e desde para Fita:
 Desvant.: Custo da aquisição de uma
licença do agente de backup e eventual
sobrecarga da rede ethernet da máquina
virtual ou do hypervisor durante a janela de
backup;
 Vant.: Granularidade de arquivos na VM.

26. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
10 – Backup em fita
• NFS: backup pelo protocolo NDMP. Storage
esteja conectado diretamente a um
dispositivo de fita (tape device):
 Vant.: não consome recursos do servidor
hypervisor e nem da VM. Custo baixo:
licenciamento apenas de um agente no
servidor de Backup;
 Desvant.: granularidade até o nível da VM,
mas não de arquivos dentro da VM. OBS.:
Há métodos alternativos manuais.

27. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
11 – Trabalhos futuros
• Novas funcionalidades nas configurações
ethernet: Jumbo Frames, IPv6, etc;
• Analisar a influencia do VAAI (vStorage APIs
for Array integration);
• Explorar a desfragmentação dos filesystems
e alinhamentos de blocos no Storage;
• Estender os testes a outros hypervisors,
Citrix XenServer e Microsoft HyperV e
outros S.O. como Linux com FS ext3;

28. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
12 – Conclusão
• Desempenho: VMFS5 um pouco melhor na
1ª exec + prep; NFS melhor a partir da 2ª
execução, mais eficiente sob fragmentação;
• Provisionamento: após deleção NFS mais
eficiente na liberação de espaço no storage
(ambientes dinâmicos – Cloud);
• Backup em fita: VMFS e RDM restauração
granular de arquivos, com desvantagens de
maior custo e utilização de recursos do
servidor. NFS, backup via NDMP storage
para fita, restore granular manual.

29. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
ApêndicesvSphere

30. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
ApêndicesIOMeter

31. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
ApêndicesIOMeter

32. Proibida cópia ou divulgação sem permissão escrita do CMG Brasil.
Apêndices
Storage