O documento discute o CPU Measurement Facility (CPU MF) do z Systems, que permite monitorar o desempenho do hardware. Apresenta os componentes do CPU MF (samples e counters), como configurá-lo e os dados que fornece. Também explica a métrica Relative Nest Intensity (RNI) e como é usada no Large System Performance Reference (LSPR) para caracterizar workloads. Por fim, introduz a ferramenta zProcessor Capacity Reference (zPCR) para dimensionamento de sistemas z.

1. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CMG imPACt Maio 2017
Carolina de Souza Joaquim
Behind the Scenes: z Systems CACHE

2. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Apresentação
Carolina de Souza Joaquim
•Especialista em TI com 17 anos de experiência.
•Graduada em Processamento de Dados pela Universidade
Mackenzie;
•Pós-Graduada em Arquitetura de TI pela Faculdade de Informática e
Administração Paulista (FIAP).
•Posição atual: z Systems Client Architect na IBM.

3. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Agenda
• CPU Measurement Facility (CPU MF);
• Relative Nest Intensity (RNI);
• LSPR (Large System Performance Reference);
• zPCR (System z Processor Capacity Reference);
• Conclusão e Dúvidas

4. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CPU Measurement Facility (CPU MF)

5. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
O que é CPU Measurement Facility (CPU MF)
• Intrumentação de Hardware suportada pelo componente z/OS Hardware
Instrumentation Services (HIS);
• Disponível a partir do System z10EC GA2 e z/OS 1.11 (retrofit para z/OS
1.8);
• Possibilita um entendimento mais amplo do uso da Memória Hierárquica do
Hardware e suas diferenças entre gerações;
• Possui duas funções independentes:
• Samples;
• Counters;

6. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CPU MF Samples
• Deve ser ativado somente se necessário e por curto período de tempo, pois gera
overhead de CPU e volume grande de dados gravados;
• Dados são gravados por LPAR no Unix File System;
• HIS controla os buffers de armazenamento dos dados e a interrupção para coleta
assíncrona;
• Possui um snapshot de informações como instruction address, primary address,
space number e state information. Útil para desenvolvedores de software e
aplicativos, e também para problem determination;
• Proporciona a possibilidade de enriquecer o mecanismo de análise do
comportamento de programas a um nível nunca antes disponível;
• Na zEC12 sua coleta necessita de intervenção do técnico IBM para ativação;
• Na z13 a IBM alterou o processo de ativação e o próprio cliente pode ativar, porém
com orientação da IBM sobre intervalo e parametrização.

7. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CPU MF Counters
• Tipos de Counters:
• Basic (ciclos, instruções Level1 usage);
• Problem-state (Logical CPU em problem state);
• Group Counter (não recomendado/descontinuado);
• Crypto-activity (CPACF activity);
• Extended (mais detalhes sobre Nest e TLB-diferente entre as gerações);
Basic e Extended devem estar habilitados.
• Dados são gravados por LPAR no Unix File System (opcional, .cnt file) e/ou no
SMF, registro type 113 subtype 1 e subtype 2;
• CPU Overhead e espaço:
• Mínimo (tende a 0), não necessita muito espaço para gravação (1,2% do SMF
70 e 72);
• Recomendação:
• Que esteja ativo em todas as Partições;

8. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CPU MF Counters (cont.)
• Indica a frequência do vários eventos de Hardware como ciclos por
instruções e cache misses;
• Possibilita uma visão única do uso da estrutura de Cache a partir da z10;
• Input para cálculo da Métrica Relative Nest Intensity (RNI);
• Útil para determinar qual é o melhor perfil de workload da instalação dentro
do Large Systems Performance Reference (LSPR);
• Possibilita um entendimento mais amplo do uso da Memória Hierárquica do
Hardware e suas diferenças entre gerações;

9. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CPU MF Counters - SMF 113 subtype 1 e subtype 2
• Até o z/OS 2.1, somente subtype 2 era utilizado, subtype 1 era reservado;
• zEC12 e z/OS 2.1: Subtype 1 e Subtype 2 possuem as mesmas informações
para os Counters Basic, Crypto, Extended;
• z13 e z/OS 2.1: Subtype 1 e Subtype 2 possuem as mesmas informações
para os Counters Basic e Crypto. Porém é mais completo para os Counters
Extended;
• Dados são gravados por LPAR no registro SMF type 113 sutype 2 e 1 e/ou
no Unix File System (.cnt file);

10. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CPU MF Counters – Aplicabilidade
• Dado complementar para:
• Análise de performance de dados já existentes como SMF, RMF, DB2, CICS,
etc.
• Ajuda a entender o motivo de uma mudança de comportamento do workload;
• Suportado por muitos produtos, como o Tivoli TDSz e Spark on z/OS;
• Exemplos
• Impacto do HiperDispatch;
• Mudança de configuração (LPARs adicionais, quantidade de processadores)
• Mudanças de Aplicação
• Upgrades físicos e mudança de geração de máquina
• Suporte ao planejamento de Capacidade
• Utilização do Crypto CPACF
• etc…

11. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CPU MF Counters – Aplicabilidade Exemplo
• Após upgrade de uma máquina existente ou migração para nova geração
• Possível comparar o comportamento do uso dos diversos níveis de CACHE para identificar
ganhos/perdas. Por exemplo, após adoção de nova geração a quantidade de Ciclos por
Instrução diminuiu/aumentou, o que é um indicativo de eficiência.
zEC12 = CPI 5 / L1 Miss 2,0%
z13 = CPI 4 / L1 Miss 1,7%
• Comportamento atípico
• Em determinados períodos de execução nota-se perda de eficiência para alguns Workloads
Comportamento Normal: CPI 4, L1 Miss 1,7%, MEMP 4
Comportamento Atípico: CPI 10, L1 Miss 1,7%, MEMP 9

12. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Processo para Habilitar o CPU MF Counters
• Hardware e Software mínimos;
• Autorizar a coleta para cada LPAR através do HMC ou SE;
• Definir um userid de RACF para o HIS (started task);
• Verificar se o SMF está ok para coletar os dados;
• Definir HIS em uma Service Class do WLM;
• Configurar o UNIX File System que armazenará os dados;
• Modificar o modo de gravação do SMF para processar e salvar o SMF
Type 113;
• HIS MVS START;

13. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Estruturas de CACHE e
Relative Nest Intensity (RNI)

14. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
z10 x z196 Estrutura de CACHE

15. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
z196 x zEC12 Estrutura de CACHE

16. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zEC12 x z13 Estrutura de CACHE

17. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
O que é Relative Nest Intensity (RNI)
• Reflete a distribuição e latência dos dados na estrutura de CACHE e Memória
entre diferentes arquiteturas;

18. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Cálculo RNI
• For z10 EC and BC RNI = (1.0*L2LP + 2.4*L2RP + 7.5*MEMP) / 100
• For z196 / z114 RNI = 1.67*(0.4*L3P + 1.0*L4LP + 2.4*L4RP + 7.5*MEMP) / 100
• For zEC12 RNI = 2.2*(0.4*L3P + 1.2*L4LP + 2.7*L4RP + 8.2*MEMP) / 100
• For z13 RNI = 2.6*(0.4*L3P + 1.6*L4LP + 3.5*L4RP + 7.5*MEMP) / 100
• For z13 RNI = 2.3*(0.4*L3P + 1.6*L4LP + 3.5*L4RP + 7.5*MEMP) / 100
(Updated!)
(fórmulas são revisadas e sujeitas a mudanças)
L2LP = L2 CACHE no mesmo book/drawer do processador;
L2RP = L2 CACHE em books/drawer diferentes do processador;
L3P = L3 CACHE no mesmo CHIP do processador;;
L4LP = L4 CACHE no same book/drawer do processador;
L4RP = L4 CACHE em books/drawers diferentes do processador;
MEMP = Memória no mesmo book/drawer ou books/drawers diferentes do processador;

19. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Large Systems Performance Reference (LSPR)

20. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Introdução LSPR
• LSPR é um conjunto de benchmarks da IBM com o objetivo de definir e
categorizar tipos de Workloads;
• Historicamente esses benchmarks eram executados e caracterizados
conforme o tipo de workload;
• Uma relação era realizada entre os vários tipos de workloads
executados e os dados SMF coletados referente a quantidade de I/Os
por MSUs;
• Eram considerados diferentes releases de SCP (Sistema Operacional);

21. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Introdução LSPR (cont.)
• Como os índices eram diversos, uma média era calculada e essa média era usada comercialmente na
“LSPR MIPS TABLE”;
• Com a introdução do CPU-MF, determinação de L1 misses e o Cálculo do RNI, agora é possível uma
nova classificação a ser utilizada nas tabelas LSPR, baseada em dados de instalações reais e com
maior precisão;
• Para uso comercial, a “LSPR MIPS TABLE” é agora baseada no RNI Average, que é o Workload de
classificação mais comum nas maioria das instalações analisadas com dados reais;
• O resultado é a publicação da tabela LSPR com um índice ITR (Internal Throughput Rate);

22. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
LSPR Workload MIPS (antigo LSPR Mixes)

23. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
LSPR Workload MIPS (atual)

24. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Caracterização de Workload

25. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Caracterização de Workload

26. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Cálculo RNI - relembrando
• For z10 EC and BC RNI = (1.0*L2LP + 2.4*L2RP + 7.5*MEMP) / 100
• For z196 / z114 RNI = 1.67*(0.4*L3P + 1.0*L4LP + 2.4*L4RP + 7.5*MEMP) / 100
• For zEC12 RNI = 2.2*(0.4*L3P + 1.2*L4LP + 2.7*L4RP + 8.2*MEMP) / 100
• For z13 RNI = 2.6*(0.4*L3P + 1.6*L4LP + 3.5*L4RP + 7.5*MEMP) / 100
• For z13 RNI = 2.3*(0.4*L3P + 1.6*L4LP + 3.5*L4RP + 7.5*MEMP) / 100
(Updated!)
(fórmulas são revisadas e sujeitas a mudanças)
L2LP = L2 CACHE no mesmo book/drawer do processador;
L2RP = L2 CACHE em books/drawer diferentes do processador;
L3P = L3 CACHE no mesmo CHIP do processador;;
L4LP = L4 CACHE no same book/drawer do processador;
L4RP = L4 CACHE em books/drawers diferentes do processador;
MEMP = Memória no mesmo book/drawer ou books/drawers diferentes do processador;

27. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Caracterização Workload LSPR
• Exemplos:
• L1MP 2% e RNI 0.5 = LOW
• L1MP 3% e RNI 0,7 = AVERAGE
• L1MP 3% e RNI 1,5 = HIGH
• L1MP 6% e RNI 1,0 = AVERAGE
• L1MP 6% e RNI 1,1 = HIGH (???) OU AVERAGE HIGH?

28. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
LSPR Workload MIPS (atual)
28
Don’t use “one number” capacity comparisons!
Customers can now use zPCR
?HiperDispatch
GHz
MIPs
tables
MSUs
ratings
The IBM Processor Capacity Reference (zPCR) is a free tool available for download that can be used to size your System z processors.

29. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zProcessor Capacity Reference (zPCR)

30. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zPCR Introdução
• A ferramenta fornece uma relação de sizing entre diferentes famílias System z,
considerando:
• Configurações de cada LPAR (pesos, processadores lógicos)
• SCP (Sistema Operacional);
• Caracterização do workload (LSPR Table baseado no RNI);
• Uso de processadores especialistas (zAAP, zIIP, IFL e ICF);
• Baseado no IBM Large Systems Performance Reference (LSPR)
• É a ferramente apropriada para sizing de upgrades;
• Margem de erro ±5%
• zPCR é uma ferramenta escrita em JAVA disponível desde 2005 para clientes
• Windows XP/Vista/7;
• Free e “As Is”;
• Disponível em:
• http://www-03.ibm.com/support/techdocs/atsmastr.nsf/WebIndex/PRS1381

31. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zPCR Método do Input dos Dados
• 1 – Manualmente
• Nova configuração;
• Configuração existe mas não há outro meio disponível;
• 2 – RMF
• Quando existe uma configuraçao atual e que será alterada;
• 3 - EDF File
• A configuração atual já existe e será utilizado os dados CPU MF para um
estudo mais acurado.

32. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zPCR Exemplo zEC12 Workload Low e Average e Low-Average
• zEC12 HA1 715 COM 2 zIIPs
• MIPS LSPR Average = 16.994 MIPS
• LCP:RCP 2
Low-Average

33. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zPCR Exemplo zEC12 Workload Average e High e Average-High
• zEC12 HA1 715 COM 2 zIIPs
• MIPS LSPR Average = 16.994 MIPS
• LCP:RCP 2
Average-High

34. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zPCR Exemplo z13 Workload Low e Average e Low-Average
• z13 NE1 715 COM 2 zIIPs
• MIPS LSPR Average = 18.700 MIPS
• LCP:RCP 2
Low-Average

35. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
zPCR Exemplo z13 Workload Average e High e Average-High
• z13 NE1 715 COM 2 zIIPs
• MIPS LSPR Average = 18.700 MIPS
• LCP:RCP 2
Low-Average

36. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
z13 CP Drawer Distribution

37. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Conclusões e Dúvidas
• Coletem o CPU MF Counters...sem medo!
• Gerações diferentes de Hardware são, de fato, diferentes.
• A eficiência começa no planejamento adequado.
• Usem as ferramentas disponíveis a seu favor.
• Have fun 

38. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Referências
• Documento LSPR
https://www-304.ibm.com/servers/resourcelink/lib03060.nsf/pages/lsprindex?OpenDocumenthttp
• Getting Started with zPCR
http://www-03.ibm.com/support/techdocs/atsmastr.nsf/WebIndex/PRS1381
• Setting Up and Using System z CPU Measurement Facility with z/OS - RedBook
• CPU MF - 2012 Update and WSC Experiences – John Burg presentation
http://www-03.ibm.com/support/techdocs/atsmastr.nsf/WebIndex/TC000066
• Capacity Planning: Where the Mistakes Are – Kathy Walsh Presentation
• Technical Leadership Library (TLLB) for IBM z13 (z13), zEC12, z196, z10 - Parwez Hamid