Your SlideShare is downloading. ×
WLM-Managed Batch - Implementação no amiente Itaú por João Dias de Carvalho Neto
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

WLM-Managed Batch - Implementação no amiente Itaú por João Dias de Carvalho Neto

201
views

Published on

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
201
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. WLM-MANAGED BATCH Implementação no ambiente Itaú Por João Dias de Carvalho Neto Especialista de Suporte de Sistemas Banco Itaú Nos dias de hoje concluir o processamento batch dentro de uma janela cada vez menor devido ao crescimento do segmento online tornou-se um desafio. Este artigo tem por objetivo divulgar a todos os envolvidos com processamento batch centralizado em plataformas mainframe, as experiências dos analistas do Itaú na implementação de processos que reduzissem o tempo necessário para cumprir os SLAs.Nos dias de hoje por razões de disponibilidade que se homem. Neste ponto surgiram os softwarestornaram obvias, o período do dia destinado a especializados em Planejamento de Controle detransações online tem aumentado constantemente. Produção (PCPs). Estas facilidades baseian-se numEsta disponibilidade que tende a ser 24x7 tem fluxograma previamente planejado e a partir dasafunilado cada vez mais a janela destinada ao condições de predecessores e sucessores os jobs sãoprocessamento Batch, com isto cumprir os SLAs submetidos aos sistemas ou a um determinado sistema.dentro desta janela passou a ser um desafio. Outra facilidade disponibilizada foi a utilização de umComo distribuir os jobs pelas diferentes partições de único Spool para centralizar os jobs que aguardamum sysplex? O que fazer caso um cancelamento de execução, criando um ambiente multi-access spoolprograma atrasar todo um cronograma? E se um (MAS). Desta forma através de ciclos de tempo cadasistema parar? sistema de um ambiente MAS tem o controle do Spool,Em situações normais, para se controlar e planejar a podendo selecionar os jobs para execução. Estadistribuição dos jobs é necessário um forte facilidade é denominada Shared Spool. Dentro de umenvolvimento de pessoas. Em situações de ambiente Sysplex, podemos ter vários membros MAS, eproblemas, certamente este envolvimento será ainda dentro de cada MAS um ou mais PCPs.maior, e assim como em situações normais, sujeito aerros. Agrupamento de jobs No sentido de otimizar ao máximo a execução dosjobs, e reduzir ao mínimo problemas que impactem o O primeiro passo no caminho da distribuição dinâmicacumprimento dos SLAs, em nossa instalação optamos de jobs foi a classificação destes em classes afins.por utilizar as facilidades do WLM. O objetivo é Neste trabalho foram contemplados em torno deauxiliar no cumprimento do cronograma batch, 130.000 jobs que foram agrupados basicamente emdirecionando e balanceando dinamicamente os jobs função do recurso necessário para sua execução (DB2,entre os sistemas, e racionalizando a utilização de IMS, MQSERIES, HPU, etc...). Associados à estesrecursos. diferentes grupos foram criados cartões de controle para o PCP, desta forma os jobs eram direcionados aosPRÉ REQUISÍTOS PARA IMPLEMENTAÇÃO sistemas que possuem os recursos.PCP e SHARED SPOOLNa década de 80 teve início uma explosão no IMPLEMENTAÇÃOportifólio de serviços disponíveis automaticamente aosusuários, e com isso houve um conseqüente aumento JES2 Managed Initiatorsno volume de processamento batch que passou a tersua maior parte executada no período noturno. O Quando os jobs são carregados no SPOOL, estes sãovolume imenso de jobs a ser submetido não podia associados a uma determinada classe de execuçãomais ficar sob responsabilidade do ser humano, este (JOBCLASS). Se estamos trabalhando com initiatorscontrole se tornou fisicamente impossível para o JES2 Managed, estes estão previamente definidos na
  • 2. JES2PARM (INITDEF), e podem ser started em tempo WLM Managed Initiatorsde IPL ou posteriormente através de comando de JES(operação ou automação). Importante é que para um Se estamos trabalhando em ambiente MAS e initiatorsjob ser executado deve existir disponível um initiator WLM managed, estes não estarão previamenteque atenda esta classe. definidos na JES2PARM (INITDEF) e somente serãoAté ocorrer a implementação do ambiente MAS, disponibilizados quando um ou mais jobs chegaremnossos jobs eram direcionados para um determinado para ser executados. Estes jobs serão direcionadossistema através do cartão /*XEQ que direcionava o job para qualquer dos sistemas que tenha o schedulingpara o node que representa um sistema especifico. environment disponível até que um deles atinja maisO direcionamento dos jobs para um MAS é feito via que 95% de utilização ou o PI da service class nãocartão controle através de /*XEQ e para um sistema esteja sendo alcançado. Neste caso o WLM nãoespecífico soma-se o cartão /*JOBPARM SYSAFF. direciona mais jobs para este sistema, procurando outroCom esta modalidade de submissão, os jobs são com menor carga.incondicionalmente destinados a um sistema dentro Esta capacidade de direcionamento para outro ambientede um SYSPLEX. Esta metodologia tem por com menor carga, promove a distribuição dinâmica einconveniente que um job pode ser direcionado para redirecionamento automático de jobs, reduzindo auma máquina que esteja super utilizada e neste caso probabilidade de erros e o maior cumprimento dospoderá sofrer delay por CPU ou periféricos, que SLAs.resultarão em atraso no cumprimento do SLA.Em resumo ao trabalhamos com initiators JES2 Starting Initiatorsmanaged, a distribuição do workload entre ossistemas se torna trabalhosa por ser manual em Os jobs que executarão em inititators WLM managed,quase sua totalidade e por isso de difícil percepção de são associados a classe de execução cuja jobclass nagargalos, mais propensa a erros e conseqüente risco SYS1.PARMLIB esteja como MODE=WLM. Neste casode atraso em SLAs. o WLM executará a proc existente na SYS1.PROCLIB(INIT) e o initiator será aberto.Resource Avalibility Scheduling Importante ressaltar que este initiator será fechado caso não seja mais necessário, diferentemente dos initiatorsSe estamos trabalhando em ambiente MAS, mesmo JES2 managed que ficam abertos até que seja emitidoutilizando initiators JES2 managed podemos definir um comando para fechá-lo.logicamente “recursos” para o WLM a fim de Em caso de submissão massiva de jobs, deve-se alertardirecionar um job para um dos sistemas onde os que novos initiators são abertos de 5 em 5 a cada 10“recursos” necessários (IMS, DB2, CICS, outros) para segundos (ciclo do WLM).sua execução estejam disponíveis. A uma Outro caso específico é o release no job via comandocombinação destes “recursos” denominamos de operação. Não é possível abrir initiators WLMScheduling Environments, e estes são identificados no managed via comando de operação.JCL através da keyword SCHENV. Esta facilidade édenominada RAS (Resource Availability Scheduling). Stopping InitiatorsPorém sempre existe um trabalho grande deretaguarda para explorarmos estas facilidades, e que Conforme comentamos um initiator WLM managed nãoneste caso consiste do conhecimento de sua carga permanece aberto indefinidamente. Quando o WLMbatch, seus SLAs e suas prioridades, para desta detectar que o número de inits WLM abertos é 1,5 vezforma criar uma definição adequada de recursos. maior que a fila de jobs aguardando execução ele iniciaQuanto melhor definidos e associados estes recursos um processo de fechar os initiatos excedentes. Outramais eficaz será o trabalho do WLM. situação é quando os goals da service class associada aCom estas facilidades podemos garantir que um job estes jobs não estiver sendo atingido por falta desomente será executado em um dos sistemas onde os memória ou processador. Neste caso o WLM também“recursos” necessários para sua execução estejam procederá o close dos initiatos. Não é possível fechardisponíveis. estes initiators via comando de operação.Outro ponto a ser lembrado é a utilização defacilidades como System Automation, para variarautomaticamente os “recursos” ON ou OFF ou RESET Forcing Immediate Initiationimediatamente após o IPL. Ou colocar um “recurso”OFF quando um produto “cai” ou ON quando este é Quando um job necessita ser executado em umareativado. máquina específica, e esta não tem recursos disponíveis, o WLM não iniciará este processamento. O
  • 3. job ficará aguardando até que haja disponibilidade de Aferiçãorecursos ou até que o job seja liberado via comandode operação. Este é o único caso possível de se A aferição de ganhos quando se utilizando distribuiçãoforçar o start de initiator WLM managed. de batch via initiators WLM managed pode ser feita de várias maneiras, porém para isto é importante termosJob Class Limit dados históricos, semelhantes a média de wait por job; quantidade de remanejamento de jobs entre sistemas;Existe a possibilidade de se limitar o número de jobs número de vezes que os SLAs são atendidos dentro doprocessados em uma determinada classe através do tempo combinado. gráficos com perfil de utilização deparâmeto XEQCOUNT=MAXIMUM=* especificado na recursos, etc...JES2PARM. É bom lembrar que esta definição é Tempos de wait aguardando initiators WLM podem servalida para todo o ambiente MAS. Outro limite ocorre obtidos em relatórios de workload do RMFquanto atingir o MAXUSER do sistema(SYS1.PARMLIB(IEASYSxx)). ConclusãoBenefícios Hoje em nossa instalação, em torno de 80% dos jobs batch processados estão associados a classe deHoje com o balanceamento sendo gerenciado pelo initiator WLM Managed. Os benefícios resultantes destaWLM, os jobs são direcionados para scheduling associação foram significativos, principalmente emenvironments específicos, e quando existe alta períodos que chamamos de fechamento (quando ocorreutilização de CPU ou memória em um sistema, o WLM o maior período de tempo executando grandedireciona automaticamente os jobs para outra quantidade de jobs em paralelo). Antes de explorar omáquina com maior disponibilidade de recursos, balanceamento via WLM, era necessário que analistasproporcionando uma distribuição rápida e segura. Este de produção ficassem alocados apenas para remanejarganho reflete-se em vários pontos, porém um dos que jobs entre os sistemas, e em virtude destevale ressaltar é no wait por CPU. Antes quando um remanejamento englobar muitos jobs, o resultado obtidojob era direcionado para um sistema nem sempre era satisfatório.independentemente deste ter ou não recursos para A utilização efetiva de balanceamento de carga batchatender a demanda, o tempo que este job permanecia via initiator WLM Managed, nos trouxe ganhosem wait por CPU ou mesmo memória era muito maior significativos em termos de gerenciamento e distribuiçãodo que os tempos hoje observados, pois como o WLM de recursos para atendermos os SLAs no menor tempodireciona os jobs para ambiente onde existem possível.recursos disponíveis os jobs não sofrerão tanto delay. O importante é que este tipo de implementação sejaEm resumo, o tempo em que o job espera para ser feita de forma escalonada, fazendo-se aferições a cadadirecionado para outro sistema é muito menor que a etapa até chegarmos ao tunning fino no final do projeto.soma dos waits que ele teria se não fosseremanejado. Com isto podemos garantir uma melhor Dúvidasfluidez de processamento e consequentemente ocumprimento mais rápido dos SLAs acordados sem A fim de complementar informações que não tenhamnecessidade de priorização de jobs. sido focadas em sua totalidade, ou qualquer outraOutro grande ganho observado, foi com relação a dúvida, nos colocamos a disposição através de:manutenção em softwares específicos (DB2; IMS; e-mail = JOÃO.CARVALHO-NETO@IITAU.COM.BRHPU) nesta situação pode-se inibir antecipadamente a fone = (011) 3274-9054execução de jobs que utilizarem este recurso apenas Banco Itaúconfigurando OFF o Recurso associado ao software.Também quando é necessário entregar uma máquinapara manutenção, neste caso definimos um recursogenérico denominado “System” e que faz parte detodos os scheduling environments, quando esterecurso é colocado OFF em um determinado sistemaa partir deste momento nenhum job WLM managedserá iniciado nesta máquina.