Análise da causa raiz de comportamento anômalo em ambientes de infraestrutura computacional por Daniel Segabinazzi, José Luiz Filho e Leandro Akune - IPT
O modelo de utilização dos recursos computacionais vem passando por grandes transformações o que implica numa grande quantidade de registros gerados. Seja numa estrutura clássica ou no conceito de entrega de serviço, muitos registros são gerados e armazenados nos logs de cada recurso oferecido. Existem propostas de consolidar todos esses logs a fim de facilitar a análise das ocorrências, porém ainda assim é uma grande quantidade de dados concentrada e nem sempre num formado padronizado e estruturado de armazenamento. Esse artigo aborda essa questão de como classificar, extrair dados relevantes de diferentes fontes de armazenamento e apontar onde está a causa raiz de um comportamento anômalo a fim de minimizar o impacto dessa condição que afeta a disponibilidade dos recursos computacionais.
O mercado está explorando cada vez mais as tecnologias de redes definidas por software (sdn) e de virtualização de funções de rede (nfv), realizando pilotos em data centers, operadoras de telecomunicações, redes wan e em outros segmentos. No entanto, nota-se um crescimento de ambientes em produção, o que traz novos desafios ao gerenciamento da rede, especialmente na medição de capacidade e performance. Esta apresentação contém um plano para guiar empresas na definição de indicadores, processos, ferramentas e papéis para responder adequadamente a estes desafios colocados pelas redes virtuais.
Em tempos de Redes Sociais e Internet das Coisas, cujo crescimento do workload é geralmente muito alto e extrapola qualquer demanda inicialmente prevista, vamos abordar nesta sessão alguns conceitos e técnicas que podem ajudar no planejamento de capacidade de sistemas com estas características, e que também podem ser aplicados a alguns sistemas tradicionais.
O documento apresenta o processo, ferramentas e resultados de um estudo de planejamento e performance na consolidação de CECs mainframe. O objetivo era melhorar a utilização de recursos e reduzir custos ao consolidar vários CECs em um único sistema z13, avaliando a configuração, capacidade e desempenho antes e depois da mudança. As ferramentas utilizadas incluíram LPAR Design, zPCR e registros SMF para análise. Os resultados indicaram aumento na capacidade e eficiência após a consolidação.
O documento discute a importância da qualidade do código-fonte para o desempenho e capacidade de aplicações. A qualidade do código impacta diretamente a performance, capacidade e manutenibilidade de software. Normas como ISO 9126 e 25010 estabelecem modelos para avaliação da qualidade de software.
A Transformação Digital já é considerada por vários cientistas e historiadores como a maior revolução da humanidade, gerando mais e maiores impactos do que a Revolução Agrícola e a Revolução Industrial.
Além de impactar a sociedade como um todo, a Trasformação Digital, também chamada de Revolução Digital, impacta particularmente a indústria de TI, trazendo rupturas para as áreas de TI das empresas, para os profissionais de TI e fornecedores. Essas rupturas, se bem exploradas, podem representar novas oportunidades para todos; caso contrário, representarão apenas ameaças.
Nessa apresentação pretendemos discutir as revoluções que a Transformação Digital e suas respectivas tecnologias estão causando na indústria, em especial nas práticas de Banco de Dados, desenvolvimento de aplicações, plataformas computacionais, estrutura organizacional da TI e algumas mudanças de padrões culturais que sustentam essa transformação.
Ao final apresentaremos uma proposta de arquitetura corporativa que permite às empresas acelerarem sua Transformação Digital com menor impacto na sua estrutura técnica e organizacional.
O documento discute o conceito de Internet das Coisas (IoT) e seu impacto no planejamento de capacidade de TI. Apresenta IoT como a conexão de dispositivos eletrônicos e não eletrônicos à internet usando sensores. Discutem exemplos de uso, benefícios de investimento, impacto em telecomunicações e recursos de TI, métricas a serem analisadas e desafios para o planejamento de capacidade em um mundo cada vez mais dependente de dispositivos conectados.
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
Geralmente escolhemos uma medida base como, por exemplo, o pico da média horária, ou o pico de um determinado período definido, para mostrar a evolução mensal do consumo de processador passado e fazer projeções de consumo futuro até uma determinada data. Esta medida, porém, pode não justificar, por si só, o crescimento de determinados meses. A proposta aqui é usar a evolução do perfil médio diário de consumo, analisando as mudanças de um mês para outro, e ao longo de anos, que pode ser aplicada à partição, equipamento ou Sysplex. Com essa visão é possível mais rapidamente identificar tendências de crescimento por horários e fazer ajustes no consumo de modo a minimizar os picos recorrentes.
O mercado está explorando cada vez mais as tecnologias de redes definidas por software (sdn) e de virtualização de funções de rede (nfv), realizando pilotos em data centers, operadoras de telecomunicações, redes wan e em outros segmentos. No entanto, nota-se um crescimento de ambientes em produção, o que traz novos desafios ao gerenciamento da rede, especialmente na medição de capacidade e performance. Esta apresentação contém um plano para guiar empresas na definição de indicadores, processos, ferramentas e papéis para responder adequadamente a estes desafios colocados pelas redes virtuais.
Em tempos de Redes Sociais e Internet das Coisas, cujo crescimento do workload é geralmente muito alto e extrapola qualquer demanda inicialmente prevista, vamos abordar nesta sessão alguns conceitos e técnicas que podem ajudar no planejamento de capacidade de sistemas com estas características, e que também podem ser aplicados a alguns sistemas tradicionais.
O documento apresenta o processo, ferramentas e resultados de um estudo de planejamento e performance na consolidação de CECs mainframe. O objetivo era melhorar a utilização de recursos e reduzir custos ao consolidar vários CECs em um único sistema z13, avaliando a configuração, capacidade e desempenho antes e depois da mudança. As ferramentas utilizadas incluíram LPAR Design, zPCR e registros SMF para análise. Os resultados indicaram aumento na capacidade e eficiência após a consolidação.
O documento discute a importância da qualidade do código-fonte para o desempenho e capacidade de aplicações. A qualidade do código impacta diretamente a performance, capacidade e manutenibilidade de software. Normas como ISO 9126 e 25010 estabelecem modelos para avaliação da qualidade de software.
A Transformação Digital já é considerada por vários cientistas e historiadores como a maior revolução da humanidade, gerando mais e maiores impactos do que a Revolução Agrícola e a Revolução Industrial.
Além de impactar a sociedade como um todo, a Trasformação Digital, também chamada de Revolução Digital, impacta particularmente a indústria de TI, trazendo rupturas para as áreas de TI das empresas, para os profissionais de TI e fornecedores. Essas rupturas, se bem exploradas, podem representar novas oportunidades para todos; caso contrário, representarão apenas ameaças.
Nessa apresentação pretendemos discutir as revoluções que a Transformação Digital e suas respectivas tecnologias estão causando na indústria, em especial nas práticas de Banco de Dados, desenvolvimento de aplicações, plataformas computacionais, estrutura organizacional da TI e algumas mudanças de padrões culturais que sustentam essa transformação.
Ao final apresentaremos uma proposta de arquitetura corporativa que permite às empresas acelerarem sua Transformação Digital com menor impacto na sua estrutura técnica e organizacional.
O documento discute o conceito de Internet das Coisas (IoT) e seu impacto no planejamento de capacidade de TI. Apresenta IoT como a conexão de dispositivos eletrônicos e não eletrônicos à internet usando sensores. Discutem exemplos de uso, benefícios de investimento, impacto em telecomunicações e recursos de TI, métricas a serem analisadas e desafios para o planejamento de capacidade em um mundo cada vez mais dependente de dispositivos conectados.
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
Geralmente escolhemos uma medida base como, por exemplo, o pico da média horária, ou o pico de um determinado período definido, para mostrar a evolução mensal do consumo de processador passado e fazer projeções de consumo futuro até uma determinada data. Esta medida, porém, pode não justificar, por si só, o crescimento de determinados meses. A proposta aqui é usar a evolução do perfil médio diário de consumo, analisando as mudanças de um mês para outro, e ao longo de anos, que pode ser aplicada à partição, equipamento ou Sysplex. Com essa visão é possível mais rapidamente identificar tendências de crescimento por horários e fazer ajustes no consumo de modo a minimizar os picos recorrentes.
1. O documento apresenta um catálogo de processos de TIC com suas respectivas áreas, descrições, custos, ações para implantação e responsáveis.
2. Os processos incluem software para agendamento de consultas médicas, sistema de clonagem de equipamentos, uso da rede social Cahier e aplicativo Waze.
3. O catálogo também descreve processos relacionados a sistemas integrados de gestão, business intelligence, controle de versão de código e análise de servidores e aplicações.
O documento discute a evolução da gestão de capacidade e planejamento de capacidade desde os primórdios até a criação do ITIL. Também aborda como esses conceitos evoluíram com a adoção do ITIL e mudanças nas tecnologias como cloud computing. Apresenta os principais conceitos de gestão de capacidade no ITILv3 de 2011 e como eles precisam ser adaptados para um modelo de nuvem.
O documento descreve a jornada de definição da estratégia de nuvem de um banco brasileiro. O processo envolveu análises técnicas e estratégicas das aplicações, provedores de nuvem e cenários de migração, com o objetivo de identificar as aplicações ideais para a nuvem e os melhores caminhos de migração. A estratégia definida prioriza o uso de nuvem para novos projetos e estima potencial de até 40% das aplicações existentes migrarem para a nuvem.
O documento fornece uma lista de softwares e descrições breves sobre o Nagios, IClinic, Cahier, Hábil Empresarial, OpenCRX, Redmine, Oracle Business Intelligence, ERP Microsiga Protheus, Microsoft System Center Service Manager, Waze e Hangouts. O Nagios é um software de monitoramento de rede open source que monitora hosts e serviços. O IClinic é um software de gestão clínica que auxilia na marcação e gestão de consultas online. O Cahier é uma rede social corporativa colaborativa.
Avaliação de arquiteturas de uma solução de Backup na NuvemKleber Silva
Nessa apresentação iremos analisar a evolução e pré-requisitos dos Backups corporativos, avaliando as diferenças das arquiteturas disponíveis de Backup com armazenamento na Nuvem, para definir melhores práticas de desempenho e capacidade para a implementação de uma solução para empresas
COMPUTAÇÃO EM NUVEM: ESTUDO DE CASO EM UMA EMPRESA DE TECNOLOGIA DA INFORMAÇÃOAllan Reis
O documento descreve os conceitos e aplicações da computação em nuvem, incluindo como as empresas podem fornecer serviços de software, plataforma e infraestrutura como serviço. Também discute os tipos de nuvens públicas, privadas e híbridas e como a computação em nuvem pode afetar os sistemas, funcionários e segurança de uma empresa de tecnologia da informação.
O documento discute melhores práticas de planejamento de capacidade aplicadas em um projeto de recuperação de desastres (DR). Ele descreve como o projeto, inicialmente focado em continuidade de negócios, também abordou problemas de desempenho e capacidade no ambiente de produção, melhorando significativamente o desempenho de uma aplicação crítica por meio de otimizações de hardware e armazenamento.
1. O documento descreve as etapas e conceitos fundamentais para a elaboração de um projeto de rede, incluindo a análise de requisitos, custo versus benefício e análise de negócio.
2. As principais fases de um projeto de rede são a análise de requisitos, projeto lógico e projeto físico. Na análise de requisitos, busca-se entender as necessidades da empresa, objetivos, impactos e restrições do projeto.
3. A análise de custo versus benefício e a anál
O documento discute as tecnologias de computação empresarial moderna para cargas de trabalho de negócios. Ele descreve como infraestrutura flexível, escalabilidade não disruptiva, continuidade de negócios e eficiência operacional permitem aplicações corporativas modernas e liberdade através de padrões abertos. A segurança de dados confidenciais é essencial nesse ambiente.
Este documento resume as principais características e vantagens da plataforma de virtualização Red Hat Enterprise Virtualization (RHEV) comparada a outras soluções. O RHEV oferece desempenho superior, segurança, alta disponibilidade, gerenciamento centralizado e custo total de propriedade mais baixo do que alternativas como o VMware vSphere. O documento também apresenta a roadmap de desenvolvimento do RHEV.
Agile Trends 2018 - Além da Automação com Machine LearningEmerson Bertolo
O documento discute como o machine learning pode ser aplicado para melhorar os processos de automação de testes de software. Ele apresenta um caso em que modelos preditivos foram treinados com dados históricos de ciclos de teste para prever atrasos com 80% de acurácia. Também mostra como redes neurais podem ser usadas para detectar elementos de interface em telas e automatizar cliques por meio de visão computacional.
Este documento resume uma apresentação sobre skills de desenvolvedores em ambientes low code. A apresentação discute: 1) Como equipes de desenvolvimento usaram plataformas low code para soluções de clientes; 2) Skills relevantes como modelagem de dados e modularização ainda são importantes; 3) Desenvolvedores com skills técnicas têm vantagem em ambientes enterprise low code.
[MTC 2021] As 8 melhores práticas e formas de simplificar e estruturar todos...minastestingconference
O documento discute 8 melhores práticas para simplificar e estruturar testes automatizados, incluindo reutilização de códigos, execução paralela de testes, uso de arquivos de configuração, integração com APIs externas, documentação do projeto e testes em diferentes níveis.
Análise e Utilização de Gestão do Conhecimento no Apoio ao Desenvolvimento de...Luiz Matos
Aborda os preceitos da Gestão do Conhecimento, Framework de Trittmann e o processo de implantação (atividades de GC). Efetua-se a definição de um estudo experimental hipotético.
O documento descreve a metodologia "top-down" para projeto e planejamento de redes. Ele explica que essa metodologia envolve começar pelo alto nível, considerando os objetivos do cliente e aplicativos, e então projetar os detalhes técnicos. Também discute as vantagens de usar uma topologia hierárquica e as funções das camadas de núcleo, distribuição e acesso nessa topologia.
O documento discute a implementação de um Plano de Desenvolvimento em Tecnologias de Informação e Comunicação (PDTIC) para a Universidade Federal de Sergipe (UFS). Ele analisa o banco de dados atual da UFS, identifica problemas como redundância de dados e ausência de interoperabilidade entre sistemas, e sugere soluções como a adoção do PostgreSQL e a implementação de um data warehouse para melhorar a gestão da informação.
O documento discute a utilização da computação em nuvem para garantir a continuidade dos negócios através da tolerância a desastres. Ele apresenta métodos de pesquisa sobre replicação de dados em nuvens públicas e privadas usando point-in-time para recuperação de dados após incidentes. Também analisa cenários de falhas e a definição de parâmetros como Recovery Point Objective (RPO) para alinhar a tecnologia às necessidades do negócio.
1) O documento apresenta os papéis e técnicas de automação de testes para equipes ágeis, discutindo como a automação pode ajudar a resolver problemas como falta de tempo para testar e garantir a qualidade ao longo dos sprints. 2) É destacado que nem todos os casos de teste devem ser automatizados e que é importante separar os ambientes de desenvolvimento e teste. 3) A apresentação discute diferentes níveis de automação, desde scripts lineares até abordagens data-driven e keyword-driven, concluindo que a combinação das últimas é a melhor opção
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
Evolução das arquiteturas para aplicações WebBreno Vitorino
O documento descreve a evolução das arquiteturas para aplicações Web, começando com as primeiras arquiteturas CGI e de linguagens de script para páginas dinâmicas, depois evoluindo para MVC, orientado a eventos e serviços Web. Também discute a importância de definir uma arquitetura para mitigar riscos e as necessidades de pessoal especializado para lidar com novos paradigmas de aplicações assíncronas e offline.
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Affinitas GmbH
O documento discute a arquitetura de pipelines de dados, comparando as arquiteturas Lambda e Kappa. Apresenta qualidades essenciais de um bom pipeline de dados, como segurança, automação, monitoramento e testabilidade. Destaca também onde a linguagem Python é útil, incluindo ferramentas como PySpark, Pandas, Airflow e bibliotecas para testes e validação.
1) O documento apresenta um resumo sobre Big Data, Data Driven, Cloud Computing e AWS. 2) Inclui definições sobre Data Lake, perfis na área de dados, computação on-demand e serverless. 3) Discutiu sobre a AWS, seus serviços, custos e casos reais de projetos de análise de dados.
1. O documento apresenta um catálogo de processos de TIC com suas respectivas áreas, descrições, custos, ações para implantação e responsáveis.
2. Os processos incluem software para agendamento de consultas médicas, sistema de clonagem de equipamentos, uso da rede social Cahier e aplicativo Waze.
3. O catálogo também descreve processos relacionados a sistemas integrados de gestão, business intelligence, controle de versão de código e análise de servidores e aplicações.
O documento discute a evolução da gestão de capacidade e planejamento de capacidade desde os primórdios até a criação do ITIL. Também aborda como esses conceitos evoluíram com a adoção do ITIL e mudanças nas tecnologias como cloud computing. Apresenta os principais conceitos de gestão de capacidade no ITILv3 de 2011 e como eles precisam ser adaptados para um modelo de nuvem.
O documento descreve a jornada de definição da estratégia de nuvem de um banco brasileiro. O processo envolveu análises técnicas e estratégicas das aplicações, provedores de nuvem e cenários de migração, com o objetivo de identificar as aplicações ideais para a nuvem e os melhores caminhos de migração. A estratégia definida prioriza o uso de nuvem para novos projetos e estima potencial de até 40% das aplicações existentes migrarem para a nuvem.
O documento fornece uma lista de softwares e descrições breves sobre o Nagios, IClinic, Cahier, Hábil Empresarial, OpenCRX, Redmine, Oracle Business Intelligence, ERP Microsiga Protheus, Microsoft System Center Service Manager, Waze e Hangouts. O Nagios é um software de monitoramento de rede open source que monitora hosts e serviços. O IClinic é um software de gestão clínica que auxilia na marcação e gestão de consultas online. O Cahier é uma rede social corporativa colaborativa.
Avaliação de arquiteturas de uma solução de Backup na NuvemKleber Silva
Nessa apresentação iremos analisar a evolução e pré-requisitos dos Backups corporativos, avaliando as diferenças das arquiteturas disponíveis de Backup com armazenamento na Nuvem, para definir melhores práticas de desempenho e capacidade para a implementação de uma solução para empresas
COMPUTAÇÃO EM NUVEM: ESTUDO DE CASO EM UMA EMPRESA DE TECNOLOGIA DA INFORMAÇÃOAllan Reis
O documento descreve os conceitos e aplicações da computação em nuvem, incluindo como as empresas podem fornecer serviços de software, plataforma e infraestrutura como serviço. Também discute os tipos de nuvens públicas, privadas e híbridas e como a computação em nuvem pode afetar os sistemas, funcionários e segurança de uma empresa de tecnologia da informação.
O documento discute melhores práticas de planejamento de capacidade aplicadas em um projeto de recuperação de desastres (DR). Ele descreve como o projeto, inicialmente focado em continuidade de negócios, também abordou problemas de desempenho e capacidade no ambiente de produção, melhorando significativamente o desempenho de uma aplicação crítica por meio de otimizações de hardware e armazenamento.
1. O documento descreve as etapas e conceitos fundamentais para a elaboração de um projeto de rede, incluindo a análise de requisitos, custo versus benefício e análise de negócio.
2. As principais fases de um projeto de rede são a análise de requisitos, projeto lógico e projeto físico. Na análise de requisitos, busca-se entender as necessidades da empresa, objetivos, impactos e restrições do projeto.
3. A análise de custo versus benefício e a anál
O documento discute as tecnologias de computação empresarial moderna para cargas de trabalho de negócios. Ele descreve como infraestrutura flexível, escalabilidade não disruptiva, continuidade de negócios e eficiência operacional permitem aplicações corporativas modernas e liberdade através de padrões abertos. A segurança de dados confidenciais é essencial nesse ambiente.
Este documento resume as principais características e vantagens da plataforma de virtualização Red Hat Enterprise Virtualization (RHEV) comparada a outras soluções. O RHEV oferece desempenho superior, segurança, alta disponibilidade, gerenciamento centralizado e custo total de propriedade mais baixo do que alternativas como o VMware vSphere. O documento também apresenta a roadmap de desenvolvimento do RHEV.
Similar to Análise da causa raiz de comportamento anômalo em ambientes de infraestrutura computacional por Daniel Segabinazzi, José Luiz Filho e Leandro Akune - IPT
Agile Trends 2018 - Além da Automação com Machine LearningEmerson Bertolo
O documento discute como o machine learning pode ser aplicado para melhorar os processos de automação de testes de software. Ele apresenta um caso em que modelos preditivos foram treinados com dados históricos de ciclos de teste para prever atrasos com 80% de acurácia. Também mostra como redes neurais podem ser usadas para detectar elementos de interface em telas e automatizar cliques por meio de visão computacional.
Este documento resume uma apresentação sobre skills de desenvolvedores em ambientes low code. A apresentação discute: 1) Como equipes de desenvolvimento usaram plataformas low code para soluções de clientes; 2) Skills relevantes como modelagem de dados e modularização ainda são importantes; 3) Desenvolvedores com skills técnicas têm vantagem em ambientes enterprise low code.
[MTC 2021] As 8 melhores práticas e formas de simplificar e estruturar todos...minastestingconference
O documento discute 8 melhores práticas para simplificar e estruturar testes automatizados, incluindo reutilização de códigos, execução paralela de testes, uso de arquivos de configuração, integração com APIs externas, documentação do projeto e testes em diferentes níveis.
Análise e Utilização de Gestão do Conhecimento no Apoio ao Desenvolvimento de...Luiz Matos
Aborda os preceitos da Gestão do Conhecimento, Framework de Trittmann e o processo de implantação (atividades de GC). Efetua-se a definição de um estudo experimental hipotético.
O documento descreve a metodologia "top-down" para projeto e planejamento de redes. Ele explica que essa metodologia envolve começar pelo alto nível, considerando os objetivos do cliente e aplicativos, e então projetar os detalhes técnicos. Também discute as vantagens de usar uma topologia hierárquica e as funções das camadas de núcleo, distribuição e acesso nessa topologia.
O documento discute a implementação de um Plano de Desenvolvimento em Tecnologias de Informação e Comunicação (PDTIC) para a Universidade Federal de Sergipe (UFS). Ele analisa o banco de dados atual da UFS, identifica problemas como redundância de dados e ausência de interoperabilidade entre sistemas, e sugere soluções como a adoção do PostgreSQL e a implementação de um data warehouse para melhorar a gestão da informação.
O documento discute a utilização da computação em nuvem para garantir a continuidade dos negócios através da tolerância a desastres. Ele apresenta métodos de pesquisa sobre replicação de dados em nuvens públicas e privadas usando point-in-time para recuperação de dados após incidentes. Também analisa cenários de falhas e a definição de parâmetros como Recovery Point Objective (RPO) para alinhar a tecnologia às necessidades do negócio.
1) O documento apresenta os papéis e técnicas de automação de testes para equipes ágeis, discutindo como a automação pode ajudar a resolver problemas como falta de tempo para testar e garantir a qualidade ao longo dos sprints. 2) É destacado que nem todos os casos de teste devem ser automatizados e que é importante separar os ambientes de desenvolvimento e teste. 3) A apresentação discute diferentes níveis de automação, desde scripts lineares até abordagens data-driven e keyword-driven, concluindo que a combinação das últimas é a melhor opção
Com o uso cada vez maior de serviços de armazenamento em nuvem, a necessidade em migrar, replicar ou sincronizar arquivos armazenados localmente para serviços de armazenamento remoto pode se tornar uma tarefa árdua para administradores de sistemas que muitas vezes não dispõem de soluções adequadas para atender necessidades específicas de uma organização. Esta proposta pretende abordar algorítmos, técnicas de otimização em linguagem de programação e boas práticas em configurações de infraestrutura de servidores para ganhos em desempenho na transferência de arquivos e diretórios entre servidores e serviços de armazenamento em nuvem. Para comprovar os resultados, a proposta utilizará de um estudo de caso real para uma empresa no segmento B2B, comprovando eficiência em ganhos de desempenho e abrindo discussões para soluções técnicas em cenários diversos
Evolução das arquiteturas para aplicações WebBreno Vitorino
O documento descreve a evolução das arquiteturas para aplicações Web, começando com as primeiras arquiteturas CGI e de linguagens de script para páginas dinâmicas, depois evoluindo para MVC, orientado a eventos e serviços Web. Também discute a importância de definir uma arquitetura para mitigar riscos e as necessidades de pessoal especializado para lidar com novos paradigmas de aplicações assíncronas e offline.
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Affinitas GmbH
O documento discute a arquitetura de pipelines de dados, comparando as arquiteturas Lambda e Kappa. Apresenta qualidades essenciais de um bom pipeline de dados, como segurança, automação, monitoramento e testabilidade. Destaca também onde a linguagem Python é útil, incluindo ferramentas como PySpark, Pandas, Airflow e bibliotecas para testes e validação.
1) O documento apresenta um resumo sobre Big Data, Data Driven, Cloud Computing e AWS. 2) Inclui definições sobre Data Lake, perfis na área de dados, computação on-demand e serverless. 3) Discutiu sobre a AWS, seus serviços, custos e casos reais de projetos de análise de dados.
O documento discute as técnicas e tecnologias envolvidas em Big Data, incluindo MapReduce, Hadoop, HDFS, HBase, Mahout e como essas ferramentas podem ser usadas para analisar grandes volumes de dados não estruturados de redes sociais e outras fontes.
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídosluanrjesus
O documento discute técnicas e desafios do planejamento e gerenciamento de capacidade para sistemas distribuídos. Ele aborda motivações históricas como o alto custo do mainframe e o crescimento desordenado com PCs, e técnicas como aquisição de métricas, consolidação, visualização e previsão. Também discute os impactos da virtualização, nuvem e métodos ágeis no planejamento de capacidade.
O documento descreve o projeto Indiana, que teve como objetivo aplicar conceitos de análise e projeto de sistemas de informação e gerência de projetos. O projeto desenvolveu um sistema e site para auxiliar uma empresa no marketing de veículos personalizados, utilizando ferramentas como Java Struts, Hibernate e Tiles para o desenvolvimento.
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre
Marcio Junior Vieira apresenta sobre Big Data e Analytics utilizando ferramentas de código aberto como Hadoop e Pentaho. Ele discute os desafios do Big Data, como começar com o problema e não os dados, e recomenda compartilhar dados para receber dados. Marcio também fala sobre as tendências como cientistas de dados cidadãos e como o Big Data é revolucionário assim como o Linux foi em 1991.
Palestra: Cientista de Dados – Dominando o Big Data com Software LivreAmbiente Livre
O documento discute o Big Data e como o software livre, especialmente Hadoop e Pentaho, podem ser usados para analisar grandes volumes de dados. O palestrante Marcio Junior Vieira apresenta suas credenciais e experiência com software livre e Big Data, e descreve conceitos como os 4Vs de Big Data, HDFS, MapReduce e outros componentes do ecossistema Hadoop. Exemplos de uso de Big Data em esportes e empresas também são apresentados.
1) RAD (Rapid Application Development) é um modelo de desenvolvimento de software iterativo e incremental que enfatiza um ciclo de desenvolvimento extremamente curto (entre 60 e 90 dias).
2) O processo de RAD inclui fases como modelagem de negócios, modelagem de dados, geração da aplicação e teste, variando de acordo com a abordagem adotada.
3) RAD tem vantagens como desenvolvimento rápido, prototipagem, reuso de componentes e envolvimento do usuário, mas também desvantagens como dificuldade para projetos grandes e riscos em test
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearchBernardo Donadio
Este documento discute como usar Xen e CoreOS para implementar uma solução de data mining com NodeJS e ElasticSearch de forma escalável e segura. Ele apresenta dois estudos de caso reais de aplicações intensivas de dados e discute os desafios de levantamento de requisitos e escalabilidade, propondo estratégias como uso de cloud privada, Docker, bancos de dados multi-níveis e cache para atender requisitos de alto desempenho e disponibilidade.
2016 - WebGis para apoio ao licenciamento e regularização ambientalGeorge Porto Ferreira
João dos Santos Vila da Silva - Embrapa Informática Agropecuária
FOSS 4GIS GOV BR
https://doity.com.br/foss4gisgov
Similar to Análise da causa raiz de comportamento anômalo em ambientes de infraestrutura computacional por Daniel Segabinazzi, José Luiz Filho e Leandro Akune - IPT (20)
Apresentação realizada na reunião de 26 de junho de 2019 do Atlassian User Group de São Paulo. Demonstração de como a interface REST dos produtos da plataforma Atlassian podem ser considerados como alternativas aos APPS e a tarefas manuais pela interface Web. Ao final há um exemplo onde a opção de utilizar a interface REST economizou tempo e dinheiro e entregou o trabalho feito
This document discusses novelties in z/OS 2.4 and z14 GA2, including enhancements to application development and cloud computing. It introduces buzzwords from the past like OO and ERP that are now outdated, and new buzzwords like cloud, analytics, and microservices. Specific z/OS and hardware enhancements described include 25GbE for OSA and RoCE, crypto enhancements, dynamic I/O configuration for standalone CFs, asynchronous cache cross-invalidation, and HMC enhancements. The document ends with a debate between the presenters on whether new application development approaches will deliver continuous availability, data integrity and performance in production environments.
Na era do Devops, a operacionalização de serviços na nuvem, cada vez mais, vem sendo automatizada para atender demandas emergentes de negócios a qual exige resposta rápida à mudancas e capacidade em se escalar. Automatizações como CI/CD (Continuous Integration e Continuous Development) permitem em grande parte atender cenários diversos onde é necessário reduzir ou simplesmente liquidar operações manuais de Deployment por meio de passos automatizados intermediados por um agente robô. Em contrapartida, existe a necessidade em se ter o mínimo necessário de infraestrutura como pré-requisito, o que obriga equipes a investirem tempo e esforço na criação desses ambientes, nos quais, em alguns casos, a complexidade é multiplicada pelo uso de serviços distintos de computação na nuvem, a Multi-cloud. O tempo " Infrastructure as a Code" é um assunto emergente o qual trata infraestrutura como código versionado, um asset do projeto onde o seu objetivo não é apenas reduzir o esforço operacional mas também poder compatilhar conhecimento e engajar membros de equipes. Esta apresentação tem como objetivo introduzir "Infrastructure as a Code" assim como o seu potencial para cenários Multi-Cloud.
Marcus Vinicius Bittencourt é um especialista em Data Platform e SQL Server com 4 prêmios MVP. O documento discute cybercrime, brechas de segurança e demonstra como um atacante pode acessar uma rede corporativa e explorar falhas de segurança no SQL Server para escalar privilégios.
O documento fornece uma visão geral da área de Ciência de Dados, discutindo como a tecnologia está transformando as profissões e a necessidade de atualização contínua. Também explica conceitos-chave da Ciência de Dados como descritivo, diagnóstico, preditivo e prescritivo e como esses conceitos são aplicados usando algoritmos e machine learning.
The document discusses several new capabilities and enhancements being introduced in z/OS V2.4, including z/OS Container Extensions to enable running Linux containers alongside z/OS applications, 25GbE support for OSA and RoCE, asynchronous cache cross-invalidation to improve performance, and policies to simplify customizing JES2 without assembler exits. It also mentions continued efforts to drive pervasive encryption and support for additional data analytics capabilities.
O documento discute boas práticas de programação para melhorar a qualidade e performance de códigos. Ele aborda tópicos como comentários, nomes de variáveis, identação, testes, uso de loops, arrays e funções de forma otimizada. O documento argumenta que seguindo essas práticas recomendadas é possível desenvolver software mais eficiente e de fácil manutenção.
O documento discute a tokenização de ativos e novas linhas de negócios. Ele aborda como empresas como a Microsoft estão apostando na tokenização de ativos usando blockchain e como seguradoras veem grandes oportunidades no armazenamento e cobertura de criptomoedas. Também menciona como a tokenização pode ajudar a combater a pobreza global e a poluição dos oceanos.
O Santo Graal da IoT é a capacidade de distribuir facilmente a inteligência entre a nuvem e os dispositivos (edge). Descubra como inovações edge vão ajudar você a encontrar e certificar hardwares seguros, lucrar com estes módulos e construir soluções da IoT compatíveis com o edge. Veja também com desenvolver, criar e implementar soluções escaláveis e repetíveis alavancando inovações em serviços de Visão, Voz, IoT Edge e Serviços Congnitivos para melhorar soluções da IoT.
O documento discute a solução Eccox Application for Parallel Testing (APT) da Eccox Technology. Em três frases: A APT fornece ambientes de teste isolados no mainframe para permitir testes paralelos, clonando recursos como bancos de dados e arquivos. Isso permite que vários usuários executem testes simultaneamente sem conflitos, reduzindo custos com infraestrutura e horas-homem. A solução também gera dados de teste sintéticos para apoiar cenários de teste isolados.
O documento descreve como o Banco de Brasília implementou uma solução de balanceamento dinâmico para melhorar a gestão da capacidade e desempenho de seu ambiente mainframe IBM ZOS. A solução otimizou o uso dos recursos, reduziu custos com software e adiamento de hardware, com retorno de investimento em 5 meses.
Esta palestra mostrará o “Basicão” [por isso o 1.01 no Título!] da Eletricidade e da Eletrônica, enfocando: Condutores e Isolantes, Relês, Válvulas Termoiônicas [a Retificação e Amplificação começaram assim...], Flip-Flops, Dopagem de Cristais Semi Condutores, Diodos, Transístores, CMOS, SRAM e DRAM. A utilização destes componentes básicos, em Circuitos Sequenciais e Combinatórios, será tema para futuro estudo.
O documento discute a pervasive encryption no IBM Z, que permite a criptografia transparente e em massa de dados em repouso para simplificar a proteção de dados e o cumprimento de normas regulatórias. A pervasive encryption criptografa automaticamente todos os dados em repouso usando chaves gerenciadas pelo sistema, de forma transparente para as aplicações. Isso protege dados em vários níveis, incluindo VSAM, DB2, IMS e logs, entre outros, sem impactar o desempenho.
Nos novos mainframes IBM z, a tecnologia do chip de CPU ficou mais complexa, especialmente incorporando camadas de memória cache. Uma nova terminologia foi introduzida -Relative Nest Intensity (RNI), indicando o nível de atividade para a hierarquia de memória. A área mais sensível ao desempenho da hierarquia de memória é a distribuição de atividade dos caches compartilhados e a memória: quanto maior o RNI, mais profunda será a hierarquia de memória que o processador deve percorrer para recuperar as instruções e os dados de um workload. Discutiremos como podemos diminuir a influência do RNI no CICS fazendo ajustes de desempenho.
O documento discute Infraestrutura como Código (IaC) e como ele pode ser usado para automatizar infraestrutura em nuvem de forma segura e consistente. Ele explica os benefícios do IaC, como aumentar a produtividade das equipes, permitir mudanças contínuas e melhorias incrementais. Também aborda desafios como deriva de configuração e ferramentas IaC populares como Terraform.
A cada nova geração de mainframes, a IBM aumenta a capacidade de suas máquinas. Mas você sabe realmente como a arquitetura do sistema de todos esses processadores afeta a performance e impacta o seu Planejamento da Capacidade? Essa apresentação propõe essa discussão e mostra um caso real sobre como os componentes internos da arquitetura do sistema afetam as diretrizes das disciplinas de Planejamento da Capacidade, Disponibilidade e Desempenho dos ambientes mainframe.
Inspirada na lei europeia GDPR (General Data Protection Regulation) que já foi colocada em prática pela comunidade no final de maio de 2018, a LGPD já em vigor no Brasil com prazo de implantação até agosto 2020, tem como objetivo de reforçar a segurança jurídica dos dados pessoais dos indivíduos e mitigar abusos em relação a estes ativos tão poderosos e valiosos. Nesta apresentação iremos abordar um método de implantação da LGPD nas empresas do Brasil e os principais pontos de adequação a seus requisitos.
Este documento descreve os componentes internos do processador z14. Ele discute os estágios de fetch, parsing, decode e issue de instruções, bem como as unidades de execução fixa, load/store, vetor e flutuante. O documento também fornece diagramas ilustrando o fluxo de dados e instruções entre esses componentes.
O gerenciamento de serviços de TI enfrenta desafios cada vez mais crescentes devido às suas demandas e à exigência de seus clientes. O Service Desk ultrapassa o uso de ferramentas de registro de incidentes (sistemas) e robôs de atendimento. A proposta desta palestra consiste em empregar métodos ágeis em situações de crise para uma tomada de decisão eficaz com o menor tempo entre incidentes baseados na ITIL e SCRUM, a fim de reduzir retrabalho com base em: skills, métodos e atitude para solução.
Este documento apresenta a programação de uma conferência sobre planejamento de capacidade e desempenho no ambiente mainframe. Inclui palestras sobre arquitetura do z14, lei de proteção de dados, métodos ágeis, criptografia, disponibilidade do SQL Server e tendências da TI.
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...Faga1939
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
As classes de modelagem podem ser comparadas a moldes ou
formas que definem as características e os comportamentos dos
objetos criados a partir delas. Vale traçar um paralelo com o projeto de
um automóvel. Os engenheiros definem as medidas, a quantidade de
portas, a potência do motor, a localização do estepe, dentre outras
descrições necessárias para a fabricação de um veículo
A linguagem C# aproveita conceitos de muitas outras linguagens,
mas especialmente de C++ e Java. Sua sintaxe é relativamente fácil, o que
diminui o tempo de aprendizado. Todos os programas desenvolvidos devem
ser compilados, gerando um arquivo com a extensão DLL ou EXE. Isso torna a
execução dos programas mais rápida se comparados com as linguagens de
script (VBScript , JavaScript) que atualmente utilizamos na internet
Em um mundo cada vez mais digital, a segurança da informação tornou-se essencial para proteger dados pessoais e empresariais contra ameaças cibernéticas. Nesta apresentação, abordaremos os principais conceitos e práticas de segurança digital, incluindo o reconhecimento de ameaças comuns, como malware e phishing, e a implementação de medidas de proteção e mitigação para vazamento de senhas.
Análise da causa raiz de comportamento anômalo em ambientes de infraestrutura computacional por Daniel Segabinazzi, José Luiz Filho e Leandro Akune - IPT
1. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
2017
Daniel Segabinazzi Borba
José Luiz Filho
Leandro Yukio Akune
Análise da causa raiz e do comportamento
anômalo em ambientes de infraestrutura
computacional
2. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Agenda
1. Introdução
1.1 Contextualização; Objetivos; Justificativa; e Estrutura.
2. Referencial teórico
2.1 Armazenamento e gerenciamento dos registros de ocorrências
2.2 Evolução dos modelos de infraestrutura
2.3 Técnicas oferecidas pelo Big Data
3. Trabalhos Relacionados
4. Metodologia
5. Arquitetura do Experimento
6. Avaliação e Resultados
7. Conclusão / Referências
3. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Contexto
Figura 1 – Infraestrutura
computacional (Fonte: Autores)
4. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Contexto
- Grande quantidade de:
- Equipamentos de infraestrutura
- Registros de atividades
- Semiestruturado / Não estruturado
Grau de aproveitamento de todos os registros
gerados
5. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Contexto
Figura 2 - Análise de logs com
Hadoop (Fonte: Autores) Análise
6. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Referencial Teórico
Evolução dos modelos de infraestrutura
Infraestrutura descentralizada;
Subutilização do hardware;
Virtualização;
Modelo de Entrega de Serviço
Computação em Nuvem;
Figura 4 - Funcionamento da Computação em Nuvem (Fonte: Adaptado
http://computer.howstuffworks.com/cloud-computing/cloud-computing.htm)
7. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Referencial Teórico
Técnicas oferecidas pelo Big Data
Name Node
• Data Node
• Hadoop
• Split
• MapReduce
Figura 5 - Funcionamento do Hadoop (Fonte: HINGAVE, 2015)
8. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Relacionados
(1) Uso do Big Data para a detecção de comportamentos
anômalos em logs de grande escala
Logs de diferentes fontes – Vodafone (Portugal):
DHCP Server, Authentication Server e Firewall
Estabelecimento de “features”
Critérios
Diferente de ocorrência entre clusters (0,1 a 20%)
Mais de uma ocorrência;
9. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Relacionados
Agrupamento de Hosts de acordo com a incidência das
“features”
Mineração de dados
Limpeza / normalização / classificação
Uso de aprendizagem de máquina
Não supervisionado clustering
Supervisionado classificação linear
10. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Relacionados
11. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Relacionados
12. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Relacionados
13. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Relacionados
14. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Metodologia
Conjunto de métodos e processos não lineares usado para abordar problemas
de forma prática e criativa
Forma de pensar focada em soluções
Parâmetros do problema e suas soluções são exploradas simultaneamente
Figura 12 - Processo Design Thinking (Fonte: http://goplot.com.br/design-thinking-aplicado-em-video/)
15. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
16. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
17. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
18. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
19. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
20. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
21. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – NLB WEB SITE
Site 1 http://cloudwebtest.cloud.com/ Site 2 http://cloudwebtest2.cloud.com/
22. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Console Monitoramento PRTG
23. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Console WebStressTest PRTG
24. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Console WebStressTest PRTG (Gráfico Gerado pelo Stress Teste)
25. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Console WebStressTest - Logs em arquivos .csv
26. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Console PRTG MONITORING - Logs em arquivos .csv e .pdf
27. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Relatório PRTG MONITORING – Visão dos Logs em .csv
28. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Gráfico dos resultados obtidos da monitoração no Site (trafego http) durante
o Stress Test.
29. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Gráfico dos resultados obtidos da monitoração no Site (Carga Processamento
- CPU) durante o Stress Test.
30. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Arquitetura do Experimento
WINDOWS – Gráfico dos resultados obtidos da monitoração no Site (Carga Processamento
- MEMORIA) durante o Stress Test.
31. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Avaliação e Resultados
A solução proposta procura relacionar a necessidade humana do uso de dados, a
necessidade técnica de agilidade na resposta nas soluções de problemas de
indisponibilidade, e na necessidade do negócio de não ser impactado pelo alto
tempo de resposta de sua infraestrutura.
Figura 13 – Restrições do Design Thinking (Fonte: http://www.n5design.com.br/design-thinking-voce-sabe-o-que-e/)
32. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Avaliação e Resultados
Figura 1 - Análise de logs com Hadoop (Fonte:
Autores)
33. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Avaliação e Resultados
Figura 1 - Análise de logs com Hadoop (Fonte:
Autores)
34. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Conclusão
- Adoção do estudo de logs de mais de um componente de
infraestrutura;
- Sem padrão para coleta e armazenamento dos logs;
- Restrição para um canal de dados e local de armazenamento
seguro
- Uso da nuvem para armazenamento de logs
confidencialidade
- Avaliação de logs originadas na Nuvem aferimento
- Uso do hadoop como File System escalabilidade, desempenho
- Momento fazer a limpeza de dados Origem ou Destino
- Aprendizagem de máquina para predição e rastreabilidade
35. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Conclusão
Desenvolver ou abordar a metodologia mais adequada, aplicar a tecnologia de
melhor repercussão, utilizar a ferramenta correta, distinguir um evento relevante
com exatidão e aplicar o melhor tratamento de proteção sempre será um desafio
evolutivo para a Segurança da Informação.
A assertividade no investimento e dedicação depende de estudo e ação proativa
com base em análises (preditiva, prescritiva, descritiva e diagnóstica):
Custo vs Benefício (CID+AAA+... Valor da informação?)
Tempo de resposta vs Performance (Cumprir SLA e evitar desperdício)
Segurança vs Conveniência (Continuidade e disponibilidade)
Necessidade vs Escalabilidade (Metas, prazos e ciclo de vida)
36. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Futuros
Aplicação das técnicas de mineração de dados e recursos de big data para identificar
comportamentos anômalos e tentativas de ataques em ambientes críticos que
envolvem as tecnologias emergentes de redes de sensores, entrega de conteúdo,
gerenciamento e aprendizagem de máquinas.
IoT
CDN
SDN
Indústria 4.0
Estudo de outras features extraídas de logs e correlação entre outro
equipamentos;
37. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Referências
ABAD, C. et al. Log correlation for intrusion detection: A proof of concept. Proceedings - Annual
Computer Security Applications Conference, ACSAC, v. 2003-January, n. Acsac, p. 255–264, 2003.
BALLIU, A. et al. A Big Data analyzer for large trace logs. Computing, v. 98, n. 12, p. 1225–1249, 2016.
Chuvakin, A.; Schmidt, K.; Phillips, C.; Logging and Log Management: The Authoritative Guide to
Understanding the Concepts Surrounding Logging and Log Management, Elsevier, 2013
COMPUTING, I. Performance Evaluation of a MapReduce Hadoop-based Implementation for
Processing Large Virtual Campus Log Files. 2015.
GONC, D.; CORREIA, M.; LISBOA, U. DE. Big Data Analytics for Detecting Host Misbehavior in Large
Logs. n. 3, 2015.
HINGAVE, H. An approach for MapReduce based Log analysis using Hadoop. p. 1264–1268, 2015.
Koh, J., Fister, S., & Seo, H. Y. (2011). Phonetic Analytics Technology and Big Data : Cases .
METCALF, J. Big data analytics and revision of the common rule. Communications of the ACM, v. 59, n.
7, p. 31–33, 2016.
TALL, A.; WANG, J.; HAN, D. Survey of Data Intensive Computing Technologies Application to
Security Log Data Management. p. 268–273, 2016.
38. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Obrigado!
Daniel Segabinazzi Borba
(danielspborba@gmail.com)
Jose Luiz Filho
(jluiz.filho@hotmail.com)
Leandro Yukio Akune
(leandro@akune.com.br)
39. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Apêndice
- Tratamento (limpeza) na linguagem R
Var1 <-
Read.table(file=“name”,header=TRUE,sep=“separador”)
40. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Apêndice
- Tratamento (limpeza) na linguagem R
Var2 -< Na.omit(var1)
41. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Apêndice
- Tratamento (limpeza) na linguagem R
var3 <- var2[,c(“col1”,”col2”)]
42. Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Apêndice
- Tratamento (limpeza) na linguagem R
Write.table()
Editor's Notes
\
Contextualização do problema – é possível aproveitar a maior quantidade de informação registrada nos logs ou perdemos boa parte de registros por ser inviável a análise da grande quantidade de linhas geradas por equipamento, e cada equipamento gera num formato diferente. Alguns trabalhos acreditam ser dados semiestruturados outros não estruturados.
Proposta de cenário (cluster de web server com NLB) para geração de logs num experimento com o objetivo de (01) quais logs são relevantes para a análise de comportamento anômalo dos equipamentos propostos: Windows Server, Web Server, Balanceador de Carga.
O comportamento anômalo proposto é uma simulação de ataque de DoS com o objetivo de indisponibilizar o acesso aos recursos computacionais.
Proposta de cenário (cluster de web server com NLB) para geração de logs num experimento com o objetivo de (01) quais logs são relevantes para a análise de comportamento anômalo dos equipamentos propostos: Windows Server, Web Server, Balanceador de Carga.
O comportamento anômalo proposto é uma simulação de ataque de DoS com o objetivo de indisponibilizar o acesso aos recursos computacionais.
Proposta de cenário (cluster de web server com NLB) para geração de logs num experimento com o objetivo de (01) quais logs são relevantes para a análise de comportamento anômalo dos equipamentos propostos: Windows Server, Web Server, Balanceador de Carga.
O comportamento anômalo proposto é uma simulação de ataque de DoS com o objetivo de indisponibilizar o acesso aos recursos computacionais.