Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Customer Success Story: Brisa

285 views

Published on

Technological renovation, Analytic Model Segregation
By Octávio Sá, BI & Big Data Manager @Brisa

Published in: Technology
  • Be the first to comment

Customer Success Story: Brisa

  1. 1. Renovação tecnológica -Segregação do Modelo Analítico DTS
  2. 2. Introdução
  3. 3. 3 A missão do Grupo Brisa é proporcionar mobilidade eficiente para as pessoas; Atuando em diversas áreas: Concessões rodoviárias Outras Infraestruturas Focus na Mobilidade das pessoas Operação e manutenção Grupo Brisa
  4. 4. 4 Organização DTS Direção de Tecnologia e Serviços (DTS) comum às empresas do Grupo Brisa Apoiamos todos os departamentos das diversas empresas do Grupo Entidades externas 21 Concessionárias de Auto-Estradas 74 Operadores de parques/ferries/restauração
  5. 5. 5 Sistemas Portagens Em termos de controlo de passagens nas portagens existem 2 sistemas operacionais principais: Via Verde para vias automáticas Sistemas Brisa para vias Manuais
  6. 6. Renovação tecnológica
  7. 7. 7 Desafios 1. Grande volume de dados e número de transações a) 1.500 milhões de transações e eventos relativas aos últimos 2 anos b) 5.3 milhões de identificadores 2. Extração de dados e analises ad-hoc sobre sistemas operacionais 3. Do ponto de vista das equipas de negócio a) Tempo de resposta para analises ad-hoc demorado b) Acesso aos dados só através da equipa de IT 4. Custos de licenciamento
  8. 8. 8 Solução Nova arquitetura baseada em Hadoop para storage e ETL Criação de data lake Criação de base de dados sumarizada em PostgreSQL Opção por Cloud, simplificando o processo e facilitando a escalabilidade Acesso direto de alguns utilizadores de negócio aos dados para realizar analytics de forma autónoma
  9. 9. 9 Arquitetura - Batch Extração (Transferência Ficheiros) e Transformação Exploração Dados Reporting Final Data Lake ◊ Clientes ◊ Transações Sistema Operacional VVP Sistema Operacional VM ◊ Transações Outros Sistemas Operacionais ◊ ... ◊ (SICOR) ◊ (iBrisa) 16 Cores 32GB RAM 1TB HD 48 Cores 96GB RAM 3TB HD
  10. 10. 10 Áreas de Atuação 1. A partir do Data Lake tomam-se decisões de negócio em near real time baseadas em IoT Carregamento de mensagens de eventos de portagem no Data Lake para utilização em sistemas operacionais de gestão de vias e trafego 2. Carregamento de transações de portagem no Data Lake para exploração analítica dos mesmos; 3. Transformação e tratamento de dados para análises agregadas 4. Migração de relatórios para Data Lake; 5. Preparação de ambiente para exploração através de Tableau.
  11. 11. 11 Implementação Duração aproximada: 6 meses Membros da equipa: Gestor Projecto 2x Consultor Big Data 2x Consultor Business Intelligence 147 relatórios
  12. 12. 12 Exemplo ETL
  13. 13. 13 Exemplo Report
  14. 14. Resultados
  15. 15. 15 Métricas Caso 1 Sistema Operacional VV: 20 minutos Sistema Hadoop: 14 segundos Processamento de 15.000 mensagens xml por minuto Extração de dados +- 15 minutos Ganho em cerca de 60% no tempo de ETL de dados via Impala vs Oracle
  16. 16. 16 Impacto Sistemas Operacionais Redução de 25-30% de processamento no SQL Server durante a extração de dados pelos consumidores (BI por ex.); Redução de cerca de 15% em espaço ocupado nos sistemas transacionais; Processamento de dados controlado conforme necessidades do sistema e dos sistemas consumidores;
  17. 17. 17 Impacto Processos SQL continua a ser a linguagem para acesso a dados • Curva de aprendizagem baixa numa utilização normal Facilidade de acesso aos dados Escalabilidade assegurada
  18. 18. Futuro
  19. 19. 19 Próximas Fases Adoção do Tableau como ferramenta de self-service para utilizadores chave Possibilidade de adicionar mais processos batch • Consulta histórico • Billing Implementação de processos em real-time (Spark, Kafka) Reunir novos tipos de dados Logs Redes Sociais
  20. 20. Conclusão
  21. 21. 21 Conclusão Menos recursos ocupados dos sistemas operacionais Maior rapidez na disponibilização de dados Acesso a determinados utilizadores na exploração de dados raw (Data analytics) Manutenção e escalabilidade simplificada (Cloud) Redução de custos de licenciamento Futuro promissor, com novas aplicações tirando partindo de funcionalidades já disponibilizadas

×