SlideShare a Scribd company logo
1 of 127
Governança de
Dados-Uma
abordagem via
Canvas MGD
1
Carlos Barbieri
Versão02-set/2015
• Carlos Barbieri, Eng, 1970-MSc-INPE-1974, PG Informática-1975
• Cemig-30 anos na área de Dados(ABD,AD,BI), Gerente da Assessoria de Tecnologia
• Professor de Pós-Graduação da FUMEC, PUC-MG nas áreas de BI e Data
Governance
• Consultoria e treinamento no Brasil e Portugal
• Coordenador da área de Qualidade da Fumsoft-Sociedade Mineira de Software,
responsável pelo Programa MPS.BR
– Engenharia de Software-MPS.BR
– Governança e Qualidade de Dados
• Autor de 3 livros na área de Dados, Informações e BI
• Revisor convidado do Modelo DMM-Data Management Maturity Model-CMMI
• CDMP-Certified Data Management Professional-DAMA-Data Management
Association- CBIP(TDWI) e CDMP em DM, DW,DD,DOIP,DGS
(1994) (2002) (2011)
Carlos Barbieri Consultores Associados ®
Direitos reservados
carlos.barbieri@gmail.com
Governança de dados
Canvas MGD
• Objetivo:
– Aplicar, usando as técnicas de Canvas, uma
abordagem interativa para o desenvolvimento de
projetos “triggers” de dados, que possibilite a
alavancagem de conceitos de Governança de Dados
nas empresas
– Aplicar os conceitos de 5W2H na abordagem de
Gestão e Governança de dados
– Usa os Canvas de MGD(Melhoria de Gestão de
Dados) e o de P´s da Governança
4
Governança de dados
Canvas MGD
• Abordagem:
– Aplicada em treinamentos abertos e “in-company” com
alcance pleno de resultados
– Envolve a participação de gestores de dados de
negócios/analistas de negócios, administradores de
dados, DBA´s,etc na solução dos problemas associados
a dados e na construção interativa de soluções centradas
em abordagens de Governança e Gestão de dados
– Baseada nas melhores práticas mundiais, centradas em
modelos consolidados como DMM-Data Management
Maturity Model e DMBOK-Dama-Data Management
Association
5
Como implementar
GD na prática
6
Governança de dados
Canvas MGD
• Abordagem:
– Trabalha o envolvimento de equipes na solução de
problemas de dados
– Foca na interação, através de mecanismo de Canvas,
conduzindo a discussão através dos conceitos naturais de
5W2H
– Permite a visualização e a visão de cada componente,
definido sem restrições à priori
– Deve ter a visão de stakeholders de negócios e
representantes de TI, já com foco na possível composição da
estrutura de Governança de dados
– Veja a ilustração a seguir, mostrando as áreas de processos
do DMM, das Categorias Estratégia de dados e Governança
de Dados 7
Barbix-2015® Domani TI
Barbix-2015® Domani TI
v06
M/R/T
Benefícios(Why)
Requisitos(What)
Objetivos(Why/What)
v06
M/R/T
Benefícios(Why)
Requisitos(What)
Objetivos(Why/What)
O que impacta os negócios?
“Dores”, perdas, tipos,
criticidade, prioridade, causas
O que espero realizar para
neutralizar, mitigar os problemas
pela criticidade, prioridade
Dados apoiando negócios
O que espero ganhar com os objetivos
a serem alcançados
Priorização
Venda para alta gerência
How Much/How Many inicial
Principais dados envolvidos
Mestre, Referência,
Transacional,outros
RACI-inicial
Detalhamento dos objetivos
Soluções
Requisitos de Gestão de Dados
Requisitos de Governança de Dados
How much/How many feedback --------------
Áreas envolvidas na solução
Owners de dados, Especialistas negociais
em dados
Processos de dados(DLCM)
RACI e CRUD
Planejamento no tempo
Priorização
Estruturas:
Conselhor de GD
Comitê de GD
Gestores de dados
Escritório de Dados
(implantação)
Refinamento dos
custos
Os P´s da GD
Carlos Barbieri V02
Políticas Processos
Procedimentos Padrões
Pessoas/Papéis Programas/Projetos
DM
Plano-GD Plataformas/
arquiteturas
Performance Palavra-Propaganda
13
Patrocínio
Os P´s da GD
Carlos Barbieri V02
Políticas Processos
Procedimentos Padrões
Pessoas/Papéis Programas/Projetos
DM
Plano-GD Plataformas/
arquiteturas
Performance Palavra-Propaganda
14
Patrocínio Alto nível, (benefícios ou evitar os problemas)
BC, associado aos negócios, Patrocínio BSN
Não deve ser TI pura. FCS: cultura, colaboração,mudança
Regras normativas,
Consensadas, aprovadas;
atualizadas. Temas: DM/GD:
Modelagem, arquitetura, BD,
Segurança, MDM, BI,
Compliance,etc
Templates para criação
Ritual: proposta,
análise, aprovação, promulgação
Regras, normas e especificações
para definir, escrever,desenhar,
documentar e usar dados
Padrões da indústria
Padrões de Metadados (ISO)
Padrões de QD, BI, BD, MDM,etc
Definido e aprovado em ritual
semelhante
Conjunto de atividades, com Input
output, participantes, tools,
recursos, controle vias
Monitoração de performance
(QA,MED)
Aprovado, treinado e internalizado
Ex: Alteração de modelos
Conceituais de dados
Procedimentos: detalhamentos
de parte de processos, repetitivo
Procedimentos dentro de Proc.
MED,GQA,etc
Ex: Coleta de dados para medição
de QD
Gestores de dados de negócios
Gestores de dados por Assunto
Líder de GD
Conselho de GD
CDO
Custodiadores de dados
GD é um programa
Vários projetos: drivers, ações
emergenciais
Pense grande, comece pequeno
“Dont boil the ocean” Plano: detalhamento de
Objetivos, recursos pessoais,
tempo, recursos materiais,
necessidades de treinamento
Parte de Planejamento
Parte de Acompanhamento
Arquitetura: negócios, processos
tecnologia e de dados
Plataforma de tecnologia: BD,
DW/BI,Analytics, Big data,QD,
Metadados: Dicionários/
Repositórios de MD e Glossário
de negóciosPlano de MED(Medições)
Plano de QA
Aplica-se em GD,DM, etc
Fundamental
Plano de Comunicação
Palestras,newsletter,etc
Comunica: Padrões,
Processos,Políticas,
Procedimentos,Regras
5W 2 H
15
Abordagem
Why (O porquê)
16
Problemas de Dados na sua
empresa?
Barbix-2012
17
(Why)-O Porquê
• Começar pelo WHY?-Problemas
• Impactos em Mercado, Clientes, Produtos
• Regulações Aderência à compliance(aspectos regulatórios), Reputação
• Qualidade, Segurança de dados, Privacidade
• Disponibilidade de informação/garantia de fonte confiável
• Problemas de Integração: Arquitetura de dados integrada com Arquitetura
corporativa
• Fontes variadas de dados: ERP,SCM,SFA, PLM, Big Data
• Carência de informações analíticas e para tomada de decisões
• Dados – classificação : M(estre), R(eferenciais), T(ransacionais),etc
• Dados- classificação: Criticidade(3 níveis): alta/média/baixa
• Identifique os principais Metadados
• Identifique (inicialmente) Data Owners e Processos envolvidos
• Ferramentas: Entrevistas, Ferramentas de QD-profiling,etc
18
• Porquê?
• Problemas e riscos de Negócios
• Tipos de problemas(Pessoas,
Cultura, Gerência,
recursos,Processos,etc)
• Impactos em Mercado, Regulação,
Reputação, Perdas,etc
• Associe com potenciais problemas
de dados :
• Problemas de Segurança de Dados
• Problemas de Qualidade de dados
• Problemas de Integração de dados
• Problemas de
redundância/replicação
descontrolada de dados, carência
• Fontes variadas de dados
• Metadados
Why?
• Porquê?
• Quais dados principais estão no
contexto do problema
• Classifique em Dados Mestres,
Referenciais, Transacionais, outros
• Classifique os Dados em 3 níveis de
criticidade pelo potencial de
impacto nos negócios(muito-médio,
menos). Por exemplo, dados que são
exigidos por agências reguladoras
são considerados críticos
• Associe inicialmente Dados com
Unidades organizacionais(Data
Owners),
• Faça uma Matriz RACI inicial
Objetivos-Why/What:
• Como os dados poderão contribuir para a
melhoria(resolução) dos problemas de negócios. Por
exemplo ajudar em :
• Expansão de mercado, Melhoria de atendimento aos
clientes, Melhoria da Reputação da empresa,
diminuição de perdas, Minimização de riscos de
Compliance, de segurança de dados,etc
• Benefícios iniciais
• Melhoria da qualidade das informações;
• Melhoria da integração em sistemas e fontes de
dados;
• Melhoria de produção de informações para
“melhor” tomada de decisões;
• Maior qualidade nos relatórios de Compliance
• Priorize os benefícios para melhor
“vendê-los”
• Seja objetivo e conciso na sua
definição, com ênfase nos ganhos(How
much aproximado)
Objetivos-Benefícios iniciais
Dados
Mestres
(CS,FN,Local,
Emp,etc
Dados
Referenciais
(Códigos,CEP,
CCusto,SKU,
CContabeis
Dados
Transacionais
OC,NF,
PCompra-data
Metadados
código, nome, descrição, nome-negócios, etc
metadados técnicos, negócios, auditoria
DadosExternosDadosInternos
Dados Estruturados
(templates,campos)
Dados Não
Estruturados
(email,som,imagem,foto,posts)
Dados
Condicionais
F(x)
DadosDerivadosDadosPrimários
Dados
Históricos
Contexto de data
Estabilidade/Dados fundamentais(Foundational)
Volatilidade
Retenção/
Imutabilidade/
Informacional-BI
Condição/Regras
Forma
origem
Gênese/
Transformação
definição
Codificação
Padronização
Dados
Temporários
(otimização,
performance,
memória)
Big Data Governance
5V: Volume,Variedade,Velocidade
Veracidade e Valor
Transacional
Foundational
21
Dados e Metadados
What (O quê)
22
What ( O Quê)
• Requisitos de Dados para resolver os problemas de
negócios
• Envolve as soluções previstas para serem aplicadas, tanto
de DM(Gestão de dados), quanto de GD(Governança de
dados)
• Maior controle sobre os dados( documentação, qualidade,
uso, compartilhamento, integração, ciclo de vida,
monitoração)
• Definição de programas/projetos/plano estratégicos de
melhoria dos dados, Projetos de DM/GD
• Missão, Visão , Estratégia
23
Requisitos-What
Soluções de DM(Data
Management) e de GD(Governança
de Dados)
1)Sistema de informações
integrado para as áreas de ......
2)Sistema de Informações
analíticas sobre os dados para .....
3)Novas plataformas, como Big
Data,etc
4)Políticas e procedimentos sobre
sobre ações de ......................
5)Processos, Padrões e Medições
What-Requisitos
Benefícios-detalhe-What:
• Parte vendável para a alta
gerência
• Escritos de forma objetiva,
concisa e direta (Elevator
speech)
• Ganhos tangíveis e intangíveis
• Números e BC(Business Case)
• Outros: apresentações,
newsletter,
• Fatores: cultura da empresa,
forma de comunicação(jargão,
estilo)
• Plano estratégico de dados ou
• Charter de GD(3 pa´ginas)
• Convencimento e venda (How
much, How many)
Soluções para
• Qualidade de Estrutura/Integração
– Arquitetura dos dados, dados críticos para o negócio, MDM
• Qualidade de Documentação
– Metadados e Glossários de negócios
• Qualidade de Conteúdo
– Data Quality
• Qualidade de Segurança
– Segurança lógica e física
• Qualidade de Disponibilidade
– Acesso no momento necessário, Plataformas, sistemas e ferramentas
• Governança de Dados
– Políticas, Padrões, Processos, etc...
25
Referências
de melhores
práticas
26
DMBOK
27
DAMA-Data Management Association
Governança
De
Ddos
Gerência de
Arquitetura
de Dados
Modelagem e
Projetos de
Dados
Armazenamen
to
e Operações
De Dados
Gerência de
Segurança de
Dados
Integração
e
Interoperabili
dade
Gerência de
Dados Mestres
-MDM
Gerência de
BI e DW
Gerência de
Conteúdos e
Documentos
Gerência de
Metadados
Gerência da
Qualidade de
Dados
MCD-Modelo Conceitual
Arq.BD
Arq.DW
Integrado Arq.Corporativa
(dados-processos-negócios-sistemas
tecnologia)
Arq.MetaDados
Modelagem dados
Modelos lógicos dados
Modelos físicos BD
Versão e integração de
Modelos
Implementação de dados
Teste/produção
BD
Backup
Recovery/Restart
Performance
Gerência da tecnologia e
Evolução de versões
Requisitos de segurança
Políticas
Padrões
Procedimentos
Auditoria
Versão única-Golden records?
Fontes distintas
Taxonomia de dados Mestres/Ref-Hierarquias(Classif)/Afiliações(Agregação)
ou fontes alternativas
Arquitetura de Dados Mestres/Ref(bus,serviços,Replicação,centralização,diretório)
DW,Dmarts,ETL
BI-Business Intelligence
Arquiteturas de BI
Gerência sobre DNE(não estruturados)
Documentos, conteúdos
Backup, recuperação, retenção
Gerência de Conteúdo:Indexação
Arquitetura
Repositório
Padrões
Distribuição e
Entrega
MD:negócios,
Técnicos,
Operacionais
Conscientização sobre QD
Profiling/Cleansing e avaliação
Regras e procedimentos
Medições
Papéis e estrutura: Comitê-Escritório de dados-gestores de dados
Política,Procedimentos
Regras para conflitos
Supervisão das funções de Gerência de dados
Conformidade com Políticas, Padrões, Arquiteturas
Promover o dado como ativo
Aquisição,extração,
Transformação,movimentação
Entrega-replicação-federalização
Virtualização-suporte
28
DAMA-DMBOK
Governança
De
BIG
Data
Gerência de
Arquitetura
de Dados
Modelagem e
Projetos de
Dados
Armazenamen
to
e Operações
De Dados
Gerência de
Segurança de
Dados
Integração
e
Interoperabili
dade
Gerência de
Dados Mestres
-MDM
Gerência de
BI e DW
Gerência de
Conteúdos e
Documentos
Gerência de
Metadados
Gerência da
Qualidade de
Dados
Modelos de dados estruturados
Modelo de dados não estruturados
Arquitetura prioriza a flexibilidade
Camadas TR, NRT e Batch
Dados armazenados
Linhas
Colunas
Chave-Valor
Documentos
Grafos-estruturas complexas
Dados em alto volume
Dados em RT, NRT
Impactos em backup
Ambientes secundários
de storage, custo
Igual ao anterior
Dados IOT podem ser
mais sensíveis: Smart Pill,
Elderly Care systems,Smart Meters
Visão de Políticas, Padrões, Processos, Procedimentos
Pessoas, etc sob esses novos ângulos dos 5V
Fail-over
Sharding-Replicação Master_Slave-Master-Master
Escalabilidade horizontal direta
29
DW/BI integrado com BigD
DW-HIVE
MAHOUT-Mining, M.Learning
ODS-Data Lake
Desafio: MD no nível físico
Qualidade? O V de Veracidade
QD em dados não estruturados
Integração de dados
Mestres típicos c/
Outros-Redes
NOSQL: BD
Documentos
Dados de
Mídia social
(Visitor)
DAMA-DMBOK2
Governança
de
Dados
Gerência de
Arquitetura
de Dados
Modelagem e
Projetos de
Dados
Armazenamen
to
e Operações
De Dados
Gerência de
Segurança de
Dados
Integração
e
Interoperabili
dade
Gerência de
Dados Mestres
-MDM
Gerência de
BI e DW
Gerência de
Conteúdos e
Documentos
Gerência de
Metadados
Gerência da
Qualidade de
Dados
Troca de nome dos processos
Processo novo-Integração e Interoperabilidade
DAMA-DMBOK2
Nomes antigos: 1-Desenvolvimento de dados-2-Gerência de Operações de dados
1
2
31DMBOK-Figura 3.1-Diagrama de Contexto de Governança de Dados-adaptação do autor
Definição:
Exercício da autoridade e controle(planejamento, monitoração e
aplicação das regras) acerca da gestão de ativos de dados
Objetivos:
 Definir , aprovar e comunicar as estratégias de dados, políticas,
padrões, procedimentos, arquiteturas e métricas
 Rastrear e forçar a aplicação de regras regulatórias de
conformidade e aderência(compliance) via políticas, padrões
procedimentos e arquiteturas de dados
 Patrocinar, rastrear e supervisionar a entrega de projetos de
dados da organização
 Gerenciar e resolver pendências relacionadas a dados
 Entender e promover o valor dos ativos de dados
DAMA-DMBOK-Governança de Dados
Atividades
Entradas
Saídas
Métricas e Ferramentas:
Métricas: Valor dos dados, Custo de DM, Alcance de
Objetivos, # de decisões tomadas, Cobertura dos
Gestores de dados, # de profissionais de dados,
Maturidade do processo de DM
Ferramentas: Website,email,Repositórios, Issue tracker, KPI
Entradas:
• Objetivos de negócios
• Estratégias de negócios
• Objetivos de TI
• Estratégias de TI
• Necessidades de dados
• Pendências de dados
• Requisitos regulatórios
Fornecedores:
• Executivos de negócios
• Executivos de TI
• Gestores de dados
• Organismos regulatórios
Participantes:
• Gestores de dados executivos
• Coordenação de gestores de dados
• Gestores de dados de negócios
• Profissionais de dados
• Executivos de gestão de dados
• CIO
Entregáveis:
• Políticas de dados
• Padrões de dados
• Pendências de dados resolvidas
• Projetos e Serviços de Gestão
de dados(DM)
• Informações e dados com qualidade
• Valor de dados reconhecido
Consumidores:
• Produtores de dados
• Gestores de conhecimento
• Executivos e Gerentes
• Profissionais de dados
• Clientes
DAMA-DMBOK-Governança de Dados
DMBOK-Figura 3.1-Diagrama de Contexto de Governança de Dados-adaptação do autor
Atividades:
• Planejamento de DM(*)
 Entender as necessidades estratégicas de dados da
organização
 Desenvolver e manter uma estratégia de dados
 Estabelecer estruturas e papéis de profissionais de dados
 Identificar e designar gestores de dados
 Estabelecer estruturas de gestão e governança de dados
 Desenvolver e aprovar Políticas, Padrões e Procedimentos
 Revisar e aprovar a arquitetura de dados
 Planejar e patrocinar projetos e serviços de DM(*)
 Estimar o valor e os custos associados aos ativos de dados
DAMA-DMBOK-Governança de Dados
Planejar
(*)-Data Management-Gestão de dados
DMBOK-Figura 3.1-Diagrama de Contexto de Governança de Dados-adaptação do autor
Atividades:
• Controle de DM(*)
 Supervisionar as estruturas, funções e papéis de dados
 Coordenar as atividades de Governança de dados
 Gerenciar e resolver pendências de dados
 Monitorar e garantir as conformidades regulatórias
 Monitorar e garantir aspectos de conformidade com
Políticas, Padrões e Arquitetura de dados
 Supervisionar projetos e serviços de dados
 Comunicar e promover o valor dos ativos de dados
DAMA-DMBOK-Governança de Dados
(*)-Data Management-Gestão de dados
DMM
35
Data Management Maturity Model
CMMI Institute
VISÃO GERAL NOS ANOS 200X
1
2
3
4
5
QUALIDADE
DE
DADOS
OPERAÇÕES
DE
DADOS
ESTRATÉGIA DE
GESTÃO DE DADOS
PLATAFORMA E
ARQUITETURA
1-realizado
2-gerenciado
3-definido
4-medido
5-otimizado
Capacidade
GOVERNANÇA
DE
DADOS
RSKM(RISCOS)-CM(CONFIGURAÇÃO)-MA(MEDIÇÃO E ANÁLISE)-QA(QUALTY
ASSURANCE) DE PROCESSO-
GERÊNCIA DE PROCESSO
DMM-1.0
PROCESSOS DE SUPORTE
Atributos de Processos
ISP-Infrastructure
Support Practices
36
Data Management Maturity Model
O modelo DMM
Estratégia de Data Management(Data Management
Strategy)
Estratégia de Data Management
Comunicações
Função de Data Management
Plano de Negócios (Business Case)
Apoio Financeiro
Governança de Dados(Data Governance) Gerência de Governança
Glossáriio de Negócios
Gerência de Metadados
Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados
Data Profiling
Avaliação de Qualidade de Dados
Limpeza de Dados
Operações de Dados(Data Operations) Definição de Requisitos de Dados
Gerência do Ciclo de vida dos Dados
Gerência de Fornecedores de Dados(Provider Management)
Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach)
Padrões Arquiteturais(ArchitecturalStandards)
Plataformas de Data Management(Data Management Platform)
Integração de Dados (Data Integration)
Dados Históricos(Historical Data) , Arquivamento(Archiving) e
Retenção(Retention)
Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis)
Gerência de Processo(Process Management)
Garantia de Qualidade do Processo(Process Quality Assurance)
Gerência de Risco(Risk Management)
Gerência de Configuração(Configuration Management) 37
DMM-CategoriaseÁreasdeProcessos
Where (O onde)
40
Where-Onde
• Escopo, domínio, áreas de negócios
• Contexto onde se fará as melhorias:
• Geográfico / Negocial
• Principais processos de negócios
da área: e seus dados (DMLC-Ciclo de
vida)- From Requirement to Retirement
• Principais sistemas envolvidos com
Matriz RACI, CRUD
• Identificação de Data Owners e
envolvidos em dados(negócios) com
alto conhecimento dos assuntos
• Envolvidos na TI, nos sistemas
relacionados ao tema/assunto
• Início do Who
Where
Cliente
Serviços
MKTFIN
XPTO
Assunto
Escopo
• Propor um escopo e um plano inicial para definir e implementar
GD(aproveitar eventuais projetos trigger/estruturantes de DM)
– Evite “to boil the ocean” ; Use as estruturas e especialistas existentes
• Identificar as unidades de negócios/áreas sujeitas à GD
– Contextos prioritários, dados críticos
– Sempre pense em objetivos de negócios, prioridades e escopo
sensíveis
– Dados x processos, RACI, CRUD
• Desenvolver uma estrutura de equipe para o início dos trabalhos, com
foco inicial nos Owners e envolvidos no tema(SME)-potenciais
gestores(stewards)
• Aprovar escopos, priorizações e restrições
• Sempre pense grande mas aja pequeno, com foco centrado em
negócios e valores agregados ao “business”
– Ciclos iterativos-projetos 42
Escopo
• O escopo de um programa de GD tem que ser analisado considerando:
– Modelo de Negócios
• Centralizado, descentralizado, distribuído em regiões
• Impacto das linhas de negócios com as melhorias GD. Por exemplo:
MDM/Cliente
– Conteúdo dos dados
• Dados estruturados e não estruturados
• Mestres, Transacionais, Informacionais
• Considerações da GD sobre SDLC no caso de dados estruturados ou de BPM
no caso de dados não-estruturados(fluxo de documentos)
– Estrutura prevista para a GD
• Federalização: Divisão em níveis, camadas da empresa, com políticas, regras
e procedimentos variáveis. Tal como uma Federação. Há dados que poderão
ter diferentes graus de GD, dependendo da sua natureza: global, regional ou
local.
– Cultura da Empresa
• Propensão a qualidade, compartilhamento
• Processos de Qualidade
• Conceito de Accountability(responsabilidade maior)
Empresas são
diferentes!!!
Boa Vista serviços,
Johnson&Johnson,
BySat
43
Escopo
• O escopo de um programa de GD tem que ser analisado
considerando:
– Projetos de DM
• Projetos de MDM, BI, Segurança, DNE, ERP,
Qualidade etc
– Áreas especiais podem ficar fora
• P&D-dados experimentais podem ser controlados
sob outra ótica
• Governança de dados é uma inovação!!
– Síntese:
• Definir a área da empresa que será “governada”
– DMM: Associada com Estratégia
44
Escopo da GD
Unidade de Negócios
Dados Dados Dados Dados Dados
GD
Empresa A
Unidade de
Negócios
Unidade de
Negócios
Unidade de
Negócios
Dados Dados Dados Dados Dados Dados
GD GD GD
Empresa B
RegiãoRegiãoRegião
Algo que liga as GD´s: Comitê de Observação, Conselho Supra GD
45
Estruturação-Federalização
Função do Escopo
Local
Local
Regional
Global
Cliente
FornecedorProduto
Dados
ReferenciaisKPI´s
Regras de
compliance
Os dados Mestres, Referenciais, KPI´s e regras de compliance
poderão ter definições variadas nos diferentes níveis organizacionais.
Itens Core
46
DLCM-GERÊNCIA DO
CICLO DE VIDA
DOS DADOS
• Um dos maiores desafios da GD
• Visão do Dado (from Requirement to Retirement)
• Visão dos dados como ativo que circula/movimenta entre
processos diferentes em áreas de negócios diferentes,
processado por sistemas diferentes, habitando “data stores”
diferentes(o mesmo dado conceitual)
– Áreas de negócios usam(podem usar) o mesmo dado
de forma diferente
– Área de marketing pode usar alguns dados do Cliente
diferentes da área de Vendas ou de Entrega(Delivery)
47
DLCM
Dados x Processos
• Onde os dados e processos se cruzam
• Dados e Processos de Negócios envolvidos(Matrizes
CRUD/RACI)
• Ciclo de vida dos dados
• Rastreabilidade e impactos dos em alterações de dados
48
Atuação da GD
no DLCM
• Facilitar os Owners de dados acerca de necessidades de alterações, via um
processo definido
– Gestores de dados de cada área envolvida, discutindo no Comitê de GD
(ou escalando)
• Coordenar requisitos específicos de negócios sobre aquele mesmo dado
– GD´s priorizam e analisam para evitar duplicações de requisitos e a
possibilidade de consolidá-los
• Resolução de conflitos
– Usos diferentes por áreas de negócios diferentes podem gerar conflitos-
Escalonamento para Líder de GD, ou GD por assunto, ou Conselho de
GD
• Gerenciar as definições de dados(metadados) e os seus usos apropriados
– Saber quem usa o dado como, em qual processo
• Controlar as métricas usadas para medir aderência com aquilo que é requerido
pelas políticas e padrões da GD
• Conhecer o DLCM é saber da rastreabilidade, gerenciar os impactos(upstream
e downstream) e prevenir erros em casos de modificações de dados
49
Ciclos de Vida
Dados e Sistemas
The DAMA Guide to Data Management Body of Knowledge-DMBOK-fig 1.2-pag-4
Gestor de dados de negócio
Gestor de dados de projeto
50
(*)Permitir,
Autorizar,
Habilitar
(*)
Atuação da GD
no DLCM
Sistema
de PV
ERP
Ticket
Venda
ETL DW DM
Módulo
Financeiro
Módulo
Fiscal Analytics
(Mining)
Módulo
Archiving
Transacional Informacional-Dimensional
Inferencial
ODS
Proprietário(Owner)
Gestores(Stewards)
Consumidores(consumers)
Custodiadores(TI)
51
Matriz Dados x Processos
Por área de assunto/foco da GD
Descrição Sistemas-TI Área 1 Área 2 Área 3 Área 4
Dados
Mestres
Endereço de Cliente SAP
CRM
Seção w-
José Pinho
Dados
Referenciais
Código de doença Depto X- C
Dados
Transacionais
D-Define
C-Criação dos dados
R-Leitura/Uso
U-Atualização
E-Deleção/Eliminação
Nome do Data ME(*)
Nome do System ME(*)
DCRUE
(*)ME-Especialista no assunto
Who (O quem)
53
Who-Quem
Premissa #1: Cada empresa define a sua
estrutura de GD, de acordo com sua cultura,
engajamento, percepção de “data value”,
estruturas, geografia, etc
Definição da estrutura de Governança e
interação com TI
• Definição dos Data Owners
• Definição dos Gestores de Dados de Negócios
• Definição de Gestores de Dados de TI
• Definição do Comitê tático de Gestores
• Definição do Grupo de Implementação de
GD(DGPO)-Escritório de dados
• Definição do Conselho de GD
• Grupo de Gestores de dados (GGD) por Subject
área
• Ex: GGD de Clientes, com GDN+GDT+outros
interessados
Who-Quem
Visão deliberativa
Visão organizacional
Visão operacional
GD
DM
Pessoas e Papéis
• Envolvimento de Business prioritariamente
• Novos papéis
– Conselho de GD
– Gerência tática: Comitê de Gestores de Dados-DMO, DGPG
– Gestores de Dados de negócios e técnicos (TI)
• Outros tipos: gestores de dados de Projetos (próximo do que o AD
faz), gestores de dados de domínio(próximo do que o AD deveria
fazer-visão mais conceitual), gestores de dados operacionais(próximo
do ABD)
• Novos conceitos:
– Data Custodian (TI); Data Consumers; Data Owners-Tipos de
Gestores(Líder de Gestores, Gestor por assunto(cross-functional), Gestor
de áreas, Gestor de dados por projeto, Gestor de dados de
TI(operacional)-AD, DBA
• Conscientização , Comunicação, Treinamento
55
Matriz RACI-Atividades de GD
Atividades de dados Conselho
de GD
Executivo
GD de
Domínio
(Tático)
GD de
Negócio
(Operacional)
GD-TI Equipe
GD
DGPG
Atividades
da Área de
Negócios
Identificaçãoe
Documentação
Evento de dados solicitado-DGT
assume
I/A R R S/R I/R
Identifica Dados e envolvidos
impactados
I R I S R
Levanta dados e documentação
e descreve soluções
R I S R
Solução
Envolve stakeholders, ouve
sugestões, identifica opções,
escolhe solução
A/I C C S R
Informa envolvidos sobre
solução
I I I S R
Implementação
eControle
Implementa e testa solução C/R C R R
Documenta e comunica solução I C I S/R R
Mede e acompanha a solução I/A C I S R
R-Responsável pelo trabalho
A-Accountable
C-Comunicado
I-Informado
S-Suporte
Estruturas de GD
57
Estrutura da Governança
• Alinhar as funções da GD, com a estrutura organizacional
• Lembre-se que cada empresa poderá ter uma estrutura de GD diferente
e certamente essa estrutura será dinâmica, podendo mudar em alguns
anos
• Aspectos de federação(como as unidades de negócios da empresa estão
dispostas) influi nessa estrutura(empresas centralizadas,
descentralizadas, em países diferentes,etc)
• Use Matriz RACI para definir: Responsabilidade, Accountabilidade,
Consultado Informado )
• GD: 3 camadas: Conselho de GD, Comitê de supervisão, Grupo de
implantação, Gestores de dados , Custodiadores de dados(DA,DBA)
• Obter a aprovação da estrutura apresentada
• Iniciar a socialização, divulgação, comunicação da GD
58
Conselho
GD
Comitê de
GD-DMO
Gestores
Grupo “cross-funcional”, formado por elementos da
alta gerência;
Definir Políticas; Prover/Aprovar estratégias de dados
Buscar apoio financeiro;
Resolver pendências, aspectos de aderência a
normas(compliance);
Atribuir/oficializar ao DMO/GDO as ações de GD;
Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO
Coordenar as atividades de GD(estratégica) e táticas com as operacionais;
Definir os membros do Comitê de GD;
Supervisionar os Data Steward/gestores de dados (Business) e os Data
Custodian da TI/Adm,BD,BI ; Arquitetos corporativos,
Define/submete políticas, padrões, processos, procedimentos de GD para
áreas de negócios;
Pode ter uma liderança(cross-functional) de GD(GD Organizacional)
Implementa e executa as Políticas, Padrões e Procedimentos nos
processos específicos de negócios e aplicações do seu domínio;
Formado por pessoas do Business(B data steward) e da TI(IT
data custodian). Chefiados por Gestores líderes
Estão em áreas funcionais e geográficas diferentes. Pode ser
orientado por sistema, por UO-Unidade Organizacional ou por
Assunto
Tipos: GD de Assunto/Domínio(assunto específico), GD de
Projetos(DLCM)
Modelo de
Governança
v04
Data
Owners
Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc
60
Executivos da Empresa
Grupo
Implantação
GD
Matriz RACI
Equipe GD
• Equipe de implementação da GD-DGPG
• Pode ser equipe part-time, tipo day job
• Supervisiona o desenvolvimento e implementação da GD
• Revisa e documenta as práticas de GD, como, papéis e
responsabilidades,comunicação e plano de sensibilização,e provê o road map
de implementação da GD
• Facilitador na reunião do Conselho provendo informação provendo
informação sobre status, atividades e pendências
• Continuamente prove material para treinamento, conscientização, e mentoria
• Define , recomenda e busca aprovação de métricas(do Conselho)
• Garante que as definições de Políticas, processos, procedimentos e métricas
estão em uso, visando garantir a gerência de risco, qualidade e usabilidade dos
dados
• Gerencia incidentes de dados, como dados faltantes ou incorretos em
relatórios internos e externos
• Audita aspectos de compliance e outras políticas e processos de GD
• Rep da(s) área(s) de negócio(s) envolvidas na prioridade de GD e rep de TI 61
Gestores de Dados de Negócios
• SME-Especialista naquele “assunto” de dados
• Normalmente associado a um domínio (Dados Mestres/Referenciais):
Cliente, Vendedor, Medicamento, Médico, Receita (Farmácia), Carro,
Locação(RentaCar), Endereço(Pais,Estado, Região,Logradouro),etc
• Pessoais: relacionamento, boa escrita, comunicação
• Aspectos sobre os dados: Regras de negócios, “compliances”/
regulações, qualidade(dimensões e métricas), segurança/privacidade,
significado(o quê), inventário(onde)
• Extra: Busca pela excelência
• Variações: alguns dados de certos domínios podem ser “geridos” por
diferentes Gestores. Por exemplo dados de Apólices de seguros,
podem ter gestores na área de “underwriting-garantia/oficialização da
apólice” e outros dados em vendas. Gestor do domínio apólice
responsável pelo domínio apólice, com subdomínios gerenciados por
outros gestores de dados de negócios 62
Gestores de Dados de Negócios
• Relacionamento: com gestores de dados técnicos(TI) e
stakeholders do negócio
– Ex: no ciclo de vida do dados em um sistema de BI: Dado fonte-> ETL-
>Data Store->_ETL->DW->Report-Dashboard
• Relacionamento com o Ownership de dados(área de
negócios que terá a responsabilidade/accountaibilty) sobre
aqueles dados. A definição de ownership é feita
analisando-se a área que será mais impactada por eventuais
mudanças de regras de negócios ou de dados acerca
daquele assunto
• Hierarquia: Gestor de Dados Líder
63
Gestores de Dados Técnicos
• Nova denominação para as funções de TI, já existentes.
Algumas linhas chamam de custodiadores de dados
• São os DBA´s, Arquitetos de dados, analistas de sistemas
responsáveis por Projetos e sistemas específicos, técnicos
em ferramentas de QD, etc
• Entendem como o dado está armazenado, é protegido por
backups, é criado no mundo físico, armazenado etc
• Se relacionam com os Gestores de dados de negócios,
provendo informações e expertises técnicas
• Hierarquia: Ao CIO, ou área da TI
• Atuam com os Gestores de dados de Negócios de forma
harmoniosa e integrada
64
Gestores de Dados
de Projetos
• Forma de presença da GD nos projetos
• SDLC –System Data Lyfe Cycle e DMLC(Data
management Lyfe cycle
• Ele não é o responsável por decisões em nome da GD, mas
para levar e discutir issues(pendências) e questões
• Coordena a lista de questões com outros projetos
• Apresenta as questões para a GD e retorna a decisão ao
projeto
65
Conselho de GD
• Suporte e patrocínio ao Programa de GovD
• Ponto de escalonamento e resolução de pendências
• Direciona a mudança cultural necessária
• Faz as alterações necessárias na organização para uma GovD
efetiva
• Cria e promove a visão para o programa de GovD
• Apoia no funding do programa de GovD
• Equilibra as prioridades de negócio com as necessidades
operacionais
• Aprova as Políticas de GovD
• Acompanha a efetividade e o desempenho do programa de GD
• Provê aconselhamento, direcionamento e feedback ao nível
abaixo-Board(Liderança) de GovD
• Aponta/aprova os membros da liderança de GovD 66
Liderança da GD
• Visão de gerência sob o Conselho de Governança de Dados
• Atua diretamente no Comitê de Gestores de Dados, decidindo ou levando a
decisão para o Conselho de GD
• Sãos os tomadores de decisão agindo sobre o Comitê de Gestores de Dados
• Tem autonomia de “funding” para o programa de Governança de Dados
• Prioriza decisões sobre dados no interesse da organização
• Revisa, avalia e reporta para o Conselho de GovD acerca da efetividade e
desempenho do Comitê de gestores
• Avalia medidas que mostrem o alinhamento da GovD com os objetivos de
negócios
• Revisa e aprova as políticas e objetivos da GovD
• É o accountable pelo uso dos dados, qualidade de dados e priorização de
pendências
• Toma decisões táticas e (algumas estratégicas)
• Define nomes, revisa e aprova as recomendações dos membros do Comitê de
Gestores 67
Comitê de Gestores de dados
• Estrutura vital da GD
• Coordenação dos trabalhos dos Gestores de Dados
• Ponte com a área operacional
• Acompanha os aspectos dos Gestores de dados, relativos a
ownership de dados, usuários e consumidores de dados,
metadados, qualidade de dados, compliance, etc
• Resolve pendências no âmbito dos gestores de
dados(assunto)
• Liderado por coordenadores de GD, ou por um
coordenador(Líder de Gestores de dados)
68
DGPO-Escritório de GD
• Apoia, documenta e publica as atividades do Conselho de
GD, da liderança de GD e do Comitê de Gestores de dados
• Define e documenta as melhores práticas de GD
• Planeja e viabiliza o treinamento sobre GD para a empresa
• Documenta, publica e mantem Políticas, Padrões e
procedimentos de GD
• Recomenda métricas, medidas e processos para
acompanhar o progresso do programa de GD na empresa
• Promove a mensagem de valor da GD na empresa,
incluindo a visão, estratégia, etc
• Sabor de PMO(Programa/Projetos) e SEPG(CMMI)
69
When (O
quando)
70
Quando-When
Colocar as ações principais numa ordem
de prioridade no tempo, com observação
de outros recursos
1)Sistema de informações integrado para
as operações da área de ....
2)Sistema de Informações analíticas sobre
os dados da .....
3)Políticas e procedimentos sobre a
formação/adesão.....
4)Políticas e procedimentos sobre.........
5)Politicas e procedimentos sobre..........
When-Quando
T1 T2 T3 T4 T5
(When)-O Quando
• Planejamento estratégico da empresa alinhado com
• Planejamento estratégico de dados
• Projeto Driver
• Arquitetura de Dados: Cloud, ERP, Big Data, DWBI, GED,
Analytics, Dados em TR
• Visão prospectiva: Começar sem projeto, pensando grande,
fazendo pequenos movimentos de GD
• Visão reativa/corretiva-Projeto “core” ou drivers
• Oportunidades nos projetos de DM planejados
• Projetos triggers(DM): MDM, DW/BI, Segurança, ERP,etc-
visão reativa
• Programa de GD em ciclos de projetos/iterações/entregas
72
How much
How many
( O quanto)
73
Quanto-How much
• Custo do programa de GD(n
projetos)
• Custo de Pessoal(Os Gestores de
dados normalmente são part-time)
nessas ações
• Custo de Ferramentas(Repositório
de Metadados, Glossários, etc)
• Custo de aprendizado(cursos,
coaching,etc)
• Bater com os benefícios(Business
Case)
• Retorno em Qualidade de dados,
integração, segurança, maior
liquidez da informação(+rápida),
redução de riscos
How Much-Quanto
RH(h) Outros(*) Total
Custo/Retorno
• Custo:
– Direto: Pessoas, Treinamento, Consultoria, Ferramental
– Indireto: Custo de mudança da cultura, quebra de
“proprietarismos” de dados, conscientização de dado
como ativo, controles aplicados, melhoria contínua
• Retorno:
– Direto: Mitigação dos custos negativos(riscos de
negócios, riscos regulatórios, reputação)
– Indireto: Pode ser intangível(melhoria do capital
estrutural da empresa), melhor qualidade de dados e
informações, melhoria na tomada de decisões etc
– Difícil mensuração 75
How (O como)
76
P´s: da GD Vide Canvas P:
Definição de Planejamento estratégico de
dados
Definição de Processos de GD e de
DM(BI,MDM,Segurança,Integração,etc) e
Processos de Apoio (*)
Definição de Políticas
Definição de Procedimentos
Definição de Performance-métricas de
desempenho
Definição de Pessoas e Papéis
Definição de Projetos e Planos para
alcance dos objetivos/requisitos de dados
Definição de Plataformas
(*): Apoio: MED, Risco, Processo, QA e
Configuração
How-Como
Elementos de Processo:
• Atividades
• Plano de execução do
processo
• Responsabilidades
• Treinamento
• Monitoração do processo
• Gerência de envolvimento dos
Stakeholders
• Acompanhamento do
Processo
• Processo padrão e Processo
definido
How ( O Como)
Estratégia de Dados
• Uma estratégia inclui, no mínimo:
• Declaração de visão(ideias sobre trajetória para o futuro), com princípios operacionais, objetivos
gerais e específicos, prioridades baseadas em fatores de negócios da empresa como
dependências, valores de negócios definidos, alinhamento com iniciativas estratégicas e o nível
de esforço esperado
• Gaps identificados no estado corrente baseado em uma avaliação de DM
• Escopo: Áreas chaves de negócios(Clientes, Contas), prioridades de DM, como QD por
exemplo e Dados chaves
• Foco nos benefícios de negócios
• O framework de DM selecionado(QD, MDM por exemplo) e como será usado
• Papéis e responsabilidades; lista de envolvidos chaves
• Descrição da abordagem usada para desenvolver o programa de DM
• Extensão e escopo do aspecto de “compliance”
• Medidas e métricas para avaliar o sucesso
• Roadmap de alto nível do plano
– Também contemplar as necessidades para “forçar” a adoção de processos, padrões, procedimentos,
etc e as estruturas para decisão sobre a implementação(GD)
– Conter os recursos necessários para o programa de DM
– A estratégia deve ser móvel e flexível para mudar na medida em que a empresa evolua
– A estratégia de DM mais efetiva é aquela institucionalizada, ou seja visivelmente e ativamente
endossada pela gerência executiva e suportada por políticas organizacionais aprovadas por todos
How ( Como)
Plano Estratégico de Dados
• Plano estratégico de dados:
– Missão ( o que desejamos fazer ao longo da caminhada),Visão(como será
um ponto no tempo adiante)
– Objetivos e prioridades
– Valores/benefícios de negócios a serem alcançados
– Alinhamento com estratégia da empresa
– Nível de esforço planejado
– Escopo do programa
– As áreas de DM a serem tratadas
– Gaps identificados
– Necessidades de governança e escopo
– Descrição da abordagem usada para desenvolver o programa de DM
– Medidas de sucesso e acompanhamento
– Roadmap
79
Gestão e
Governança de
Dados
P´s da GD
80
GD-P´s
• Por quê-Problemas
• Patrocínio
• Políticas
• Padrões
• Papéis/Pessoas (Equipes e Comitês)
• Processo
• Procedimentos(GCO,etc)
• Programas/Projetos/Planos
• Performance(GQA,MED),
• Plataformas/arquiteturas
• Palavras(Comunicação) 81
Patrocínio Políticas Processos Procedimentos
Projeto Programa
Planos
Performance
Plataformas/arquiteturas
Palavras
(Comunicação)
Padrões
Pessoas-Papéis
Governança e Gestão de Dados
82
Os P´s-Gestão e Governança de Dados CBarbieri
Problemas-Por quê Problemas, riscos de reputação, de regulação,
informação deficiente, decisões equivocadas,
carência de dados, áreas sensíveis,etc
Patrocínio Apoio, Business Case,Valor de negócios, objetivos de
negócios, área de negócios da empresa, ROI, custo
negativo, cultura de dados
Políticas/Princípios Regras gerais, aprovadas em alta esfera, consensadas,
atualizadas, divulgadas, revisadas sobre dados,
sentido de negócios, auditadas. Princípios são
definições mais filosóficas(todo dado é um ativo)
Processo Conjunto de passos, atividades contendo entradas,
saídas, atores,/participantes, controles, etc
Procedimentos Detalhamentos específicos de ações em alguns
Processos como GCO-Gerência de Configuração,
por exemplo
Padrões Normas e regras consensadas, aprovadas a serem
observadas, aplicadas , respeitadas e
verificadas(auditadas), normalmente aplicadas a
nomes, modelos,etc 83
Os P´s-Gestão e Governança de Dados CBarbieri
Pessoas/Papéis Envolvidos nas atividades de GD e DM com
responsabilidades diferentes-Matriz RACI-
Área de GD, Área de DM
Programas Conjunto de projetos associados aos
objetivos de dados, visando melhorias nos
aspectos de negócios da empresa
Projetos Ações de DM , envolve MDM, DQ,
Metadados, DWBI, Big Data, Analytics, etc,
objetivando melhoria de dados para
objetivos de negócios
Planos Detalhamento do projeto, com planos com
tempo, recursos, pessoas, treinamentos,
riscos, controles, etc
Performance/Desempenho Medidas e procedimentos para monitorar os
processos de GD e de DM, baseado em
processos de apoio(MED, GQA,VER,VAL)
Plataformas/Arquiteturas Ambiente arquitetural e tecnológico onde
estarão as soluções de GD e DM(BI, ERP,
OLTP,OLAP,Analytics,DNE,Metadados,etc)
Palavras(Comunicação) Abordagem para disseminação formal de
elementos da GD, essencial nos aspectos de
mudança cultural. Treinamento, newsletter,
palestras, Site, Wiki, etc
84
Melhoria de Gestão de Dados
P´s
Governança de Dados
Gestão de Dados
Problemas
Patrocínio
Programa
Projetos
Planos
Pessoas
Papéis
Princípios/Políticas
Padrões
Processos
Procedimentos
Plataformas
Propaganda(Comunicação)
Barbix
©CarlosBarbieri-DomaniTecnologia
® Domani TI
Problemas
86
Problemas
• Não começar GD sem entendê-los
• Geral: Qualidade e controle de Dados
• Reputação de produtos e serviços da empresa
• Tomada de decisão com informações erradas, ações
gerenciais equivocadas
• Dados replicados e sem integração
• Regulações e aderência às normas comprometidas junta à
Agências, com informações sem qualidade e multas
• Visão de algumas árvores, mas não da floresta(de dados)
• Avaliação inicial-Assessment
87
Patrocínio
88
Patrocínio
• Alto nível- Área de Negócios em primeiro lugar em consonância com
TI
• Convencimento pelo custo negativo(problemas ou potenciais
problemas) ou por Business Case
– Data profiling pode ser um início
• ROI(?)-ativo intangível, mas díficil
• FCS: Buscar patrocínio mostrando valores de negócios; Definir
claramente o que vale ser governado(prioridade), selecione parte da
floresta; busque alinhamento com o negócio; não deve ser uma
iniciativa TI “pura”
• Pontos a observar: CCC:
– Cultura (estilo da empresa)
– Colaboração (vontade)
– Capacidade de mudança(recursos)
89
Políticas
90
Princípios/Políticas
• Grandes regras, definidas em consenso, aprovadas,
atualizadas e respeitadas por todos, legislando sobre os
dados
– Princípio: mais filosófico
– Política: mais normativa, pode ser aplicada
• Conflitos resolvidos pelo Conselho de GD
• Em vários domínios/fases do ciclo: criação,
armazenamento, uso, arquivamento, eliminação(disposal)
– Aspectos colaterais como: segurança, propriedade,
distribuição e replicação de dados, documentação de
dados, privacidade, qualidade, etc
• Repositório de princípios e políticas- GD WebSite
91
Princípios
• Dado é um ativo e portanto deverá haver “accountability” sobre ele.
Os dados e conteúdos de todos os tipos são considerados ativos da
mesma forma que os outros tipos como ativos físicos, materiais e
financeiros, exigindo, dessa forma, procedimentos de controle
similares .
• A informação deverá vir de uma fonte autorizada, estar disponível,
ser precisa e sem ambiguidade, passível de ser compartilhada e
catalogada(metadados)
• Soluções de informação manterão estrito alinhamento com os
negócios da empresa respondendo às suas necessidades e às
requisições das áreas envolvidas
• O valor do dado está no seu valor intrínseco de mercado, bem como
na proporção da sua contribuição para os objetivos operacionais e
negociais da empresa
92
Políticas
• Regras mais objetivas, consistentes, aplicáveis para ajustar
comportamentos, reduzir riscos,etc
• Devem servir de elementos de criação de elos e parcerias
• Criar somente aquilo que for necessário
• Ter templates para facilitar sua criação
• Focos:
– Objetivos de Negócios
– Objetivos de Dados
– Objetivos de GD e DM
– Aspectos culturais e estruturais
96
Políticas
• Objetivos de negócios:
– Políticas para reduzir riscos:
• Privacidade, compliance, dados sensíveis,
relacionamentos com clientes, parceiros, fusões, etc
• Objetivos de dados
– Políticas para prevenir o uso inadequado de dados
– Políticas para garantir a captura, armazenamento, proteção,
segurança e privacidade de dados
– Políticas para promover o entendimento do significado e
contexto dos dados
– Políticas para garantir a qualidade e disponibilidade de dados
97
Políticas
• Objetivos de GD e DM
– Políticas para GD
– Políticas (padrões) para Arquitetura de dados...
98
Políticas
Exemplos
• Qualidade:
– Toda a informação e os dados da empresa serão seletivamente gerenciados
e medidos na sua qualidade. A qualidade será consistentemente medida
para garantir que o dado será usado no seu propósito definido
– Haverá partes responsáveis pela integridade geral e qualidade dos dados e
seus conteúdos ao longo da empresa
• Colaboração:
– Dados organizacionais serão compartilhados como um recurso ao longo
da empresa. Os dados deverão ter ownership definido, ou seja uma área de
negócios que será a responsável pela sua definição, metadados e regras de
negócios.
• Gerência de Risco:
– A Governança de Dados analisará os riscos dos dados que exigem
“compliance” garantindo sua aderência com todas as leis federais,
estatutárias, políticas e regulações. Um acompanhamento apropriado e
rigoroso será realizado para verificar essa compatibilidade(aderência)
99
• Segurança:
– Todas as passwords deverão ser trocadas a cada 3 meses, com alteração
completa de seu conteúdo e a proibição do uso das 4 últimas ocorrências
– Todas as passwords deverão conter até 10 caracteres, com obrigatoriedade
de no mínimo 4 dígitos
• Arquitetura de Dados:
– Dados organizacionais serão compartilhados como um recurso ao longo
da empresa. Dado não é um recurso que pode ser possuído com
exclusividade por áreas específicas da empresa, a menos que
devidamente aprovado
– Todos os modelos de dados no nível lógico deverão estar compatíveis com
os modelos conceituais organizacionais e deverão ser aprovados ......
• MDM e dados de Referências:
– Os dados considerados Mestres e de Referências somente poderão ser
modificados pelos Owners ou por exceção, por decisão da GD, via o
Comitê de Gestores de Dados envolvidos nas áreas de assunto pertinentes
100
Políticas
Exemplos
Políticas
Considerações
• Alinhamento com aspectos culturais e estruturais:
– Qual o verdadeiro valor daquilo para a alta gerência?
– Empresa: centralizada ou descentralizada?
– Âmbito da política: local ou global?
– Como serão aplicadas(enforced): Recomendação?
Obrigação?
– Alinhamento com outras políticas corporativas: Risco,
Compliance
101
Padrões
102
Padrões
• Normas e especificações estabelecendo formas de se
definir, escrever, desenhar, documentar e usar dados na
organização
• Padrões de modelos, de nomenclatura de processos e
padrões de dados (nome, endereço, telefone,etc)
• Padrões específicos da indústria(dependendo do negócio)
• Padrões de metadados(ISO 11179, ISO 15836)
• Padrões de qualidade de dados
• Definidos em conjunto e aprovados por todos: Comitê de
Gestores de dados, envolvendo os Gestores de várias áreas,
103
Padrões
• Data Owners/Stewards:
– Dono da função de negócios, responsável pelo
estabelecimento do significado dos dados (definição) e
das regras de negócios(criação, uso e qualidade daquele
dado)
– Responsável pela definição do Metadados e dos dados
Outras áreas podem sugerir alterações, mas a decisão
final é do Data Owner.
– Responsável pela Qualidade daqueles dados
104
Processos
105
Processos
• É o “Como fazer” : constituído de um
conjunto de atividades, com input,output,
participantes(RACI), ferramentas, recursos
humanos, outros recursos, treinamento,
controle, monitoração de
performance(Medidas, QA), etc
• Aprovado, treinado e internalizado no dia a
dia da empresa/área target
106
Processo
Exemplo
• Exemplo:Solicitação de alterações em Modelos Conceituais de dados
– Analista de sistemas(AS) interpreta/analisa os requisitos de dados
– Analista de sistemas(AS) faz o modelo inicial lógico de dados, com inclusão
/alteração de entidade(s) existente(s)
– AS envia modelo ao Gestor de dados de negócios(GDN) para revisão de
padrões e definições de domínios de dados
– GDN revisa o modelo e analisa a coerência com os modelos lógicos existentes
• Uso de Check list de avaliação(Procedimento)
– GDN planeja a sessão de revisão com Comitê de GD, GDTI, AD, outros
envolvidos(integração)
• Avaliam impactos no modelos conceitual de dados
– GDN cria ou modifica os elementos lógicos de dados passíveis de atualização
– Se aprovado, envia ao ABD para a modificação do modelo físico em ambiente
de validação
– ABD aplica check list para aceitação do Modelo(Procedimento)
– ABD realiza a alteração e comunica interessados e envolvidos 107
108
Requisição/
pendência
Valida
NOK
OK
Revisão
Req/pendência
Escala
Delega
Rejeita
Rejeita Não Pesquisa
Req/pendência
Escala
Aprovado/
Rejeitado
Rejeitado
Aprovado
+ info?
Não Toma
Decisão/
Recomend.
Sim
Obter
+ Info
Necessita
Aprovação
Não
sim
Executa
Aprovada?
Não
Notifica
Solicit.
Sim
Notifica
Solicit.
Notifica
Solicit.
Notifica
Solicit.
DMO
Escrit.Dados
Comitêde
Gestoresdados
Conselhode
GD Governança de dados-Resolução de Pendências
Data Stewardship-
An Actionable Guide to Effective Data Management and Data Governance-
David Plotkin
Procedimentos
109
Procedimentos
• Detalhamento de processos ou subprocessos
• Detalhamento mais operacional, mais focado para
um executante
• Procedimentos dentro de processos de Medição,
de Garantia da Qualidade ou de Gerência de
Configuração
– Procedimentos de check-list de pendências do processo
de manutenção de senha(GQA) ou de auditoria
funcional de Baselines(GCO de modelos conceituais de
dados)
110
Procedimentos
Exemplos
• Revisão das Entidades:
– A Entidade está na 3ª forma normal ou é permito ter Entidade desnormalizada(NOSQL)
– Há outra Entidade de natureza semelhante ou uma subtipo semelhante no modelo Corporativo
– Há definições detalhadas da Entidade ou da subentidade(metadados)
– Os nomes propostos estão dentro dos padrões organizacionais
• Revisão de relacionamentos
– A cardinalidade está correta?
– A opcionalidade está correta?
– Os relacionamentos possuem nomes inteligentes em ambas as direções?
– Os nomes fazem sentido para o analista de negócios, usuário final
• Revisão de Atributos:
– Os atributos estão com o nome definido dentro dos padrões organizacionais?
– Os domínios associados foram usados corretamente?
– Há comentário para cada atributo
– Há descrição detalhada para cada atributo
– Há atributos derivados, com regras de derivação definida
• Revisão de Identificadores
– Há para cada Entidade, pelo menos um identificador único?
– O identificador é um chave de negócios ou uma SK
– Há chave de Entidade(tipo chave de negócios) atualizável?
111
Procedimentos
Exemplos
• Revisão Geral:
– O sistema é um OLTP ou OLAP?
– As tabelas e colunas estão mapeadas em Entidades e atributos do modelo corporativo?
– No caso de projetos de DW/BI-DM há os dados equivalentes no ambiente Transacional
• Revisão de Tabelas:
– Há outra Tabela de natureza similar no Modelo Físico de dados
– Há comentário em nível de Tabela, para cada uma
– Há definições detalhadas de cada Tabela?
– Há tabela que requeira “journal” especial, ou “audit trail” para modificações?. Se sim, como será feita(trigger,
API?)
– Há tabela que esteja desnormalizada com um racional explicando os motivos?
– As tabelas estão definidas de acordo com os padrões de nomes e abreviações organizacionais
• Revisão de Colunas:
– Há coluna de auditoria definida?(ex: data/hora da última atualização)
– Há comentários de colunas para cada coluna?
– Há descrição para cada coluna?
– Há colunas derivadas de outras colunas e as respectivas regras/fórmulas de derivação?
– Se uma coluna foi desnormalizada de outra tabela há informações de desnormalização registrada
– Os nomes das colunas estão de acordo com os padrões organizacionais?
– Os domínios foram aplicados corretamente?
112
Procedimentos
Exemplos
• Revisão de Restrições de Integridade
– Todas as tabelas tem restrições de PK?
– Deve haver uma restrição de unicidade secundária definida(além da PK)?
– As chaves estrangeiras foram definidas corretamente ?
– Há restrições de Delete Cascade, Restriction,etc ?
– Há restrições de CHECK em nível de colunas?
A execução apropriada desses procedimentos será verificada
pelas auditorias de QA(Quality Assurance) em sessões
programadas, de GQA(não exige conhecimento técnico) ou por
revisões por pares(VER, com conhecimento técnico). Isso gerará
medidas que mostrarão a performance do processo(MED)
DMM: processos de Suporte 113
O modelo DMM
Estratégia de Data Management(Data Management
Strategy)
Estratégia de Data Management
Comunicações
Função de Data Management
Plano de Negócios (Business Case)
Apoio Financeiro
Governança de Dados(Data Governance) Gerência de Governança
Glossáriio de Negócios
Gerência de Metadados
Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados
Data Profiling
Avaliação de Qualidade de Dados
Limpeza de Dados
Operações de Dados(Data Operations) Definição de Requisitos de Dados
Gerência do Ciclo de vida dos Dados
Gerência de Fornecedores de Dados(Provider Management)
Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach)
Padrões Arquiteturais(ArchitecturalStandards)
Plataformas de Data Management(Data Management Platform)
Integração de Dados (Data Integration)
Dados Históricos(Historical Data) , Arquivamento(Archiving) e
Retenção(Retention)
Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis)
Gerência de Processo(Process Management)
Garantia de Qualidade do Processo(Process Quality Assurance)
Gerência de Risco(Risk Management)
Gerência de Configuração(Configuration Management) 114
Pessoas e Papéis
115
Pessoas-Papéis
• Definição de papéis, responsabilidades e
“accountabilities”
• Conselho de Governança de Dados,
formado por (CxO)
• DMO/DGPG-Controle tático
• Gestores de dados de negócios e técnicos
• Outros: ABD,AD, Arquitetos de integração
• Treinamentos
116
Conselho
GD
Comitê de
GD-DMO
Gestores
Grupo “cross-funcional”, formado por elementos da
alta gerência;
Definir Políticas; Prover/Aprovar estratégias de dados
Buscar apoio financeiro;
Resolver pendências, aspectos de aderência a
normas(compliance);
Atribuir/oficializar ao DMO/GDO as ações de GD;
Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO
Coordenar as atividades de GD(estratégica) e táticas com as operacionais;
Definir os membros do Comitê de GD;
Supervisionar os Data Steward/gestores de dados (Business) e os Data
Custodian da TI/Adm,BD,BI ; Arquitetos corporativos,
Define/submete políticas, padrões, processos, procedimentos de GD para
áreas de negócios;
Pode ter uma liderança(cross-functional) de GD(GD Organizacional)
Implementa e executa as Políticas, Padrões e Procedimentos nos
processos específicos de negócios e aplicações do seu domínio;
Formado por pessoas do Business(B data steward) e da TI(IT
data custodian). Chefiados por Gestores líderes
Estão em áreas funcionais e geográficas diferentes. Pode ser
orientado por sistema, por UO-Unidade Organizacional ou por
Assunto
Tipos: GD de Assunto/Domínio(assunto específico), GD de
Projetos(DLCM)
Modelo de
Governança
v04
Data
Owners
Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc
118
Executivos da Empresa
Grupo
Implantação
GD
Programas-Projetos-Planos
119
Programas-Projetos
• Ações efetivas para se implementar a GD
• Programa de GD com Projetos de DM:
DW/BI, MDM, Segurança, DNE,
Qualidade, SDLC, etc
• Estratégia vencedora: Um Programa
estruturante a longo prazo com um Projeto
“trigger”/estruturante, que permita obtenção
de resultados rápidos e visíveis
120
Planos
• Detalhamento do COMO de GD:
• Tempo (cronograma), custo(pessoal e
outros recursos), ferramentas, riscos
envolvidos, controles a aplicar,
treinamentos e capacitação, integração com
outros planos(DM, como DW-BI,
MDM,etc)
• Planejamento e Acompanhamento
121
Plataformas/arquiteturas
122
Plataformas/Arquiteturas
• Arquiteturas de Dados associada à Arquitetura
Corporativa(Negócios, Processos, Sistemas,
Tecnologia,etc)
– Modelos de dados em vários níveis
• Ambiência de tecnologia: Ferramentas Case, BD, DW/BI,
Analytics, Big Data, Ferramentas de integração de dados,
ferramentas de modelagem, ferramentas de QD(Profiling,
Cleansing, Enriquecimento, Padronização), etc
• Metadados, Dicionários/Repositórios, Glossários de
negócios
123
Performance
124
Performance
• Medidas e procedimentos para monitorar os
processos de GD/DM.
– Processos de apoio-DMM
• MED-Medições nos domínios de Custo, Tempo,
Qualidade, Issues (Reputação, etc), “Compliance”
• Indicadores de GD, DQ,etc
• Processos de GQA e VAL
125
Performance
• Métricas nesses domínios de GD e DQ tendem a demorar para
produzir visibilidade de retorno
• Comece com a visão de medir pontos críticos do business(processos
críticos de negócio)
• Genericamente: reduzir custos, aumentar receita e lucro, melhorar
“time to market” , atentar para aspectos de regulação(penas,
reputação,etc) , qualidade
• Pesquisa/Questionário: Algumas métricas são mais difíceis de serem
medidas diretamente. Assim a pesquisa de usuários dos dados é fonte
importante. Exemplo: Houve melhora no entendimento dos dados?;
Houve melhora na percepção de qualidade dos dados?
• Basicamente 2 tipos: Métricas de resultados de negócios e métricas
operacionais(GD, Integração, QD,etc)
126
Performance
• Métricas de negócios:
– Redução em multas penalizações/advertências devido a documentos
regulatórios não aderentes
– Penalizações/multas/advertências por pendências de privacidade
– Penalizações/multas/advertências por pendências de reputação
– Possível perda em crédito devido a pendências de dados
– Possível aumento do custo operacional devido a problemas de dados
– Redução nos custos de desenvolvimento por integração de sistemas
– Por pesquisa junto aos usuários:
• Melhora do entendimento dos dados
• Percepção de melhor qualidade dos dados
• Melhoria na visão preventiva de erros de dados via data profiling
• Número de reclamações de clientes oriundo de erros de dados(baixa qualidade)
• Esse número tem decrescido?
• Número de problemas de pendências regulatórias medidos e gerenciados(decrescido)
• Houve redução no tempo necessário para limpeza e correção dos dados
• Houve redução em tempo despendido com discussões sobre o significado do dado e como é calculado
127
Indicadores
• Indicadores de Governança
– Percentagem de áreas(assuntos) da empresa sob os domínios da GD
– Contador de acesso aos repositórios de metadados, glossário de negócios e portal
de GD
– Feedback sobre GD-pesquisas sobre áreas governadas pela GD
– Número de participantes em treinamento de GD e DQ
– Uso de elementos padrões de GD: códigos, modelos, padrões, procedimentos,etc-
MED de GQA
– Issues resolvidos pelo Comitê de GD/Issues incidentes
– Issues escaladas para o Conselho de GD/Issues incidentes
– Revisões de desempenho realizadas (nas métricas de GD)
• Indicadores de integração
– Número de usuários e acessos às fontes MDM
– Percentagem de redução de acesso a Bancos de Dados departamentais e planilhas
locais
128
Indicadores
• Indicadores de QD:
– Contador de ocorrências por tipo de erro XX/período
– Percentagem de “accuracy” dos dados em arquivos críticos
– Perdas de pedidos on-line ou de produtos retornados devido à
gerência com erros de informações de catálogos(dados mestres)
– Perda de clientes devido a erros de qualidade de dados
– Resultado de Profiling de dados, mostrando os diversos
indicadores de completude, precisão, integridade, etc
• Indicadores de segurança e privacidade
– Número de incidentes relativos aos aspectos de segurança de
dados(leaks, breaches,etc)
129
FCS
• Medidas/Métrica/indicadores
devem ser definidas em função
de objetivos / diretrizes
estratégicas de negócios
• Nunca medir por medir
130
Palavras(Comunicação)
131
Palavras(Comunicação)
• Comunicação
• Elemento fundamental na implementação
de GD
• Palestras, newsletter, programas de
incentivo, divulgação, jogos, treinamento,
etc
• Comunicação atrelada às promulgações de
políticas, padrões, regras,etc
132
Referências
• Data Management Maturity Model-CMMI Institute-August 2014-
Version 1.0
• Data Management Maturity Model-Introduction-University of Ottawa-
CMMI Institute-December-2014
• Introduction to DMM Concepts-Course-CMMI Institute-Washington
DC-2015
• The DAMA Guide to Data Management Body of Knowledge(Dama-
DMBOK Guide)-First Edition 2009
• Dama-DMBOK2-Framework-Patricia Cupoli; Susan Earley; Debora
Henderson-September-2012
• OpenDataGovernance-DMBOK2-Chapter4-em revisão
133
Referências
• Business Model Generation-Inovação em Modelos de Negócios-
Alexander Ostewalder-Yves Pigneur-Editora Alta Books-2011
• Canvas-MGD-Melhoria de Gestão de Dados-Carlos Barbieri-
CBCA-Material treinamento (2014-2015)
• A Framework for Information Systems-John Zachman-
(1988,1991)
• Learning 3.0-Alexandre Magno-Happy Melli-Material de
Treinamento-Junilson Souza (Facilitador)-2015
• Project Management Canvas-José Finócchio Jr-Editora Campus-
2013
• Start with Why-Simon Sinek-Editora Portfolio-Penguim Group-
2009
Referências
• Big Data Imperative-Na emerging imperative-Sunil Soares-MC Press-
2012
• Data Stewardship-David Plotlin-Morgan Kaufman-Elsevier-2014
• Data Governance-How to design, deploy and sustain na effective data
Governance Program-John Ladley-Elsevier-2012
135

More Related Content

What's hot

What's hot (20)

Dicas para implantação de um Programa de Governança de Dados
Dicas para implantação de um Programa de Governança de DadosDicas para implantação de um Programa de Governança de Dados
Dicas para implantação de um Programa de Governança de Dados
 
How to Build & Sustain a Data Governance Operating Model
How to Build & Sustain a Data Governance Operating Model How to Build & Sustain a Data Governance Operating Model
How to Build & Sustain a Data Governance Operating Model
 
Bergson - Novas tendências da Gestão de Dados
Bergson - Novas tendências da Gestão de DadosBergson - Novas tendências da Gestão de Dados
Bergson - Novas tendências da Gestão de Dados
 
Data Governance Takes a Village (So Why is Everyone Hiding?)
Data Governance Takes a Village (So Why is Everyone Hiding?)Data Governance Takes a Village (So Why is Everyone Hiding?)
Data Governance Takes a Village (So Why is Everyone Hiding?)
 
DMBOK 2.0 and other frameworks including TOGAF & COBIT - keynote from DAMA Au...
DMBOK 2.0 and other frameworks including TOGAF & COBIT - keynote from DAMA Au...DMBOK 2.0 and other frameworks including TOGAF & COBIT - keynote from DAMA Au...
DMBOK 2.0 and other frameworks including TOGAF & COBIT - keynote from DAMA Au...
 
Data Governance
Data GovernanceData Governance
Data Governance
 
Who Should Own Data Governance – IT or Business?
Who Should Own Data Governance – IT or Business?Who Should Own Data Governance – IT or Business?
Who Should Own Data Governance – IT or Business?
 
LGPD | FASE-1: PREPARAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...
LGPD | FASE-1: PREPARAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...LGPD | FASE-1: PREPARAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...
LGPD | FASE-1: PREPARAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...
 
Introduction to Data Governance
Introduction to Data GovernanceIntroduction to Data Governance
Introduction to Data Governance
 
Governança de Dados nas empresas - BI Summit 2017
Governança de Dados nas empresas - BI Summit 2017Governança de Dados nas empresas - BI Summit 2017
Governança de Dados nas empresas - BI Summit 2017
 
Collibra - Forrester Presentation : Data Governance 2.0
Collibra - Forrester Presentation : Data Governance 2.0Collibra - Forrester Presentation : Data Governance 2.0
Collibra - Forrester Presentation : Data Governance 2.0
 
Data Governance Best Practices, Assessments, and Roadmaps
Data Governance Best Practices, Assessments, and RoadmapsData Governance Best Practices, Assessments, and Roadmaps
Data Governance Best Practices, Assessments, and Roadmaps
 
Ibm data governance framework
Ibm data governance frameworkIbm data governance framework
Ibm data governance framework
 
Data Governance Best Practices
Data Governance Best PracticesData Governance Best Practices
Data Governance Best Practices
 
LGPD - LEI GERAL DE PROTEÇÃO DE DADOS - SGPD - SISTEMA DE GESTÃO DE PROTEÇÃO ...
LGPD - LEI GERAL DE PROTEÇÃO DE DADOS - SGPD - SISTEMA DE GESTÃO DE PROTEÇÃO ...LGPD - LEI GERAL DE PROTEÇÃO DE DADOS - SGPD - SISTEMA DE GESTÃO DE PROTEÇÃO ...
LGPD - LEI GERAL DE PROTEÇÃO DE DADOS - SGPD - SISTEMA DE GESTÃO DE PROTEÇÃO ...
 
LGPD | FASE-4: GOVERNANÇA | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...
LGPD | FASE-4: GOVERNANÇA | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...LGPD | FASE-4: GOVERNANÇA | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...
LGPD | FASE-4: GOVERNANÇA | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO D...
 
DAS Slides: Building a Data Strategy — Practical Steps for Aligning with Busi...
DAS Slides: Building a Data Strategy — Practical Steps for Aligning with Busi...DAS Slides: Building a Data Strategy — Practical Steps for Aligning with Busi...
DAS Slides: Building a Data Strategy — Practical Steps for Aligning with Busi...
 
GOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdfGOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdf
 
Glossaries, Dictionaries, and Catalogs Result in Data Governance
Glossaries, Dictionaries, and Catalogs Result in Data GovernanceGlossaries, Dictionaries, and Catalogs Result in Data Governance
Glossaries, Dictionaries, and Catalogs Result in Data Governance
 
Building a Data Strategy – Practical Steps for Aligning with Business Goals
Building a Data Strategy – Practical Steps for Aligning with Business GoalsBuilding a Data Strategy – Practical Steps for Aligning with Business Goals
Building a Data Strategy – Practical Steps for Aligning with Business Goals
 

Similar to Governança de Dados-Uma abordagem via Canvas MGD_v02

Inteligência analítica aplicada a negócios
Inteligência analítica aplicada a negóciosInteligência analítica aplicada a negócios
Inteligência analítica aplicada a negócios
Josias Oliveira
 
20BI-Artigo_TCC_final
20BI-Artigo_TCC_final20BI-Artigo_TCC_final
20BI-Artigo_TCC_final
John Stracci
 
realizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesrealizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_services
arthurjosemberg
 
Ampliando a competitividade e conhecimento do cliente atraves do Business Int...
Ampliando a competitividade e conhecimento do cliente atraves do Business Int...Ampliando a competitividade e conhecimento do cliente atraves do Business Int...
Ampliando a competitividade e conhecimento do cliente atraves do Business Int...
Grupo Treinar
 

Similar to Governança de Dados-Uma abordagem via Canvas MGD_v02 (20)

Gestão e Governança de Dados - Evento BI Summit 2016
Gestão e Governança de Dados - Evento BI Summit 2016Gestão e Governança de Dados - Evento BI Summit 2016
Gestão e Governança de Dados - Evento BI Summit 2016
 
Apresentação BI Summit 2016
Apresentação BI Summit 2016Apresentação BI Summit 2016
Apresentação BI Summit 2016
 
Senior BI - Business Intelligence
Senior BI - Business IntelligenceSenior BI - Business Intelligence
Senior BI - Business Intelligence
 
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
 
Apresentação Bschart
Apresentação BschartApresentação Bschart
Apresentação Bschart
 
Inteligência de Negócios e Software Livre
Inteligência de Negócios e Software LivreInteligência de Negócios e Software Livre
Inteligência de Negócios e Software Livre
 
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoProjeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
 
Inteligência analítica aplicada a negócios
Inteligência analítica aplicada a negóciosInteligência analítica aplicada a negócios
Inteligência analítica aplicada a negócios
 
SAP Forum Brasil 2017 - Apresentação MDG
SAP Forum Brasil 2017 - Apresentação MDGSAP Forum Brasil 2017 - Apresentação MDG
SAP Forum Brasil 2017 - Apresentação MDG
 
Curso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
Curso de Business Intelligence e Data Warehouse - Conceitos e FundamentosCurso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
Curso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
 
Business Analytics
Business AnalyticsBusiness Analytics
Business Analytics
 
20BI-Artigo_TCC_final
20BI-Artigo_TCC_final20BI-Artigo_TCC_final
20BI-Artigo_TCC_final
 
realizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesrealizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_services
 
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
 
Adeus BI, Seja Bem Vindo a Era do Analytics?
Adeus BI, Seja Bem Vindo a Era do Analytics?Adeus BI, Seja Bem Vindo a Era do Analytics?
Adeus BI, Seja Bem Vindo a Era do Analytics?
 
Ampliando a competitividade e conhecimento do cliente atraves do Business Int...
Ampliando a competitividade e conhecimento do cliente atraves do Business Int...Ampliando a competitividade e conhecimento do cliente atraves do Business Int...
Ampliando a competitividade e conhecimento do cliente atraves do Business Int...
 
Métricas - Maratona Digital
Métricas - Maratona DigitalMétricas - Maratona Digital
Métricas - Maratona Digital
 
Estratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos DigitaisEstratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos Digitais
 
Palestra Business Intelligence
Palestra Business IntelligencePalestra Business Intelligence
Palestra Business Intelligence
 
SAD - Sistemas de Apoio a Decisoes
SAD - Sistemas de Apoio a DecisoesSAD - Sistemas de Apoio a Decisoes
SAD - Sistemas de Apoio a Decisoes
 

Governança de Dados-Uma abordagem via Canvas MGD_v02

  • 1. Governança de Dados-Uma abordagem via Canvas MGD 1 Carlos Barbieri Versão02-set/2015
  • 2. • Carlos Barbieri, Eng, 1970-MSc-INPE-1974, PG Informática-1975 • Cemig-30 anos na área de Dados(ABD,AD,BI), Gerente da Assessoria de Tecnologia • Professor de Pós-Graduação da FUMEC, PUC-MG nas áreas de BI e Data Governance • Consultoria e treinamento no Brasil e Portugal • Coordenador da área de Qualidade da Fumsoft-Sociedade Mineira de Software, responsável pelo Programa MPS.BR – Engenharia de Software-MPS.BR – Governança e Qualidade de Dados • Autor de 3 livros na área de Dados, Informações e BI • Revisor convidado do Modelo DMM-Data Management Maturity Model-CMMI • CDMP-Certified Data Management Professional-DAMA-Data Management Association- CBIP(TDWI) e CDMP em DM, DW,DD,DOIP,DGS (1994) (2002) (2011)
  • 3. Carlos Barbieri Consultores Associados ® Direitos reservados carlos.barbieri@gmail.com
  • 4. Governança de dados Canvas MGD • Objetivo: – Aplicar, usando as técnicas de Canvas, uma abordagem interativa para o desenvolvimento de projetos “triggers” de dados, que possibilite a alavancagem de conceitos de Governança de Dados nas empresas – Aplicar os conceitos de 5W2H na abordagem de Gestão e Governança de dados – Usa os Canvas de MGD(Melhoria de Gestão de Dados) e o de P´s da Governança 4
  • 5. Governança de dados Canvas MGD • Abordagem: – Aplicada em treinamentos abertos e “in-company” com alcance pleno de resultados – Envolve a participação de gestores de dados de negócios/analistas de negócios, administradores de dados, DBA´s,etc na solução dos problemas associados a dados e na construção interativa de soluções centradas em abordagens de Governança e Gestão de dados – Baseada nas melhores práticas mundiais, centradas em modelos consolidados como DMM-Data Management Maturity Model e DMBOK-Dama-Data Management Association 5
  • 7. Governança de dados Canvas MGD • Abordagem: – Trabalha o envolvimento de equipes na solução de problemas de dados – Foca na interação, através de mecanismo de Canvas, conduzindo a discussão através dos conceitos naturais de 5W2H – Permite a visualização e a visão de cada componente, definido sem restrições à priori – Deve ter a visão de stakeholders de negócios e representantes de TI, já com foco na possível composição da estrutura de Governança de dados – Veja a ilustração a seguir, mostrando as áreas de processos do DMM, das Categorias Estratégia de dados e Governança de Dados 7
  • 11. v06 M/R/T Benefícios(Why) Requisitos(What) Objetivos(Why/What) O que impacta os negócios? “Dores”, perdas, tipos, criticidade, prioridade, causas O que espero realizar para neutralizar, mitigar os problemas pela criticidade, prioridade Dados apoiando negócios O que espero ganhar com os objetivos a serem alcançados Priorização Venda para alta gerência How Much/How Many inicial Principais dados envolvidos Mestre, Referência, Transacional,outros RACI-inicial Detalhamento dos objetivos Soluções Requisitos de Gestão de Dados Requisitos de Governança de Dados How much/How many feedback -------------- Áreas envolvidas na solução Owners de dados, Especialistas negociais em dados Processos de dados(DLCM) RACI e CRUD Planejamento no tempo Priorização Estruturas: Conselhor de GD Comitê de GD Gestores de dados Escritório de Dados (implantação) Refinamento dos custos
  • 12. Os P´s da GD Carlos Barbieri V02 Políticas Processos Procedimentos Padrões Pessoas/Papéis Programas/Projetos DM Plano-GD Plataformas/ arquiteturas Performance Palavra-Propaganda 13 Patrocínio
  • 13. Os P´s da GD Carlos Barbieri V02 Políticas Processos Procedimentos Padrões Pessoas/Papéis Programas/Projetos DM Plano-GD Plataformas/ arquiteturas Performance Palavra-Propaganda 14 Patrocínio Alto nível, (benefícios ou evitar os problemas) BC, associado aos negócios, Patrocínio BSN Não deve ser TI pura. FCS: cultura, colaboração,mudança Regras normativas, Consensadas, aprovadas; atualizadas. Temas: DM/GD: Modelagem, arquitetura, BD, Segurança, MDM, BI, Compliance,etc Templates para criação Ritual: proposta, análise, aprovação, promulgação Regras, normas e especificações para definir, escrever,desenhar, documentar e usar dados Padrões da indústria Padrões de Metadados (ISO) Padrões de QD, BI, BD, MDM,etc Definido e aprovado em ritual semelhante Conjunto de atividades, com Input output, participantes, tools, recursos, controle vias Monitoração de performance (QA,MED) Aprovado, treinado e internalizado Ex: Alteração de modelos Conceituais de dados Procedimentos: detalhamentos de parte de processos, repetitivo Procedimentos dentro de Proc. MED,GQA,etc Ex: Coleta de dados para medição de QD Gestores de dados de negócios Gestores de dados por Assunto Líder de GD Conselho de GD CDO Custodiadores de dados GD é um programa Vários projetos: drivers, ações emergenciais Pense grande, comece pequeno “Dont boil the ocean” Plano: detalhamento de Objetivos, recursos pessoais, tempo, recursos materiais, necessidades de treinamento Parte de Planejamento Parte de Acompanhamento Arquitetura: negócios, processos tecnologia e de dados Plataforma de tecnologia: BD, DW/BI,Analytics, Big data,QD, Metadados: Dicionários/ Repositórios de MD e Glossário de negóciosPlano de MED(Medições) Plano de QA Aplica-se em GD,DM, etc Fundamental Plano de Comunicação Palestras,newsletter,etc Comunica: Padrões, Processos,Políticas, Procedimentos,Regras
  • 16. Problemas de Dados na sua empresa? Barbix-2012 17
  • 17. (Why)-O Porquê • Começar pelo WHY?-Problemas • Impactos em Mercado, Clientes, Produtos • Regulações Aderência à compliance(aspectos regulatórios), Reputação • Qualidade, Segurança de dados, Privacidade • Disponibilidade de informação/garantia de fonte confiável • Problemas de Integração: Arquitetura de dados integrada com Arquitetura corporativa • Fontes variadas de dados: ERP,SCM,SFA, PLM, Big Data • Carência de informações analíticas e para tomada de decisões • Dados – classificação : M(estre), R(eferenciais), T(ransacionais),etc • Dados- classificação: Criticidade(3 níveis): alta/média/baixa • Identifique os principais Metadados • Identifique (inicialmente) Data Owners e Processos envolvidos • Ferramentas: Entrevistas, Ferramentas de QD-profiling,etc 18
  • 18. • Porquê? • Problemas e riscos de Negócios • Tipos de problemas(Pessoas, Cultura, Gerência, recursos,Processos,etc) • Impactos em Mercado, Regulação, Reputação, Perdas,etc • Associe com potenciais problemas de dados : • Problemas de Segurança de Dados • Problemas de Qualidade de dados • Problemas de Integração de dados • Problemas de redundância/replicação descontrolada de dados, carência • Fontes variadas de dados • Metadados Why? • Porquê? • Quais dados principais estão no contexto do problema • Classifique em Dados Mestres, Referenciais, Transacionais, outros • Classifique os Dados em 3 níveis de criticidade pelo potencial de impacto nos negócios(muito-médio, menos). Por exemplo, dados que são exigidos por agências reguladoras são considerados críticos • Associe inicialmente Dados com Unidades organizacionais(Data Owners), • Faça uma Matriz RACI inicial
  • 19. Objetivos-Why/What: • Como os dados poderão contribuir para a melhoria(resolução) dos problemas de negócios. Por exemplo ajudar em : • Expansão de mercado, Melhoria de atendimento aos clientes, Melhoria da Reputação da empresa, diminuição de perdas, Minimização de riscos de Compliance, de segurança de dados,etc • Benefícios iniciais • Melhoria da qualidade das informações; • Melhoria da integração em sistemas e fontes de dados; • Melhoria de produção de informações para “melhor” tomada de decisões; • Maior qualidade nos relatórios de Compliance • Priorize os benefícios para melhor “vendê-los” • Seja objetivo e conciso na sua definição, com ênfase nos ganhos(How much aproximado) Objetivos-Benefícios iniciais
  • 20. Dados Mestres (CS,FN,Local, Emp,etc Dados Referenciais (Códigos,CEP, CCusto,SKU, CContabeis Dados Transacionais OC,NF, PCompra-data Metadados código, nome, descrição, nome-negócios, etc metadados técnicos, negócios, auditoria DadosExternosDadosInternos Dados Estruturados (templates,campos) Dados Não Estruturados (email,som,imagem,foto,posts) Dados Condicionais F(x) DadosDerivadosDadosPrimários Dados Históricos Contexto de data Estabilidade/Dados fundamentais(Foundational) Volatilidade Retenção/ Imutabilidade/ Informacional-BI Condição/Regras Forma origem Gênese/ Transformação definição Codificação Padronização Dados Temporários (otimização, performance, memória) Big Data Governance 5V: Volume,Variedade,Velocidade Veracidade e Valor Transacional Foundational 21 Dados e Metadados
  • 22. What ( O Quê) • Requisitos de Dados para resolver os problemas de negócios • Envolve as soluções previstas para serem aplicadas, tanto de DM(Gestão de dados), quanto de GD(Governança de dados) • Maior controle sobre os dados( documentação, qualidade, uso, compartilhamento, integração, ciclo de vida, monitoração) • Definição de programas/projetos/plano estratégicos de melhoria dos dados, Projetos de DM/GD • Missão, Visão , Estratégia 23
  • 23. Requisitos-What Soluções de DM(Data Management) e de GD(Governança de Dados) 1)Sistema de informações integrado para as áreas de ...... 2)Sistema de Informações analíticas sobre os dados para ..... 3)Novas plataformas, como Big Data,etc 4)Políticas e procedimentos sobre sobre ações de ...................... 5)Processos, Padrões e Medições What-Requisitos Benefícios-detalhe-What: • Parte vendável para a alta gerência • Escritos de forma objetiva, concisa e direta (Elevator speech) • Ganhos tangíveis e intangíveis • Números e BC(Business Case) • Outros: apresentações, newsletter, • Fatores: cultura da empresa, forma de comunicação(jargão, estilo) • Plano estratégico de dados ou • Charter de GD(3 pa´ginas) • Convencimento e venda (How much, How many)
  • 24. Soluções para • Qualidade de Estrutura/Integração – Arquitetura dos dados, dados críticos para o negócio, MDM • Qualidade de Documentação – Metadados e Glossários de negócios • Qualidade de Conteúdo – Data Quality • Qualidade de Segurança – Segurança lógica e física • Qualidade de Disponibilidade – Acesso no momento necessário, Plataformas, sistemas e ferramentas • Governança de Dados – Políticas, Padrões, Processos, etc... 25
  • 27. Governança De Ddos Gerência de Arquitetura de Dados Modelagem e Projetos de Dados Armazenamen to e Operações De Dados Gerência de Segurança de Dados Integração e Interoperabili dade Gerência de Dados Mestres -MDM Gerência de BI e DW Gerência de Conteúdos e Documentos Gerência de Metadados Gerência da Qualidade de Dados MCD-Modelo Conceitual Arq.BD Arq.DW Integrado Arq.Corporativa (dados-processos-negócios-sistemas tecnologia) Arq.MetaDados Modelagem dados Modelos lógicos dados Modelos físicos BD Versão e integração de Modelos Implementação de dados Teste/produção BD Backup Recovery/Restart Performance Gerência da tecnologia e Evolução de versões Requisitos de segurança Políticas Padrões Procedimentos Auditoria Versão única-Golden records? Fontes distintas Taxonomia de dados Mestres/Ref-Hierarquias(Classif)/Afiliações(Agregação) ou fontes alternativas Arquitetura de Dados Mestres/Ref(bus,serviços,Replicação,centralização,diretório) DW,Dmarts,ETL BI-Business Intelligence Arquiteturas de BI Gerência sobre DNE(não estruturados) Documentos, conteúdos Backup, recuperação, retenção Gerência de Conteúdo:Indexação Arquitetura Repositório Padrões Distribuição e Entrega MD:negócios, Técnicos, Operacionais Conscientização sobre QD Profiling/Cleansing e avaliação Regras e procedimentos Medições Papéis e estrutura: Comitê-Escritório de dados-gestores de dados Política,Procedimentos Regras para conflitos Supervisão das funções de Gerência de dados Conformidade com Políticas, Padrões, Arquiteturas Promover o dado como ativo Aquisição,extração, Transformação,movimentação Entrega-replicação-federalização Virtualização-suporte 28 DAMA-DMBOK
  • 28. Governança De BIG Data Gerência de Arquitetura de Dados Modelagem e Projetos de Dados Armazenamen to e Operações De Dados Gerência de Segurança de Dados Integração e Interoperabili dade Gerência de Dados Mestres -MDM Gerência de BI e DW Gerência de Conteúdos e Documentos Gerência de Metadados Gerência da Qualidade de Dados Modelos de dados estruturados Modelo de dados não estruturados Arquitetura prioriza a flexibilidade Camadas TR, NRT e Batch Dados armazenados Linhas Colunas Chave-Valor Documentos Grafos-estruturas complexas Dados em alto volume Dados em RT, NRT Impactos em backup Ambientes secundários de storage, custo Igual ao anterior Dados IOT podem ser mais sensíveis: Smart Pill, Elderly Care systems,Smart Meters Visão de Políticas, Padrões, Processos, Procedimentos Pessoas, etc sob esses novos ângulos dos 5V Fail-over Sharding-Replicação Master_Slave-Master-Master Escalabilidade horizontal direta 29 DW/BI integrado com BigD DW-HIVE MAHOUT-Mining, M.Learning ODS-Data Lake Desafio: MD no nível físico Qualidade? O V de Veracidade QD em dados não estruturados Integração de dados Mestres típicos c/ Outros-Redes NOSQL: BD Documentos Dados de Mídia social (Visitor) DAMA-DMBOK2
  • 29. Governança de Dados Gerência de Arquitetura de Dados Modelagem e Projetos de Dados Armazenamen to e Operações De Dados Gerência de Segurança de Dados Integração e Interoperabili dade Gerência de Dados Mestres -MDM Gerência de BI e DW Gerência de Conteúdos e Documentos Gerência de Metadados Gerência da Qualidade de Dados Troca de nome dos processos Processo novo-Integração e Interoperabilidade DAMA-DMBOK2 Nomes antigos: 1-Desenvolvimento de dados-2-Gerência de Operações de dados 1 2
  • 30. 31DMBOK-Figura 3.1-Diagrama de Contexto de Governança de Dados-adaptação do autor Definição: Exercício da autoridade e controle(planejamento, monitoração e aplicação das regras) acerca da gestão de ativos de dados Objetivos:  Definir , aprovar e comunicar as estratégias de dados, políticas, padrões, procedimentos, arquiteturas e métricas  Rastrear e forçar a aplicação de regras regulatórias de conformidade e aderência(compliance) via políticas, padrões procedimentos e arquiteturas de dados  Patrocinar, rastrear e supervisionar a entrega de projetos de dados da organização  Gerenciar e resolver pendências relacionadas a dados  Entender e promover o valor dos ativos de dados DAMA-DMBOK-Governança de Dados
  • 31. Atividades Entradas Saídas Métricas e Ferramentas: Métricas: Valor dos dados, Custo de DM, Alcance de Objetivos, # de decisões tomadas, Cobertura dos Gestores de dados, # de profissionais de dados, Maturidade do processo de DM Ferramentas: Website,email,Repositórios, Issue tracker, KPI Entradas: • Objetivos de negócios • Estratégias de negócios • Objetivos de TI • Estratégias de TI • Necessidades de dados • Pendências de dados • Requisitos regulatórios Fornecedores: • Executivos de negócios • Executivos de TI • Gestores de dados • Organismos regulatórios Participantes: • Gestores de dados executivos • Coordenação de gestores de dados • Gestores de dados de negócios • Profissionais de dados • Executivos de gestão de dados • CIO Entregáveis: • Políticas de dados • Padrões de dados • Pendências de dados resolvidas • Projetos e Serviços de Gestão de dados(DM) • Informações e dados com qualidade • Valor de dados reconhecido Consumidores: • Produtores de dados • Gestores de conhecimento • Executivos e Gerentes • Profissionais de dados • Clientes DAMA-DMBOK-Governança de Dados
  • 32. DMBOK-Figura 3.1-Diagrama de Contexto de Governança de Dados-adaptação do autor Atividades: • Planejamento de DM(*)  Entender as necessidades estratégicas de dados da organização  Desenvolver e manter uma estratégia de dados  Estabelecer estruturas e papéis de profissionais de dados  Identificar e designar gestores de dados  Estabelecer estruturas de gestão e governança de dados  Desenvolver e aprovar Políticas, Padrões e Procedimentos  Revisar e aprovar a arquitetura de dados  Planejar e patrocinar projetos e serviços de DM(*)  Estimar o valor e os custos associados aos ativos de dados DAMA-DMBOK-Governança de Dados Planejar (*)-Data Management-Gestão de dados
  • 33. DMBOK-Figura 3.1-Diagrama de Contexto de Governança de Dados-adaptação do autor Atividades: • Controle de DM(*)  Supervisionar as estruturas, funções e papéis de dados  Coordenar as atividades de Governança de dados  Gerenciar e resolver pendências de dados  Monitorar e garantir as conformidades regulatórias  Monitorar e garantir aspectos de conformidade com Políticas, Padrões e Arquitetura de dados  Supervisionar projetos e serviços de dados  Comunicar e promover o valor dos ativos de dados DAMA-DMBOK-Governança de Dados (*)-Data Management-Gestão de dados
  • 34. DMM 35 Data Management Maturity Model CMMI Institute
  • 35. VISÃO GERAL NOS ANOS 200X 1 2 3 4 5 QUALIDADE DE DADOS OPERAÇÕES DE DADOS ESTRATÉGIA DE GESTÃO DE DADOS PLATAFORMA E ARQUITETURA 1-realizado 2-gerenciado 3-definido 4-medido 5-otimizado Capacidade GOVERNANÇA DE DADOS RSKM(RISCOS)-CM(CONFIGURAÇÃO)-MA(MEDIÇÃO E ANÁLISE)-QA(QUALTY ASSURANCE) DE PROCESSO- GERÊNCIA DE PROCESSO DMM-1.0 PROCESSOS DE SUPORTE Atributos de Processos ISP-Infrastructure Support Practices 36 Data Management Maturity Model
  • 36. O modelo DMM Estratégia de Data Management(Data Management Strategy) Estratégia de Data Management Comunicações Função de Data Management Plano de Negócios (Business Case) Apoio Financeiro Governança de Dados(Data Governance) Gerência de Governança Glossáriio de Negócios Gerência de Metadados Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados Data Profiling Avaliação de Qualidade de Dados Limpeza de Dados Operações de Dados(Data Operations) Definição de Requisitos de Dados Gerência do Ciclo de vida dos Dados Gerência de Fornecedores de Dados(Provider Management) Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach) Padrões Arquiteturais(ArchitecturalStandards) Plataformas de Data Management(Data Management Platform) Integração de Dados (Data Integration) Dados Históricos(Historical Data) , Arquivamento(Archiving) e Retenção(Retention) Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis) Gerência de Processo(Process Management) Garantia de Qualidade do Processo(Process Quality Assurance) Gerência de Risco(Risk Management) Gerência de Configuração(Configuration Management) 37 DMM-CategoriaseÁreasdeProcessos
  • 38. Where-Onde • Escopo, domínio, áreas de negócios • Contexto onde se fará as melhorias: • Geográfico / Negocial • Principais processos de negócios da área: e seus dados (DMLC-Ciclo de vida)- From Requirement to Retirement • Principais sistemas envolvidos com Matriz RACI, CRUD • Identificação de Data Owners e envolvidos em dados(negócios) com alto conhecimento dos assuntos • Envolvidos na TI, nos sistemas relacionados ao tema/assunto • Início do Who Where Cliente Serviços MKTFIN XPTO Assunto
  • 39. Escopo • Propor um escopo e um plano inicial para definir e implementar GD(aproveitar eventuais projetos trigger/estruturantes de DM) – Evite “to boil the ocean” ; Use as estruturas e especialistas existentes • Identificar as unidades de negócios/áreas sujeitas à GD – Contextos prioritários, dados críticos – Sempre pense em objetivos de negócios, prioridades e escopo sensíveis – Dados x processos, RACI, CRUD • Desenvolver uma estrutura de equipe para o início dos trabalhos, com foco inicial nos Owners e envolvidos no tema(SME)-potenciais gestores(stewards) • Aprovar escopos, priorizações e restrições • Sempre pense grande mas aja pequeno, com foco centrado em negócios e valores agregados ao “business” – Ciclos iterativos-projetos 42
  • 40. Escopo • O escopo de um programa de GD tem que ser analisado considerando: – Modelo de Negócios • Centralizado, descentralizado, distribuído em regiões • Impacto das linhas de negócios com as melhorias GD. Por exemplo: MDM/Cliente – Conteúdo dos dados • Dados estruturados e não estruturados • Mestres, Transacionais, Informacionais • Considerações da GD sobre SDLC no caso de dados estruturados ou de BPM no caso de dados não-estruturados(fluxo de documentos) – Estrutura prevista para a GD • Federalização: Divisão em níveis, camadas da empresa, com políticas, regras e procedimentos variáveis. Tal como uma Federação. Há dados que poderão ter diferentes graus de GD, dependendo da sua natureza: global, regional ou local. – Cultura da Empresa • Propensão a qualidade, compartilhamento • Processos de Qualidade • Conceito de Accountability(responsabilidade maior) Empresas são diferentes!!! Boa Vista serviços, Johnson&Johnson, BySat 43
  • 41. Escopo • O escopo de um programa de GD tem que ser analisado considerando: – Projetos de DM • Projetos de MDM, BI, Segurança, DNE, ERP, Qualidade etc – Áreas especiais podem ficar fora • P&D-dados experimentais podem ser controlados sob outra ótica • Governança de dados é uma inovação!! – Síntese: • Definir a área da empresa que será “governada” – DMM: Associada com Estratégia 44
  • 42. Escopo da GD Unidade de Negócios Dados Dados Dados Dados Dados GD Empresa A Unidade de Negócios Unidade de Negócios Unidade de Negócios Dados Dados Dados Dados Dados Dados GD GD GD Empresa B RegiãoRegiãoRegião Algo que liga as GD´s: Comitê de Observação, Conselho Supra GD 45
  • 43. Estruturação-Federalização Função do Escopo Local Local Regional Global Cliente FornecedorProduto Dados ReferenciaisKPI´s Regras de compliance Os dados Mestres, Referenciais, KPI´s e regras de compliance poderão ter definições variadas nos diferentes níveis organizacionais. Itens Core 46
  • 44. DLCM-GERÊNCIA DO CICLO DE VIDA DOS DADOS • Um dos maiores desafios da GD • Visão do Dado (from Requirement to Retirement) • Visão dos dados como ativo que circula/movimenta entre processos diferentes em áreas de negócios diferentes, processado por sistemas diferentes, habitando “data stores” diferentes(o mesmo dado conceitual) – Áreas de negócios usam(podem usar) o mesmo dado de forma diferente – Área de marketing pode usar alguns dados do Cliente diferentes da área de Vendas ou de Entrega(Delivery) 47
  • 45. DLCM Dados x Processos • Onde os dados e processos se cruzam • Dados e Processos de Negócios envolvidos(Matrizes CRUD/RACI) • Ciclo de vida dos dados • Rastreabilidade e impactos dos em alterações de dados 48
  • 46. Atuação da GD no DLCM • Facilitar os Owners de dados acerca de necessidades de alterações, via um processo definido – Gestores de dados de cada área envolvida, discutindo no Comitê de GD (ou escalando) • Coordenar requisitos específicos de negócios sobre aquele mesmo dado – GD´s priorizam e analisam para evitar duplicações de requisitos e a possibilidade de consolidá-los • Resolução de conflitos – Usos diferentes por áreas de negócios diferentes podem gerar conflitos- Escalonamento para Líder de GD, ou GD por assunto, ou Conselho de GD • Gerenciar as definições de dados(metadados) e os seus usos apropriados – Saber quem usa o dado como, em qual processo • Controlar as métricas usadas para medir aderência com aquilo que é requerido pelas políticas e padrões da GD • Conhecer o DLCM é saber da rastreabilidade, gerenciar os impactos(upstream e downstream) e prevenir erros em casos de modificações de dados 49
  • 47. Ciclos de Vida Dados e Sistemas The DAMA Guide to Data Management Body of Knowledge-DMBOK-fig 1.2-pag-4 Gestor de dados de negócio Gestor de dados de projeto 50 (*)Permitir, Autorizar, Habilitar (*)
  • 48. Atuação da GD no DLCM Sistema de PV ERP Ticket Venda ETL DW DM Módulo Financeiro Módulo Fiscal Analytics (Mining) Módulo Archiving Transacional Informacional-Dimensional Inferencial ODS Proprietário(Owner) Gestores(Stewards) Consumidores(consumers) Custodiadores(TI) 51
  • 49. Matriz Dados x Processos Por área de assunto/foco da GD Descrição Sistemas-TI Área 1 Área 2 Área 3 Área 4 Dados Mestres Endereço de Cliente SAP CRM Seção w- José Pinho Dados Referenciais Código de doença Depto X- C Dados Transacionais D-Define C-Criação dos dados R-Leitura/Uso U-Atualização E-Deleção/Eliminação Nome do Data ME(*) Nome do System ME(*) DCRUE (*)ME-Especialista no assunto
  • 51. Who-Quem Premissa #1: Cada empresa define a sua estrutura de GD, de acordo com sua cultura, engajamento, percepção de “data value”, estruturas, geografia, etc Definição da estrutura de Governança e interação com TI • Definição dos Data Owners • Definição dos Gestores de Dados de Negócios • Definição de Gestores de Dados de TI • Definição do Comitê tático de Gestores • Definição do Grupo de Implementação de GD(DGPO)-Escritório de dados • Definição do Conselho de GD • Grupo de Gestores de dados (GGD) por Subject área • Ex: GGD de Clientes, com GDN+GDT+outros interessados Who-Quem Visão deliberativa Visão organizacional Visão operacional GD DM
  • 52. Pessoas e Papéis • Envolvimento de Business prioritariamente • Novos papéis – Conselho de GD – Gerência tática: Comitê de Gestores de Dados-DMO, DGPG – Gestores de Dados de negócios e técnicos (TI) • Outros tipos: gestores de dados de Projetos (próximo do que o AD faz), gestores de dados de domínio(próximo do que o AD deveria fazer-visão mais conceitual), gestores de dados operacionais(próximo do ABD) • Novos conceitos: – Data Custodian (TI); Data Consumers; Data Owners-Tipos de Gestores(Líder de Gestores, Gestor por assunto(cross-functional), Gestor de áreas, Gestor de dados por projeto, Gestor de dados de TI(operacional)-AD, DBA • Conscientização , Comunicação, Treinamento 55
  • 53. Matriz RACI-Atividades de GD Atividades de dados Conselho de GD Executivo GD de Domínio (Tático) GD de Negócio (Operacional) GD-TI Equipe GD DGPG Atividades da Área de Negócios Identificaçãoe Documentação Evento de dados solicitado-DGT assume I/A R R S/R I/R Identifica Dados e envolvidos impactados I R I S R Levanta dados e documentação e descreve soluções R I S R Solução Envolve stakeholders, ouve sugestões, identifica opções, escolhe solução A/I C C S R Informa envolvidos sobre solução I I I S R Implementação eControle Implementa e testa solução C/R C R R Documenta e comunica solução I C I S/R R Mede e acompanha a solução I/A C I S R R-Responsável pelo trabalho A-Accountable C-Comunicado I-Informado S-Suporte
  • 55. Estrutura da Governança • Alinhar as funções da GD, com a estrutura organizacional • Lembre-se que cada empresa poderá ter uma estrutura de GD diferente e certamente essa estrutura será dinâmica, podendo mudar em alguns anos • Aspectos de federação(como as unidades de negócios da empresa estão dispostas) influi nessa estrutura(empresas centralizadas, descentralizadas, em países diferentes,etc) • Use Matriz RACI para definir: Responsabilidade, Accountabilidade, Consultado Informado ) • GD: 3 camadas: Conselho de GD, Comitê de supervisão, Grupo de implantação, Gestores de dados , Custodiadores de dados(DA,DBA) • Obter a aprovação da estrutura apresentada • Iniciar a socialização, divulgação, comunicação da GD 58
  • 56. Conselho GD Comitê de GD-DMO Gestores Grupo “cross-funcional”, formado por elementos da alta gerência; Definir Políticas; Prover/Aprovar estratégias de dados Buscar apoio financeiro; Resolver pendências, aspectos de aderência a normas(compliance); Atribuir/oficializar ao DMO/GDO as ações de GD; Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO Coordenar as atividades de GD(estratégica) e táticas com as operacionais; Definir os membros do Comitê de GD; Supervisionar os Data Steward/gestores de dados (Business) e os Data Custodian da TI/Adm,BD,BI ; Arquitetos corporativos, Define/submete políticas, padrões, processos, procedimentos de GD para áreas de negócios; Pode ter uma liderança(cross-functional) de GD(GD Organizacional) Implementa e executa as Políticas, Padrões e Procedimentos nos processos específicos de negócios e aplicações do seu domínio; Formado por pessoas do Business(B data steward) e da TI(IT data custodian). Chefiados por Gestores líderes Estão em áreas funcionais e geográficas diferentes. Pode ser orientado por sistema, por UO-Unidade Organizacional ou por Assunto Tipos: GD de Assunto/Domínio(assunto específico), GD de Projetos(DLCM) Modelo de Governança v04 Data Owners Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc 60 Executivos da Empresa Grupo Implantação GD
  • 57. Matriz RACI Equipe GD • Equipe de implementação da GD-DGPG • Pode ser equipe part-time, tipo day job • Supervisiona o desenvolvimento e implementação da GD • Revisa e documenta as práticas de GD, como, papéis e responsabilidades,comunicação e plano de sensibilização,e provê o road map de implementação da GD • Facilitador na reunião do Conselho provendo informação provendo informação sobre status, atividades e pendências • Continuamente prove material para treinamento, conscientização, e mentoria • Define , recomenda e busca aprovação de métricas(do Conselho) • Garante que as definições de Políticas, processos, procedimentos e métricas estão em uso, visando garantir a gerência de risco, qualidade e usabilidade dos dados • Gerencia incidentes de dados, como dados faltantes ou incorretos em relatórios internos e externos • Audita aspectos de compliance e outras políticas e processos de GD • Rep da(s) área(s) de negócio(s) envolvidas na prioridade de GD e rep de TI 61
  • 58. Gestores de Dados de Negócios • SME-Especialista naquele “assunto” de dados • Normalmente associado a um domínio (Dados Mestres/Referenciais): Cliente, Vendedor, Medicamento, Médico, Receita (Farmácia), Carro, Locação(RentaCar), Endereço(Pais,Estado, Região,Logradouro),etc • Pessoais: relacionamento, boa escrita, comunicação • Aspectos sobre os dados: Regras de negócios, “compliances”/ regulações, qualidade(dimensões e métricas), segurança/privacidade, significado(o quê), inventário(onde) • Extra: Busca pela excelência • Variações: alguns dados de certos domínios podem ser “geridos” por diferentes Gestores. Por exemplo dados de Apólices de seguros, podem ter gestores na área de “underwriting-garantia/oficialização da apólice” e outros dados em vendas. Gestor do domínio apólice responsável pelo domínio apólice, com subdomínios gerenciados por outros gestores de dados de negócios 62
  • 59. Gestores de Dados de Negócios • Relacionamento: com gestores de dados técnicos(TI) e stakeholders do negócio – Ex: no ciclo de vida do dados em um sistema de BI: Dado fonte-> ETL- >Data Store->_ETL->DW->Report-Dashboard • Relacionamento com o Ownership de dados(área de negócios que terá a responsabilidade/accountaibilty) sobre aqueles dados. A definição de ownership é feita analisando-se a área que será mais impactada por eventuais mudanças de regras de negócios ou de dados acerca daquele assunto • Hierarquia: Gestor de Dados Líder 63
  • 60. Gestores de Dados Técnicos • Nova denominação para as funções de TI, já existentes. Algumas linhas chamam de custodiadores de dados • São os DBA´s, Arquitetos de dados, analistas de sistemas responsáveis por Projetos e sistemas específicos, técnicos em ferramentas de QD, etc • Entendem como o dado está armazenado, é protegido por backups, é criado no mundo físico, armazenado etc • Se relacionam com os Gestores de dados de negócios, provendo informações e expertises técnicas • Hierarquia: Ao CIO, ou área da TI • Atuam com os Gestores de dados de Negócios de forma harmoniosa e integrada 64
  • 61. Gestores de Dados de Projetos • Forma de presença da GD nos projetos • SDLC –System Data Lyfe Cycle e DMLC(Data management Lyfe cycle • Ele não é o responsável por decisões em nome da GD, mas para levar e discutir issues(pendências) e questões • Coordena a lista de questões com outros projetos • Apresenta as questões para a GD e retorna a decisão ao projeto 65
  • 62. Conselho de GD • Suporte e patrocínio ao Programa de GovD • Ponto de escalonamento e resolução de pendências • Direciona a mudança cultural necessária • Faz as alterações necessárias na organização para uma GovD efetiva • Cria e promove a visão para o programa de GovD • Apoia no funding do programa de GovD • Equilibra as prioridades de negócio com as necessidades operacionais • Aprova as Políticas de GovD • Acompanha a efetividade e o desempenho do programa de GD • Provê aconselhamento, direcionamento e feedback ao nível abaixo-Board(Liderança) de GovD • Aponta/aprova os membros da liderança de GovD 66
  • 63. Liderança da GD • Visão de gerência sob o Conselho de Governança de Dados • Atua diretamente no Comitê de Gestores de Dados, decidindo ou levando a decisão para o Conselho de GD • Sãos os tomadores de decisão agindo sobre o Comitê de Gestores de Dados • Tem autonomia de “funding” para o programa de Governança de Dados • Prioriza decisões sobre dados no interesse da organização • Revisa, avalia e reporta para o Conselho de GovD acerca da efetividade e desempenho do Comitê de gestores • Avalia medidas que mostrem o alinhamento da GovD com os objetivos de negócios • Revisa e aprova as políticas e objetivos da GovD • É o accountable pelo uso dos dados, qualidade de dados e priorização de pendências • Toma decisões táticas e (algumas estratégicas) • Define nomes, revisa e aprova as recomendações dos membros do Comitê de Gestores 67
  • 64. Comitê de Gestores de dados • Estrutura vital da GD • Coordenação dos trabalhos dos Gestores de Dados • Ponte com a área operacional • Acompanha os aspectos dos Gestores de dados, relativos a ownership de dados, usuários e consumidores de dados, metadados, qualidade de dados, compliance, etc • Resolve pendências no âmbito dos gestores de dados(assunto) • Liderado por coordenadores de GD, ou por um coordenador(Líder de Gestores de dados) 68
  • 65. DGPO-Escritório de GD • Apoia, documenta e publica as atividades do Conselho de GD, da liderança de GD e do Comitê de Gestores de dados • Define e documenta as melhores práticas de GD • Planeja e viabiliza o treinamento sobre GD para a empresa • Documenta, publica e mantem Políticas, Padrões e procedimentos de GD • Recomenda métricas, medidas e processos para acompanhar o progresso do programa de GD na empresa • Promove a mensagem de valor da GD na empresa, incluindo a visão, estratégia, etc • Sabor de PMO(Programa/Projetos) e SEPG(CMMI) 69
  • 67. Quando-When Colocar as ações principais numa ordem de prioridade no tempo, com observação de outros recursos 1)Sistema de informações integrado para as operações da área de .... 2)Sistema de Informações analíticas sobre os dados da ..... 3)Políticas e procedimentos sobre a formação/adesão..... 4)Políticas e procedimentos sobre......... 5)Politicas e procedimentos sobre.......... When-Quando T1 T2 T3 T4 T5
  • 68. (When)-O Quando • Planejamento estratégico da empresa alinhado com • Planejamento estratégico de dados • Projeto Driver • Arquitetura de Dados: Cloud, ERP, Big Data, DWBI, GED, Analytics, Dados em TR • Visão prospectiva: Começar sem projeto, pensando grande, fazendo pequenos movimentos de GD • Visão reativa/corretiva-Projeto “core” ou drivers • Oportunidades nos projetos de DM planejados • Projetos triggers(DM): MDM, DW/BI, Segurança, ERP,etc- visão reativa • Programa de GD em ciclos de projetos/iterações/entregas 72
  • 69. How much How many ( O quanto) 73
  • 70. Quanto-How much • Custo do programa de GD(n projetos) • Custo de Pessoal(Os Gestores de dados normalmente são part-time) nessas ações • Custo de Ferramentas(Repositório de Metadados, Glossários, etc) • Custo de aprendizado(cursos, coaching,etc) • Bater com os benefícios(Business Case) • Retorno em Qualidade de dados, integração, segurança, maior liquidez da informação(+rápida), redução de riscos How Much-Quanto RH(h) Outros(*) Total
  • 71. Custo/Retorno • Custo: – Direto: Pessoas, Treinamento, Consultoria, Ferramental – Indireto: Custo de mudança da cultura, quebra de “proprietarismos” de dados, conscientização de dado como ativo, controles aplicados, melhoria contínua • Retorno: – Direto: Mitigação dos custos negativos(riscos de negócios, riscos regulatórios, reputação) – Indireto: Pode ser intangível(melhoria do capital estrutural da empresa), melhor qualidade de dados e informações, melhoria na tomada de decisões etc – Difícil mensuração 75
  • 73. P´s: da GD Vide Canvas P: Definição de Planejamento estratégico de dados Definição de Processos de GD e de DM(BI,MDM,Segurança,Integração,etc) e Processos de Apoio (*) Definição de Políticas Definição de Procedimentos Definição de Performance-métricas de desempenho Definição de Pessoas e Papéis Definição de Projetos e Planos para alcance dos objetivos/requisitos de dados Definição de Plataformas (*): Apoio: MED, Risco, Processo, QA e Configuração How-Como Elementos de Processo: • Atividades • Plano de execução do processo • Responsabilidades • Treinamento • Monitoração do processo • Gerência de envolvimento dos Stakeholders • Acompanhamento do Processo • Processo padrão e Processo definido
  • 74. How ( O Como) Estratégia de Dados • Uma estratégia inclui, no mínimo: • Declaração de visão(ideias sobre trajetória para o futuro), com princípios operacionais, objetivos gerais e específicos, prioridades baseadas em fatores de negócios da empresa como dependências, valores de negócios definidos, alinhamento com iniciativas estratégicas e o nível de esforço esperado • Gaps identificados no estado corrente baseado em uma avaliação de DM • Escopo: Áreas chaves de negócios(Clientes, Contas), prioridades de DM, como QD por exemplo e Dados chaves • Foco nos benefícios de negócios • O framework de DM selecionado(QD, MDM por exemplo) e como será usado • Papéis e responsabilidades; lista de envolvidos chaves • Descrição da abordagem usada para desenvolver o programa de DM • Extensão e escopo do aspecto de “compliance” • Medidas e métricas para avaliar o sucesso • Roadmap de alto nível do plano – Também contemplar as necessidades para “forçar” a adoção de processos, padrões, procedimentos, etc e as estruturas para decisão sobre a implementação(GD) – Conter os recursos necessários para o programa de DM – A estratégia deve ser móvel e flexível para mudar na medida em que a empresa evolua – A estratégia de DM mais efetiva é aquela institucionalizada, ou seja visivelmente e ativamente endossada pela gerência executiva e suportada por políticas organizacionais aprovadas por todos
  • 75. How ( Como) Plano Estratégico de Dados • Plano estratégico de dados: – Missão ( o que desejamos fazer ao longo da caminhada),Visão(como será um ponto no tempo adiante) – Objetivos e prioridades – Valores/benefícios de negócios a serem alcançados – Alinhamento com estratégia da empresa – Nível de esforço planejado – Escopo do programa – As áreas de DM a serem tratadas – Gaps identificados – Necessidades de governança e escopo – Descrição da abordagem usada para desenvolver o programa de DM – Medidas de sucesso e acompanhamento – Roadmap 79
  • 77. GD-P´s • Por quê-Problemas • Patrocínio • Políticas • Padrões • Papéis/Pessoas (Equipes e Comitês) • Processo • Procedimentos(GCO,etc) • Programas/Projetos/Planos • Performance(GQA,MED), • Plataformas/arquiteturas • Palavras(Comunicação) 81
  • 78. Patrocínio Políticas Processos Procedimentos Projeto Programa Planos Performance Plataformas/arquiteturas Palavras (Comunicação) Padrões Pessoas-Papéis Governança e Gestão de Dados 82
  • 79. Os P´s-Gestão e Governança de Dados CBarbieri Problemas-Por quê Problemas, riscos de reputação, de regulação, informação deficiente, decisões equivocadas, carência de dados, áreas sensíveis,etc Patrocínio Apoio, Business Case,Valor de negócios, objetivos de negócios, área de negócios da empresa, ROI, custo negativo, cultura de dados Políticas/Princípios Regras gerais, aprovadas em alta esfera, consensadas, atualizadas, divulgadas, revisadas sobre dados, sentido de negócios, auditadas. Princípios são definições mais filosóficas(todo dado é um ativo) Processo Conjunto de passos, atividades contendo entradas, saídas, atores,/participantes, controles, etc Procedimentos Detalhamentos específicos de ações em alguns Processos como GCO-Gerência de Configuração, por exemplo Padrões Normas e regras consensadas, aprovadas a serem observadas, aplicadas , respeitadas e verificadas(auditadas), normalmente aplicadas a nomes, modelos,etc 83
  • 80. Os P´s-Gestão e Governança de Dados CBarbieri Pessoas/Papéis Envolvidos nas atividades de GD e DM com responsabilidades diferentes-Matriz RACI- Área de GD, Área de DM Programas Conjunto de projetos associados aos objetivos de dados, visando melhorias nos aspectos de negócios da empresa Projetos Ações de DM , envolve MDM, DQ, Metadados, DWBI, Big Data, Analytics, etc, objetivando melhoria de dados para objetivos de negócios Planos Detalhamento do projeto, com planos com tempo, recursos, pessoas, treinamentos, riscos, controles, etc Performance/Desempenho Medidas e procedimentos para monitorar os processos de GD e de DM, baseado em processos de apoio(MED, GQA,VER,VAL) Plataformas/Arquiteturas Ambiente arquitetural e tecnológico onde estarão as soluções de GD e DM(BI, ERP, OLTP,OLAP,Analytics,DNE,Metadados,etc) Palavras(Comunicação) Abordagem para disseminação formal de elementos da GD, essencial nos aspectos de mudança cultural. Treinamento, newsletter, palestras, Site, Wiki, etc 84
  • 81. Melhoria de Gestão de Dados P´s Governança de Dados Gestão de Dados Problemas Patrocínio Programa Projetos Planos Pessoas Papéis Princípios/Políticas Padrões Processos Procedimentos Plataformas Propaganda(Comunicação) Barbix ©CarlosBarbieri-DomaniTecnologia ® Domani TI
  • 83. Problemas • Não começar GD sem entendê-los • Geral: Qualidade e controle de Dados • Reputação de produtos e serviços da empresa • Tomada de decisão com informações erradas, ações gerenciais equivocadas • Dados replicados e sem integração • Regulações e aderência às normas comprometidas junta à Agências, com informações sem qualidade e multas • Visão de algumas árvores, mas não da floresta(de dados) • Avaliação inicial-Assessment 87
  • 85. Patrocínio • Alto nível- Área de Negócios em primeiro lugar em consonância com TI • Convencimento pelo custo negativo(problemas ou potenciais problemas) ou por Business Case – Data profiling pode ser um início • ROI(?)-ativo intangível, mas díficil • FCS: Buscar patrocínio mostrando valores de negócios; Definir claramente o que vale ser governado(prioridade), selecione parte da floresta; busque alinhamento com o negócio; não deve ser uma iniciativa TI “pura” • Pontos a observar: CCC: – Cultura (estilo da empresa) – Colaboração (vontade) – Capacidade de mudança(recursos) 89
  • 87. Princípios/Políticas • Grandes regras, definidas em consenso, aprovadas, atualizadas e respeitadas por todos, legislando sobre os dados – Princípio: mais filosófico – Política: mais normativa, pode ser aplicada • Conflitos resolvidos pelo Conselho de GD • Em vários domínios/fases do ciclo: criação, armazenamento, uso, arquivamento, eliminação(disposal) – Aspectos colaterais como: segurança, propriedade, distribuição e replicação de dados, documentação de dados, privacidade, qualidade, etc • Repositório de princípios e políticas- GD WebSite 91
  • 88. Princípios • Dado é um ativo e portanto deverá haver “accountability” sobre ele. Os dados e conteúdos de todos os tipos são considerados ativos da mesma forma que os outros tipos como ativos físicos, materiais e financeiros, exigindo, dessa forma, procedimentos de controle similares . • A informação deverá vir de uma fonte autorizada, estar disponível, ser precisa e sem ambiguidade, passível de ser compartilhada e catalogada(metadados) • Soluções de informação manterão estrito alinhamento com os negócios da empresa respondendo às suas necessidades e às requisições das áreas envolvidas • O valor do dado está no seu valor intrínseco de mercado, bem como na proporção da sua contribuição para os objetivos operacionais e negociais da empresa 92
  • 89. Políticas • Regras mais objetivas, consistentes, aplicáveis para ajustar comportamentos, reduzir riscos,etc • Devem servir de elementos de criação de elos e parcerias • Criar somente aquilo que for necessário • Ter templates para facilitar sua criação • Focos: – Objetivos de Negócios – Objetivos de Dados – Objetivos de GD e DM – Aspectos culturais e estruturais 96
  • 90. Políticas • Objetivos de negócios: – Políticas para reduzir riscos: • Privacidade, compliance, dados sensíveis, relacionamentos com clientes, parceiros, fusões, etc • Objetivos de dados – Políticas para prevenir o uso inadequado de dados – Políticas para garantir a captura, armazenamento, proteção, segurança e privacidade de dados – Políticas para promover o entendimento do significado e contexto dos dados – Políticas para garantir a qualidade e disponibilidade de dados 97
  • 91. Políticas • Objetivos de GD e DM – Políticas para GD – Políticas (padrões) para Arquitetura de dados... 98
  • 92. Políticas Exemplos • Qualidade: – Toda a informação e os dados da empresa serão seletivamente gerenciados e medidos na sua qualidade. A qualidade será consistentemente medida para garantir que o dado será usado no seu propósito definido – Haverá partes responsáveis pela integridade geral e qualidade dos dados e seus conteúdos ao longo da empresa • Colaboração: – Dados organizacionais serão compartilhados como um recurso ao longo da empresa. Os dados deverão ter ownership definido, ou seja uma área de negócios que será a responsável pela sua definição, metadados e regras de negócios. • Gerência de Risco: – A Governança de Dados analisará os riscos dos dados que exigem “compliance” garantindo sua aderência com todas as leis federais, estatutárias, políticas e regulações. Um acompanhamento apropriado e rigoroso será realizado para verificar essa compatibilidade(aderência) 99
  • 93. • Segurança: – Todas as passwords deverão ser trocadas a cada 3 meses, com alteração completa de seu conteúdo e a proibição do uso das 4 últimas ocorrências – Todas as passwords deverão conter até 10 caracteres, com obrigatoriedade de no mínimo 4 dígitos • Arquitetura de Dados: – Dados organizacionais serão compartilhados como um recurso ao longo da empresa. Dado não é um recurso que pode ser possuído com exclusividade por áreas específicas da empresa, a menos que devidamente aprovado – Todos os modelos de dados no nível lógico deverão estar compatíveis com os modelos conceituais organizacionais e deverão ser aprovados ...... • MDM e dados de Referências: – Os dados considerados Mestres e de Referências somente poderão ser modificados pelos Owners ou por exceção, por decisão da GD, via o Comitê de Gestores de Dados envolvidos nas áreas de assunto pertinentes 100 Políticas Exemplos
  • 94. Políticas Considerações • Alinhamento com aspectos culturais e estruturais: – Qual o verdadeiro valor daquilo para a alta gerência? – Empresa: centralizada ou descentralizada? – Âmbito da política: local ou global? – Como serão aplicadas(enforced): Recomendação? Obrigação? – Alinhamento com outras políticas corporativas: Risco, Compliance 101
  • 96. Padrões • Normas e especificações estabelecendo formas de se definir, escrever, desenhar, documentar e usar dados na organização • Padrões de modelos, de nomenclatura de processos e padrões de dados (nome, endereço, telefone,etc) • Padrões específicos da indústria(dependendo do negócio) • Padrões de metadados(ISO 11179, ISO 15836) • Padrões de qualidade de dados • Definidos em conjunto e aprovados por todos: Comitê de Gestores de dados, envolvendo os Gestores de várias áreas, 103
  • 97. Padrões • Data Owners/Stewards: – Dono da função de negócios, responsável pelo estabelecimento do significado dos dados (definição) e das regras de negócios(criação, uso e qualidade daquele dado) – Responsável pela definição do Metadados e dos dados Outras áreas podem sugerir alterações, mas a decisão final é do Data Owner. – Responsável pela Qualidade daqueles dados 104
  • 99. Processos • É o “Como fazer” : constituído de um conjunto de atividades, com input,output, participantes(RACI), ferramentas, recursos humanos, outros recursos, treinamento, controle, monitoração de performance(Medidas, QA), etc • Aprovado, treinado e internalizado no dia a dia da empresa/área target 106
  • 100. Processo Exemplo • Exemplo:Solicitação de alterações em Modelos Conceituais de dados – Analista de sistemas(AS) interpreta/analisa os requisitos de dados – Analista de sistemas(AS) faz o modelo inicial lógico de dados, com inclusão /alteração de entidade(s) existente(s) – AS envia modelo ao Gestor de dados de negócios(GDN) para revisão de padrões e definições de domínios de dados – GDN revisa o modelo e analisa a coerência com os modelos lógicos existentes • Uso de Check list de avaliação(Procedimento) – GDN planeja a sessão de revisão com Comitê de GD, GDTI, AD, outros envolvidos(integração) • Avaliam impactos no modelos conceitual de dados – GDN cria ou modifica os elementos lógicos de dados passíveis de atualização – Se aprovado, envia ao ABD para a modificação do modelo físico em ambiente de validação – ABD aplica check list para aceitação do Modelo(Procedimento) – ABD realiza a alteração e comunica interessados e envolvidos 107
  • 101. 108 Requisição/ pendência Valida NOK OK Revisão Req/pendência Escala Delega Rejeita Rejeita Não Pesquisa Req/pendência Escala Aprovado/ Rejeitado Rejeitado Aprovado + info? Não Toma Decisão/ Recomend. Sim Obter + Info Necessita Aprovação Não sim Executa Aprovada? Não Notifica Solicit. Sim Notifica Solicit. Notifica Solicit. Notifica Solicit. DMO Escrit.Dados Comitêde Gestoresdados Conselhode GD Governança de dados-Resolução de Pendências Data Stewardship- An Actionable Guide to Effective Data Management and Data Governance- David Plotkin
  • 103. Procedimentos • Detalhamento de processos ou subprocessos • Detalhamento mais operacional, mais focado para um executante • Procedimentos dentro de processos de Medição, de Garantia da Qualidade ou de Gerência de Configuração – Procedimentos de check-list de pendências do processo de manutenção de senha(GQA) ou de auditoria funcional de Baselines(GCO de modelos conceituais de dados) 110
  • 104. Procedimentos Exemplos • Revisão das Entidades: – A Entidade está na 3ª forma normal ou é permito ter Entidade desnormalizada(NOSQL) – Há outra Entidade de natureza semelhante ou uma subtipo semelhante no modelo Corporativo – Há definições detalhadas da Entidade ou da subentidade(metadados) – Os nomes propostos estão dentro dos padrões organizacionais • Revisão de relacionamentos – A cardinalidade está correta? – A opcionalidade está correta? – Os relacionamentos possuem nomes inteligentes em ambas as direções? – Os nomes fazem sentido para o analista de negócios, usuário final • Revisão de Atributos: – Os atributos estão com o nome definido dentro dos padrões organizacionais? – Os domínios associados foram usados corretamente? – Há comentário para cada atributo – Há descrição detalhada para cada atributo – Há atributos derivados, com regras de derivação definida • Revisão de Identificadores – Há para cada Entidade, pelo menos um identificador único? – O identificador é um chave de negócios ou uma SK – Há chave de Entidade(tipo chave de negócios) atualizável? 111
  • 105. Procedimentos Exemplos • Revisão Geral: – O sistema é um OLTP ou OLAP? – As tabelas e colunas estão mapeadas em Entidades e atributos do modelo corporativo? – No caso de projetos de DW/BI-DM há os dados equivalentes no ambiente Transacional • Revisão de Tabelas: – Há outra Tabela de natureza similar no Modelo Físico de dados – Há comentário em nível de Tabela, para cada uma – Há definições detalhadas de cada Tabela? – Há tabela que requeira “journal” especial, ou “audit trail” para modificações?. Se sim, como será feita(trigger, API?) – Há tabela que esteja desnormalizada com um racional explicando os motivos? – As tabelas estão definidas de acordo com os padrões de nomes e abreviações organizacionais • Revisão de Colunas: – Há coluna de auditoria definida?(ex: data/hora da última atualização) – Há comentários de colunas para cada coluna? – Há descrição para cada coluna? – Há colunas derivadas de outras colunas e as respectivas regras/fórmulas de derivação? – Se uma coluna foi desnormalizada de outra tabela há informações de desnormalização registrada – Os nomes das colunas estão de acordo com os padrões organizacionais? – Os domínios foram aplicados corretamente? 112
  • 106. Procedimentos Exemplos • Revisão de Restrições de Integridade – Todas as tabelas tem restrições de PK? – Deve haver uma restrição de unicidade secundária definida(além da PK)? – As chaves estrangeiras foram definidas corretamente ? – Há restrições de Delete Cascade, Restriction,etc ? – Há restrições de CHECK em nível de colunas? A execução apropriada desses procedimentos será verificada pelas auditorias de QA(Quality Assurance) em sessões programadas, de GQA(não exige conhecimento técnico) ou por revisões por pares(VER, com conhecimento técnico). Isso gerará medidas que mostrarão a performance do processo(MED) DMM: processos de Suporte 113
  • 107. O modelo DMM Estratégia de Data Management(Data Management Strategy) Estratégia de Data Management Comunicações Função de Data Management Plano de Negócios (Business Case) Apoio Financeiro Governança de Dados(Data Governance) Gerência de Governança Glossáriio de Negócios Gerência de Metadados Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados Data Profiling Avaliação de Qualidade de Dados Limpeza de Dados Operações de Dados(Data Operations) Definição de Requisitos de Dados Gerência do Ciclo de vida dos Dados Gerência de Fornecedores de Dados(Provider Management) Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach) Padrões Arquiteturais(ArchitecturalStandards) Plataformas de Data Management(Data Management Platform) Integração de Dados (Data Integration) Dados Históricos(Historical Data) , Arquivamento(Archiving) e Retenção(Retention) Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis) Gerência de Processo(Process Management) Garantia de Qualidade do Processo(Process Quality Assurance) Gerência de Risco(Risk Management) Gerência de Configuração(Configuration Management) 114
  • 109. Pessoas-Papéis • Definição de papéis, responsabilidades e “accountabilities” • Conselho de Governança de Dados, formado por (CxO) • DMO/DGPG-Controle tático • Gestores de dados de negócios e técnicos • Outros: ABD,AD, Arquitetos de integração • Treinamentos 116
  • 110. Conselho GD Comitê de GD-DMO Gestores Grupo “cross-funcional”, formado por elementos da alta gerência; Definir Políticas; Prover/Aprovar estratégias de dados Buscar apoio financeiro; Resolver pendências, aspectos de aderência a normas(compliance); Atribuir/oficializar ao DMO/GDO as ações de GD; Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO Coordenar as atividades de GD(estratégica) e táticas com as operacionais; Definir os membros do Comitê de GD; Supervisionar os Data Steward/gestores de dados (Business) e os Data Custodian da TI/Adm,BD,BI ; Arquitetos corporativos, Define/submete políticas, padrões, processos, procedimentos de GD para áreas de negócios; Pode ter uma liderança(cross-functional) de GD(GD Organizacional) Implementa e executa as Políticas, Padrões e Procedimentos nos processos específicos de negócios e aplicações do seu domínio; Formado por pessoas do Business(B data steward) e da TI(IT data custodian). Chefiados por Gestores líderes Estão em áreas funcionais e geográficas diferentes. Pode ser orientado por sistema, por UO-Unidade Organizacional ou por Assunto Tipos: GD de Assunto/Domínio(assunto específico), GD de Projetos(DLCM) Modelo de Governança v04 Data Owners Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc 118 Executivos da Empresa Grupo Implantação GD
  • 112. Programas-Projetos • Ações efetivas para se implementar a GD • Programa de GD com Projetos de DM: DW/BI, MDM, Segurança, DNE, Qualidade, SDLC, etc • Estratégia vencedora: Um Programa estruturante a longo prazo com um Projeto “trigger”/estruturante, que permita obtenção de resultados rápidos e visíveis 120
  • 113. Planos • Detalhamento do COMO de GD: • Tempo (cronograma), custo(pessoal e outros recursos), ferramentas, riscos envolvidos, controles a aplicar, treinamentos e capacitação, integração com outros planos(DM, como DW-BI, MDM,etc) • Planejamento e Acompanhamento 121
  • 115. Plataformas/Arquiteturas • Arquiteturas de Dados associada à Arquitetura Corporativa(Negócios, Processos, Sistemas, Tecnologia,etc) – Modelos de dados em vários níveis • Ambiência de tecnologia: Ferramentas Case, BD, DW/BI, Analytics, Big Data, Ferramentas de integração de dados, ferramentas de modelagem, ferramentas de QD(Profiling, Cleansing, Enriquecimento, Padronização), etc • Metadados, Dicionários/Repositórios, Glossários de negócios 123
  • 117. Performance • Medidas e procedimentos para monitorar os processos de GD/DM. – Processos de apoio-DMM • MED-Medições nos domínios de Custo, Tempo, Qualidade, Issues (Reputação, etc), “Compliance” • Indicadores de GD, DQ,etc • Processos de GQA e VAL 125
  • 118. Performance • Métricas nesses domínios de GD e DQ tendem a demorar para produzir visibilidade de retorno • Comece com a visão de medir pontos críticos do business(processos críticos de negócio) • Genericamente: reduzir custos, aumentar receita e lucro, melhorar “time to market” , atentar para aspectos de regulação(penas, reputação,etc) , qualidade • Pesquisa/Questionário: Algumas métricas são mais difíceis de serem medidas diretamente. Assim a pesquisa de usuários dos dados é fonte importante. Exemplo: Houve melhora no entendimento dos dados?; Houve melhora na percepção de qualidade dos dados? • Basicamente 2 tipos: Métricas de resultados de negócios e métricas operacionais(GD, Integração, QD,etc) 126
  • 119. Performance • Métricas de negócios: – Redução em multas penalizações/advertências devido a documentos regulatórios não aderentes – Penalizações/multas/advertências por pendências de privacidade – Penalizações/multas/advertências por pendências de reputação – Possível perda em crédito devido a pendências de dados – Possível aumento do custo operacional devido a problemas de dados – Redução nos custos de desenvolvimento por integração de sistemas – Por pesquisa junto aos usuários: • Melhora do entendimento dos dados • Percepção de melhor qualidade dos dados • Melhoria na visão preventiva de erros de dados via data profiling • Número de reclamações de clientes oriundo de erros de dados(baixa qualidade) • Esse número tem decrescido? • Número de problemas de pendências regulatórias medidos e gerenciados(decrescido) • Houve redução no tempo necessário para limpeza e correção dos dados • Houve redução em tempo despendido com discussões sobre o significado do dado e como é calculado 127
  • 120. Indicadores • Indicadores de Governança – Percentagem de áreas(assuntos) da empresa sob os domínios da GD – Contador de acesso aos repositórios de metadados, glossário de negócios e portal de GD – Feedback sobre GD-pesquisas sobre áreas governadas pela GD – Número de participantes em treinamento de GD e DQ – Uso de elementos padrões de GD: códigos, modelos, padrões, procedimentos,etc- MED de GQA – Issues resolvidos pelo Comitê de GD/Issues incidentes – Issues escaladas para o Conselho de GD/Issues incidentes – Revisões de desempenho realizadas (nas métricas de GD) • Indicadores de integração – Número de usuários e acessos às fontes MDM – Percentagem de redução de acesso a Bancos de Dados departamentais e planilhas locais 128
  • 121. Indicadores • Indicadores de QD: – Contador de ocorrências por tipo de erro XX/período – Percentagem de “accuracy” dos dados em arquivos críticos – Perdas de pedidos on-line ou de produtos retornados devido à gerência com erros de informações de catálogos(dados mestres) – Perda de clientes devido a erros de qualidade de dados – Resultado de Profiling de dados, mostrando os diversos indicadores de completude, precisão, integridade, etc • Indicadores de segurança e privacidade – Número de incidentes relativos aos aspectos de segurança de dados(leaks, breaches,etc) 129
  • 122. FCS • Medidas/Métrica/indicadores devem ser definidas em função de objetivos / diretrizes estratégicas de negócios • Nunca medir por medir 130
  • 124. Palavras(Comunicação) • Comunicação • Elemento fundamental na implementação de GD • Palestras, newsletter, programas de incentivo, divulgação, jogos, treinamento, etc • Comunicação atrelada às promulgações de políticas, padrões, regras,etc 132
  • 125. Referências • Data Management Maturity Model-CMMI Institute-August 2014- Version 1.0 • Data Management Maturity Model-Introduction-University of Ottawa- CMMI Institute-December-2014 • Introduction to DMM Concepts-Course-CMMI Institute-Washington DC-2015 • The DAMA Guide to Data Management Body of Knowledge(Dama- DMBOK Guide)-First Edition 2009 • Dama-DMBOK2-Framework-Patricia Cupoli; Susan Earley; Debora Henderson-September-2012 • OpenDataGovernance-DMBOK2-Chapter4-em revisão 133
  • 126. Referências • Business Model Generation-Inovação em Modelos de Negócios- Alexander Ostewalder-Yves Pigneur-Editora Alta Books-2011 • Canvas-MGD-Melhoria de Gestão de Dados-Carlos Barbieri- CBCA-Material treinamento (2014-2015) • A Framework for Information Systems-John Zachman- (1988,1991) • Learning 3.0-Alexandre Magno-Happy Melli-Material de Treinamento-Junilson Souza (Facilitador)-2015 • Project Management Canvas-José Finócchio Jr-Editora Campus- 2013 • Start with Why-Simon Sinek-Editora Portfolio-Penguim Group- 2009
  • 127. Referências • Big Data Imperative-Na emerging imperative-Sunil Soares-MC Press- 2012 • Data Stewardship-David Plotlin-Morgan Kaufman-Elsevier-2014 • Data Governance-How to design, deploy and sustain na effective data Governance Program-John Ladley-Elsevier-2012 135