I Oficina Técnica de Publicação de Dados Abertos e Transparência Ativa
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

I Oficina Técnica de Publicação de Dados Abertos e Transparência Ativa

on

  • 2,124 views

 

Statistics

Views

Total Views
2,124
Views on SlideShare
1,892
Embed Views
232

Actions

Likes
0
Downloads
58
Comments
1

2 Embeds 232

http://slid.es 206
http://slides.com 26

Accessibility

Categories

Upload Details

Uploaded via as OpenOffice

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
  • Nitai, muito bom o material. Achei muito bacana a prática no slide 39. Salm
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

I Oficina Técnica de Publicação de Dados Abertos e Transparência Ativa Presentation Transcript

  • 1. Oficina Técnica de Publicação deDados Abertos e Transparência Ativa
  • 2. dados.gov.br @dadosgovbr contato@dados.gov.br Nitai Bezerra da Silva@nitaibezerra slideshare.com/nitaibezerra
  • 3. A oficina● Conceitos e tecnologias relacionadas ao ecossistema de dados abertos● Para técnicos e gestores de TI envolvidos na publicação de dados e informações, ou não :D● Nível de difculdade: intermediário (?) 3 / 64
  • 4. Agenda● O que é a INDA ● Portal dados.gov.br● Dados Abertos? ● Metadados● Quais dados? ● Catalogando dados● Etapas da abertura ● Outros portais com CKAN● Arquiteturas para publicação de ● Colheita de Metadados dados (Harvesting)● Formatos de arquivos ● DataStore● Caso: API do Siconv ● Linked Data● Web, REST APIs, etc.. ● Desenho de URIs● Aplicativos e Mashups ● As 5 estrelas dos Dados Abertos● Arquitetura lógica da INDA 4 / 64
  • 5. Infraestrutura Nacional de Dados Abertos - INDACoordenamos a abertura dos dados públicos no Brasil em colaboração com a sociedade 5 / 64
  • 6. Infraestrutura Nacional de Dados AbertosObjetivos:Proporcionar aos cidadãos, e ao governo , um ponto de acesso central aos dados públicos,disponível na web.Coordenar e orientar a padronização no ciclo de vida da informação, em especial nomomento de sua publicação na web .Incentivar a agregação de valor aos dados públicos e a colaboração com o cidadão naimplementação de novos serviços à sociedade.Ser uma iniciativa sustentável de Dados Abertos.Para isso:Conjunto de padrões, tecnologias, procedimentos e mecanismos de controle necessários parase publicar dados abertos governamentais, visando seu reuso não só pela sociedade maspelo próprio governo. http://wiki.gtinda.ibge.gov.br/ 6 / 64
  • 7. “Dados são abertos quando qualquer pessoa pode livremente usá-los,reutilizá-los e redistribuí-los, estando sujeito a, no máximo, a exigência de creditar a sua autoria e compartilhar pela mesma licença.” http://dados.gov.br/dados-abertos/ http://opendefinition.org/ Qualquer um significa qualquer um! (Sem restrição ao uso comercial, etc.) 7 / 64
  • 8. O que são dados abertos?As Três Leis dos dados Oito princípios dos Dados Governamentaisgovernamentais abertos Abertos 1. Completos1. Se ele não pode ser encontrado na web e indexado, ele não existe. 2. Primários (brutos) 3. Atuais2. Se não estiver aberto e disponível em formato compreensível por 4. Acessíveis máquina, ele não pode ser 5. Processável por Máquina utilizado. 6. Não discriminatório3. Se qualquer dispositivo legal 7. Não proprietário não permitir que ele seja reutilizado, ele não é útil. 8. Livre de licensa Open gov David Eaves Working group 8 / 64
  • 9. Lei de Acesso à Informação – LAI 12.527/11Esclarece que é constitucional o direito de acesso à informação 9 / 64
  • 10. Lei de Acesso à Informação● Art. 8o §3o ... ● I - conter ferramenta de pesquisa de conteúdo que permita o acesso à informação de forma objetiva, transparente, clara e em linguagem de fácil compreensão; ● II - possibilitar a gravação de relatórios em diversos formatos eletrônicos, inclusive abertos e não proprietários , tais como planilhas e texto, de modo a facilitar a análise das informações; ● III - possibilitar o acesso automatizado por sistemas externos em formatos abertos, estruturados e legíveis por máquina ; Princípios de dados abertos! 10 / 64
  • 11. Quais tipos de dados? Transporte, Estatísticos, Orçamento, Segurança … Restrição: Dados pessoais!Ex.: Paradas de ônibus, locais turísticos, previsão climática, criminalidade nos bairros, LOA, desempenho das escolas ... 11 / 64
  • 12. Etapas da Abertura Divulgar eSeleção dos Implementação promover a dados da arquitetura utilização Definição dos Catalogação no formatos dados.gov.br 12 / 64
  • 13. Seleção dos Divulgar e Implementação promover a dados da arquitetura utilização Definição dos Catalogação no formatos dados.gov.br 13 / 64
  • 14. Seleção dos Dados● Publique dados de amplo interesse● Foque nos dados finalísticos● Dados brutos● Abra muitos dados● Consulte a sociedade! 14 / 64
  • 15. Dicas para escolha● Localização geográfica ++ ● LatLong, CEP, rua, município, etc...● Dimensão temporal● Provenientes de BDs● Séries históricas● ... 15 / 64
  • 16. Divulgar eSeleção dos Implementação promover a dados da arquitetura utilização Catalogação no Definição dos dados.gov.br formatos 16 / 64
  • 17. Formatos de arquivos● Requisitos ● Processável por máquina ● Formato não proprietárioCSV DOC MBD Other Geo Spreadsheets WSXLS ECW MDB PGDB SQL WSDLXML EXE Metastock PNG TIFF XHTMLPDF Geo RSS Micro Station Design Portal TMX XLS zip+HTML Geo TIFF N3 PPT TSV APIJSON GML OAI-PMH RAW Turtle ASCIIKML GPX ODF RDFa TXT+ Zip AutreXLSX JPG ODS RDF- XML URL CIDRRDF JS ODT REST WEB CSV+ZipSHP KMZ Omega RTF Webpage DatastreamRSS Mapinfo Online Database SOAP WFS DBFTXT Mathlab openDataXML SPARQL WMS XML-ATOM-RSSXSD YAML Zip zip+sas fonte: neeta neeta@nic.in 17 / 64
  • 18. Exemplo 1: CSV 18 / 64
  • 19. Exemplo 2: XML 19 / 64
  • 20. Exemplo 3: JSON 20 / 64
  • 21. Formatos de arquivos● Qual o melhor? ● Depende dos seus dados, e da situação!● Algumas orientações: ● Preferir JSON a XML ● Preferir CSV a ODS ● Escolha um formato estável e de amplo uso ● Se possível, publique em mais de um formato 21 / 64
  • 22. Formatos de arquivos● Mais orientações: ● Desaconselhamos compactar os arquivos ● Pesquise pelos formatos com mais audiência ● Para dados geográficos, conheça a INDE – Infraestrutura Nacional de Dados Espaciais – http://inde.gov.br/ ● Sonhe com o RDF!! ● Para mais detalhes: – Cartilha técnica para publicação de dados abertos http://dados.gov.br/cartilha-publicacao-dados-abertos/ 22 / 64
  • 23. Implementação Divulgar eSeleção dos da arquitetura promover a dados utilização Definição dos Catalogação no formatos dados.gov.br 23 / 64
  • 24. Arquiteturas de Publicação de Dados● Requisitos ● As 3 leis e os 8 princípios! http://dados.gov.br/dados-abertos/ ● Não esqueça: URL estática!!!!!● Tipos ● Publicação Manual – Arquivos isolados resultado de pesquisa ou levantamento – Avaliações, balanços, levantamentos recorrentes (semanal, mensal, trimestral) ● Publicação Automática, em “tempo real” (diária, "instantânea”,....) 24 / 64
  • 25. Publicação manual● Os dados são coletados, transformados e publicados num processo semi-manual ● Sistematizar não vale a pena! (?) ● O processo manual é confiável? (!)● Exemplo: ● Balanço do PAC, quadrimestral ● http://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento 25 / 64
  • 26. Publicação automatizada (1) 26 / 64 fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
  • 27. Publicação automatizada (2)● Questões levantadas por Peter Krantz: ● Você realmente precisa de uma API? ● Sua infraestrutura está preparada? ● Torne fácil que empreendedores tenham os dados mais novos ● Tenha liberdade da tecnologia. Não quebre URLs... 27 / 64 fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
  • 28. Publicação automatizada (3)● Sistema em produção isolado ● Mais seguro ● Maior disponibilidade ● Esquema de dados simplificado ● Autenticidade (gov.br) ● custo ~ benefício? 28 / 64
  • 29. Caso: API do SICONV● SICONV: Sistema que administra os convênios entre APF, estados, municípios, DF e EPSFL.● A API está em fase beta● Requisitos: ● Dados em tempo “real” ● Replicação dos dados da produção ● Web Service REST ● JSON, CSV, XML, ... e HTML 29 / 64
  • 30. Caso: API do SICONV● Endereço: http://api.convenios.gov.br ● Bonito né?!● Outras tecnologias: ● Princípios REST ● CORS - Cross-origin resource sharing ● HATEOAS● Exemplo de consulta: ● http://api.convenios.gov.br/siconv/dados/orgao/54000 30 / 64
  • 31. http://api.convenios.gov.br/siconv/dados/orgao/54000.html 31 / 64
  • 32. http://api.convenios.gov.br/siconv/v1/consulta/convenios.html?id_orgao_concedente=54000 32 / 64
  • 33. http://api.convenios.gov.br/siconv/dados/convenio/759029.html 33 / 64
  • 34. Web, REST APIs, etc..Web != Internet 34 / 64
  • 35. Web, REST APIs, etc.. (2)● Internet = infraestrutura, um amontoado de computadores, redes e cabos● Web = HTTP (hypertext transfer protocol) ● Documentos ● Hiperlinks ● URLs● Aprenda os fundamentos e faça melhor uso da Web 35 / 64
  • 36. Web, REST APIs, etc.. (3)● REST - Representational State Transfer● Alguns princípios ● Separação do Cliente e do Servidor ● Sem estado (stateless) ● Cacheável ● Sistemas em camadas ● Recursos – pedaço específico de informação (URI)● Esqueça SOAP● Seja RESTful 36 / 64
  • 37. Web, REST APIs, etc.. (4)● HATEOAS - Hypermedia as the engine of application state● O princípio é de que o cliente interage com a aplicação estritamente através das hipermídias providas pelo servidor de aplicação.● Possibilita um maior desacoplamento servidor- cliente● Exemplo: navegue em http://api.convenios.gov.br/siconv/doc/metodos.html● Consulte no google: “dados abertos novo hamburgo” 37 / 64
  • 38. Aplicativos e Mashups http://dados.gov.br/aplicativos 38 / 64
  • 39. Experimento1. Baixe os dados do PAC no portal dados.gov.br2. Abra no LibreOffice e faça a conversão do tipo geográfico ● =CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("°";O2;1)-1)+ (EXT.TEXTO(O2;PROCURAR("°";O2;1)+1;PROCURAR("";O2;1)-PROCURAR("°";O2;1)- 1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("";O2;1)- 1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)- 1))*1/3600)*13. Suba os dados para o Google Fusion Tables4. Mais 2 cliques e ...Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU 39 / 64
  • 40. Obras do PAC 40 / 64
  • 41. Divulgar eSeleção dos Implementação promover a dados da arquitetura utilização Definição dos formatos Catalogação no dados.gov.br 41 / 64
  • 42. Arquitetura lógica da INDA● A INDA está fundamentada na Web● É a união dos dados publicado em todos os órgãos● O portal é um buscador● O portal armazena os metadados● Cada órgão é responsável pelos seus dados 42 / 64
  • 43. Portal Brasileiro de Dados Abertos dados.gov.br● Utilizamos o CKAN ● Outras tecnologias ● Software Livre ● Diazo especializado ● Varnish ● Modelo flexível e ● Solr extensível ● PortgreSQL● Integração com CMS ● Apache ● Wordpress ● Python● VCGE para organizar assuntos ● HG – Mercurial 43 / 64
  • 44. Portal Brasileiro de Dados Abertos dados.gov.br● É um catálogo● Guarda metadados● Conceitos básicos: ● Conjuntos de dados ● Recursos ● Grupos ● Etiquetas, licença, ... 44 / 64
  • 45. CKAN● Características: ● Sistema de catálogo de busca de dados ● API para busca e inserção ● Plugins para integração com CMSs (Drupal e WP) ● Visualização de dados e analytics ● Workflow permite orgãos administrarem seus dados ● Storage de dados integrado ● Possibilita federação de catálogos 45 / 64
  • 46. Metadados - catalogação● “Dados sobre os dados” (descrevem o conjunto de dados)● Tipos ● Cobertura ● Descrição ● Proveniência ● Extração, etc..● Úteis na classificação e indexação dos dados● É o coração do catálogo! 46 / 64
  • 47. Metadados - catalogação● Mínimos: ● Extras: ● Título ● Etiquetas ● Descrição ● Autoria ● Catálogo de origem ● Cobertura geográfica e ● Órgão responsável temporal ● Assuntos do VCGE ● Granularidade geográfica e temporal ● Formato do arquivo ● Atualidade ● Dicionário de Dados ● Referências ● Ontologia/vocabulário ● ... http://dados.gov.br/cartilha-publicacao-dados-abertos/ 47 / 64
  • 48. Catalogando dados (exemplo) http://treino.dados.gov.br● Dados? ● Reclamações fundamentadas dos consumidores - SINDEC ● http://notas.dados.gov.br/p/metadados-cadastro-reclamacoes-SENACO 48 / 64
  • 49. Catalogação pela API● CKAN provê uma API para administração● Documentação: ● http://docs.ckan.org/en/latest/api.html 49 / 64
  • 50. Portais com CKAN● Senado, Reino Unido, Buenos Aires, ... Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/ 50 / 64
  • 51. Colheita de metadados - Harvesting● Plugin que possibilita federação dos dados● Replica os metadados entre catálogos● Cada estado e município pode ter um portal de dados abertos ● dados.sc.gov.br? ● dados.pe.gov.br?● Documentação: ● https://github.com/okfn/ckanext-harvest 51 / 64
  • 52. DataStore● Serviço de armazenamento e acesso a dados estruturados pela web● Software que se integra com o CKAN●● Documentação: ● http://blog.okfn.org/2012/03/27/introducing-the-datastore/ 52 / 64
  • 53. Linked Data● Usar a Web para ligar dados relacionados ● Expor dados na web ● Compartilhar esses dados ● Conectar pedaços de dados, informações e conhecimento● Usando: ● URIs ● RDF – Resource Description Framework 53 / 64
  • 54. Linked Data(2) 54 / 64
  • 55. Linked Data (3)● Princípios de Linked Data (note de Tim BL): ● usar URIs como nomes para as coisas; ● usar URIs do tipo HTTP, para que as pessoas possam recuperar essas coisas; ● quando alguém recuperar uma URI, fornecer informações úteis, usando os padrões; ● inclua links para outras URIs, para que as pessoas possam descobrir mais coisas [relacionadas] http://www.w3.org/DesignIssues/LinkedData.html 55 / 64
  • 56. Desenho de URIs● “Dar nome às coisas na Web”● Nomear coisas concretas ou abstratas ● http://education.data.gov.uk/id/school/123065 ● http://reference.data.gov.uk/def/central-government/PermanentSecretary● Objetivos ● Nome único ● Ser persistente por muito tempo ● Ser pequeno e legível por humanos ● Incorporar identificadores já em uso 56 / 64
  • 57. Desenho de URIs(2) fonte:http://data.gov.uk/resources/uris 57 / 64
  • 58. As 5 estrelas dos Dados Abertos http://5stardata.info/ 58 / 64
  • 59. Divulgar e promover aSeleção dos Implementação utilização dados da arquitetura Definição dos Catalogação no formatos dados.gov.br 59 / 64
  • 60. Mais orientações?● Cartilha técnica de publicação de dados http://dados.gov.br/cartilha-publicacao-dados-abertos/● Guia gerencial de abertura de dados https://www.consultas.governoeletronico.gov.br/ConsultasPublicas/download.do?aca● Arquitetura técnica referencial http://wiki.gtinda.ibge.gov.br/GetFile.aspx?File=%2fGT3-Tecnologia%2fArquitetura%● Manual de dados abertos W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/Manual_Dados_Abertos_WEB.pd● Manual do desenvolvedor W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/manual_dados_abertos_desenvo● Cartilha do desenvolvedor W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/encarte_manual_desenvolvedore● Guia de dados abertos OKFN http://opendatahandbook.org/pt_BR/● Wiki da INDA http://wiki.gtinda.ibge.gov.br/ 60 / 64
  • 61. Normas● Instrução Normativa da INDA http://dados.gov.br/instrucao-normativa-da-inda/● Lei de Acesso à Informação – LAI 12.527/11 http://www.cgu.gov.br/acessoainformacoes/ 61 / 64
  • 62. Plano de Ação da INDA● Auxiliar as organizações integrantes da INDA a cumprir a Lei de Acesso à Informação● Nortear os órgãos quanto à visão, estratégia e política da abertura de dados na APF● Servir como base para criação de planos institucionais de abertura de dados 62 / 64
  • 63. Consultores do SISP 63 / 64
  • 64. contato@dados.gov.br @dadosgovbr