Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Brasil.IO: Dados Abertos para Mais Democracia

181 views

Published on

Slides da webinar apresentada em 01 de abril de 2019 no canal Glaucia Lemos, onde falo sobre meu trabalho com captura, conversão, limpeza e análise de dados públicos brasileiros e apresento a plataforma https://brasil.io/
Vídeo da webinar: https://www.youtube.com/watch?v=1FEYQBmyk2Y

Published in: Software
  • Be the first to comment

  • Be the first to like this

Brasil.IO: Dados Abertos para Mais Democracia

  1. 1. Brasil.IO: DadosBrasil.IO: Dados Abertos paraAbertos para Mais DemocraciaMais Democracia Álvaro JustenÁlvaro Justen Canal Glaucia LemosCanal Glaucia Lemos 01 de abril de 201901 de abril de 2019
  2. 2. $ whoami$ whoami TuricasTuricas, prazer! =), prazer! =) Sigam-me os bons:Sigam-me os bons: {{ ,, ,, ,, ,, }} //turicasturicas twittertwitter githubgithub youtubeyoutube slideshareslideshare instagraminstagram turicas@brasil.ioturicas@brasil.io
  3. 3. pythonic.cafepythonic.cafe youtube.com/c/PythonicCafeyoutube.com/c/PythonicCafe
  4. 4. Brasil.IOBrasil.IO O Brasil em dados libertos
  5. 5. Trabalhos feitos com DadosTrabalhos feitos com Dados AbertosAbertos
  6. 6. (em conjunto com Juan Torres) correio24horas.com.br
  7. 7. Acesse a matéria
  8. 8. (em conjunto com Adriano Belisário) apublica.org
  9. 9. Acesse a matéria
  10. 10. (em conjunto com Adriano Belisário) theintercept.com/brasil
  11. 11. Acesse a matéria
  12. 12. Acesse a matéria
  13. 13. (em conjunto com Natália Mazotte) generonumero.media
  14. 14. Veja a Edição "Mulheres na Política"
  15. 15. Veja a Edição "Mulheres na Política II"
  16. 16. Veja a Edição "Espaço Público"
  17. 17. Rua: substantivo (ainda)Rua: substantivo (ainda) masculinomasculino youtu.be/7yQ8U2tFFq4
  18. 18. Aplicações ÚteisAplicações Úteis eleicoes.poder360.com.br
  19. 19. Inovação CívicaInovação Cívica Exemplo: Operação Serenata de AmorExemplo: Operação Serenata de Amor serenata.ai
  20. 20. R$ 155 em um restaurante que custa R$ 70/kg, deputado? Rosie, a robôRosie, a robô
  21. 21. R$ 191 em um restaurante cujos pratos não custam R$ 40, deputado? Rosie, a robô (2)Rosie, a robô (2) twitter.com/tOa_D/status/1058495655184871425
  22. 22. -- Controle SocialControle Social “ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ” Wikipedia
  23. 23. -- “ [A CGU] acredita que a transparência é o melhor antídoto contra corrupção, dado que ela é mais um mecanismo indutor de que os gestores públicos ajam com responsabilidade. Uma gestão pública transparente permite à sociedade, com informações, colaborar no controle das ações de seus governantes, com intuito de checar se os recursos públicos estão sendo usados como deveriam. ” CGU.gov.br
  24. 24. -- (definição de ) Dados AbertosDados Abertos “ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ” OpenData Handbook Open Definition Mais detalhes: Lei de Acesso à Informação: 12.527/2011 kit.dados.gov.br escoladedados.org
  25. 25. -- creativecommons.org “ Copyright laws are turning kids into criminals. Totally failed war. ” Lawrence Lessig
  26. 26. Data PipelineData Pipeline schoolofdata.org/methodology
  27. 27. Nem sempre o dado está disponívelNem sempre o dado está disponível twitter.com/turicas/status/1094069287206248450
  28. 28. Às vezes apagam os dados...Às vezes apagam os dados... twitter.com/turicas/status/1112491956314259457
  29. 29. Nem sempre o dado é abertoNem sempre o dado é aberto twitter.com/turicas/status/1091767340134514690
  30. 30. Nem sempre o dado é grátis (???)Nem sempre o dado é grátis (???) twitter.com/turicas/status/1019272233095745537
  31. 31. Mas quando está...Mas quando está... A Qualidade dos Dados é Ruim!A Qualidade dos Dados é Ruim! 5stardata.info
  32. 32. Maior parte do tempo dos projetos deMaior parte do tempo dos projetos de análise de dados:análise de dados:
  33. 33. Maior parte do tempo dos projetos deMaior parte do tempo dos projetos de análise de dados:análise de dados: (em GIFs)(em GIFs)
  34. 34. Acessibilidade: ProblemasAcessibilidade: Problemas Formato (qualidade técnica) Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) Dispersão Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) Quantidade de dados Exemplo: 18 milhões de sócios (RFB) Domínio da área Exemplo: o que é unidade eleitoral? (TSE)
  35. 35. -- “ Democracia é um regime político em que todos os cidadãos elegíveis participam igualmente — diretamente ou através de representantes eleitos — na proposta, no desenvolvimento e na criação de leis, [...] Ela abrange as condições sociais, econômicas e culturais que permitem o exercício livre e igual da autodeterminação política. ” Wikipedia
  36. 36. Libertando DadosLibertando Dados
  37. 37. Libertação de Dados: Exemplo (1)Libertação de Dados: Exemplo (1) Dados do Conselho Nacional de Justiça (centenas de planilhas)Dados do Conselho Nacional de Justiça (centenas de planilhas) twitter.com/turicas/status/943176715672711168
  38. 38. Libertação de Dados: Exemplo (2)Libertação de Dados: Exemplo (2) Dados da Receita Federal (formato proprietário)Dados da Receita Federal (formato proprietário) twitter.com/turicas/status/959120200976224262
  39. 39. Libertação de Dados: Exemplo (3)Libertação de Dados: Exemplo (3) Dados do PROUNI (site sai do ar)Dados do PROUNI (site sai do ar) twitter.com/turicas/status/960678777096425472
  40. 40. Libertação de Dados: Exemplo (4)Libertação de Dados: Exemplo (4) Site não governamentalSite não governamental twitter.com/turicas/status/1109148357451304960
  41. 41. Libertação de Dados: Exemplo (5)Libertação de Dados: Exemplo (5) Captura de dados manualCaptura de dados manual turicas.info/feiras-organicas-curitiba Acessse a planilha
  42. 42. Como?Como? , , , Python scrapy urllib requests rows lxml BeautifulSoup sqlite3
  43. 43. PythonPython Fácil de aprender Ecossistema incrível Comunidade inclusive MUITO código e material disponível Alta produtividade python.org
  44. 44. Python: Linguagem de ProgramaçãoPython: Linguagem de Programação Acesse a matéria
  45. 45. xkcd.com/353
  46. 46. rows convert arquivo.pdf arquivo.csvrows convert arquivo.pdf arquivo.csv
  47. 47. Código ao vivoCódigo ao vivo IPython + rows.import_from_csv rows convert (HTML para CSV, Olimpíadas) rows query (SQL em PDF, Balneabilidade Bahia) rows csv2sqlite (Salários magistrados) rows pgimport (Bens declarados)
  48. 48. Software livreSoftware livre Código compartilhado, feito de forma colaborativaCódigo compartilhado, feito de forma colaborativa github/turicas/rows
  49. 49. Brasil.IOBrasil.IO O Brasil em dados libertos DemonstraçãoDemonstração Dataset salarios-magistrados Dataset eleicoes-brasil Dossiê Odebrecht
  50. 50. Acessbilidade: 4/4Acessbilidade: 4/4 [x] Formato [x] Dispersão [x] Quantidade de dados [x] Domínio da área
  51. 51. -- “ Restringir acesso a dados públicos é elitizar a democracia. ” Manifesto Brasil.IO
  52. 52. Brasil.IOBrasil.IO Como Colaborar?Como Colaborar? Postando no blog: Lançado HOJE! Código da plataforma: Scripts: melhorando os atuais e criando novos Sugerindo novos datasets: Compartilhando ideias: Doando: blog.brasil.io github.com/turicas/brasil.io/issues brasil.io/datasets/sugira chat.brasil.io apoia.se/brasilio
  53. 53. Próximo em Curitiba: final de abril. Convite: Cerveja com DadosConvite: Cerveja com Dados meetup.com/Cerveja-com-Dados
  54. 54. 23 a 28 de outubro de 2019 Ribeirão Preto/SP 2019.pythonbrasil.org.br
  55. 55. ?? {{ ,, ,, ,, ,, }} //turicasturicas twittertwitter githubgithub youtubeyoutube slideshareslideshare instagraminstagram turicas@brasil.ioturicas@brasil.io

×