![<?php
include('csvtoservice.php');
$content = csvtoservice('http://winterolympicsmedals.com/medals.csv');
if($content){
if($content['form']){
echo '<h4>Filters</h4>';
echo $content['form'];
}
if($content['table']){
echo '<h4>Results</h4>';
echo $content['table'];
}
}
?>](https://image.slidesharecdn.com/dadospublicoshackday-100320163655-phpapp01/75/extraindo-dados-pblicos-na-marra-76-2048.jpg?cb=1668842101)
Extraindo dados públicos “na marra”
•33 likes•6,250 views
Report
Share
Download to read offline
Apresentação feita no HackDay 2010, em 20 de março
More Related Content
Similar to Extraindo dados públicos “na marra”
Similar to Extraindo dados públicos “na marra”(20)
More from Pedro Valente
More from Pedro Valente(7)
Recently uploaded
Recently uploaded(10)
Extraindo dados públicos “na marra”
- 1. Extraindo dados públicos “na marra” Pedro Valente @pedrovalente
- 2. Por quê? É um dever do cidadão fiscalizar o poder
- 3. Por quê? Tem um monte de picaretas se aproveitando do seu dinheiro
- 4. Por quê? São dados que por lei ou por bom senso deveriam estar disponíveis
- 5. Por quê? Não adianta tentar esconder, a gente dá um jeito
- 8. Dados de interesse público
- 9. Interesse público Jornalismo
- 10. Jornalismo + Desenvolvimento de software
- 11. http://www.flickr.com/photos/tracy_collins/2237061185/ Transparência
- 12. Está na moda
- 13. Está na moda e ganha Pulitzer
- 14. Está na moda e ganha Pulitzer http://politifact.org
- 15. Está na moda e ganha Pulitzer http://politifact.org
- 16. "Build something or STFU" Matt Waite - Politifact
- 18. Como transformar esse mundo de dados em algo relevante?
- 20. Crie aplicações interativas em cima deles
- 21. Aplicação Crie aplicações interativas em cima deles
- 22. Aplicação Crie aplicações interativas em cima deles Dados
- 23. Processador Aplicação Fornecedor Dados
- 24. Processador Aplicação API Fornecedor Dados
- 26. Cada fornecedor armazena de um jeito A API serve para padronizar a saída
- 27. API é o balcão da padaria Você pede 300 gramas de mortadela e a atendente te entrega. Leva também 4 pãezinhos. Te vira. Quem faz o sanduíche é você.
- 28. Dois papéis
- 29. 1. Fornecedor Dados brutos Grandes volumes Exclusividade
- 32. Dados da CET Km de congestionamento Pontos de alagamento Ocorrências de trânsito Estrutura de monitoramento exclusiva Além de monitorar, também precisa RESOLVER o trânsito!
- 33. E aí investem em...
- 34. www.cetsp.com.br
- 36. Prioridade?
- 37. Pouca grana Pepinos gigantes Precisa foco no que ninguém mais tem
- 38. 2. Processador Recombina, reordena, filtra e segmenta Identifica padrões e revela tendências Expõe os resultados
- 39. EveryBlock.com
- 40. NYTimes Text
- 41. NYTimes Text http://prototype.nytimes.com/represent/
- 42. EveryBlock.com Dados de fornecedores diversos Micro-relevância É jornalismo? É software? "Who cares?"
- 43. Batia de porta em porta implorando por XML
- 44. Fornecedor Processador
- 45. Fornecedor Processador Aplicação
- 46. Fornecedor Processador Aplicação Dados
- 47. Fornecedor Processador Aplicação Dados API
- 48. Fornecedor Processador Ei, 300 gramas de mortadela, por favor Aplicação Dados API
- 49. Fornecedor Processador Ei, 300 gramas de mortadela, por favor Aplicação Dados API Aqui está, senhor, tenha um bom dia
- 50. Fornecedor Processador
- 51. Fornecedor Processador Aplicação
- 52. Fornecedor Processador Aplicação Aplicação
- 53. Fornecedor Processador Aplicação API Aplicação
- 54. Fornecedor Processador Ei, um sanduíche de mortadela, por Aplicação API favor Aplicação
- 55. Fornecedor Processador Ei, um sanduíche de mortadela, por Aplicação API favor Aplicação Aqui está, senhor, tenha um bom dia
- 57. NYT APIs
- 58. Congressional Data NYT APIs The Congress API returns the following types of data: • Roll-call vote data: Only roll-call votes (not voice votes or division votes) are tracked by official Congressional data sources. Along with basic vote data, the Times API returns additional information that is less readily available, such as party totals. For details, see Responses. For general information about roll-call votes, see the THOMAS site. • Member data: Along with general biographical information for current and past members of Congress, the API returns data about members' Congressional roles. Role data includes the Congress number and chamber, as well as the member's title, state and party. A single member may have more than one role in a particular Congress (for example, the member may switch parties or move from the House to the Senate). For details, see Responses. Data Sources The data returned by the Congress API is compiled from the following sources: • The official Web site of the Office of the Clerk of the U.S. House of Representatives, for vote data • The official Web site of the United States Senate, for vote data • The Biographical Directory of the United States Congress, for member biographical information • GovTrack.us, for member biographical information • MIT Professor Charles Stewart's collection of Congressional data, for role information • THOMAS (The Library of Congress), for bill data • The C-SPAN Congressional Chronicle, for floor appearances Certain fields in the API responses (such as party totals) are calculated by The Times, based on these data sources. For details, see Responses. http://developer.nytimes.com/docs/congress_api
- 64. Se o fornecedor não colabora, fazemos justiça com as próprias mãos
- 65. Se o fornecedor não colabora, fazemos justiça com as próprias mãos
- 66. Scraping = raspagem Pegar na marra o que não é liberado por API Robozinhos, crawlers e dumps Mudança de mentalidade
- 67. Uma ajudinha:YQL • Idioma comum para conversar com diversas APIs ou fazer scraping • Aberto para qualquer um se tornar fornecedor ou processador de dados • Tem um console muito divertido • http://developer.yahoo.com/yql/console
- 69. 2 desafios Datasets & Consultas online
- 70. Datasets
- 71. Massas de dados guardadas em algum banco
- 72. IBGE TSE Anatel
- 74. YQL + CSV YQL + XML
- 76. <?php include('csvtoservice.php'); $content = csvtoservice('http://winterolympicsmedals.com/medals.csv'); if($content){ if($content['form']){ echo '<h4>Filters</h4>'; echo $content['form']; } if($content['table']){ echo '<h4>Results</h4>'; echo $content['table']; } } ?>
- 77. Consultas online
- 78. Infraero
- 79. Infraero
- 80. Infraero
- 81. Infraero
- 82. Infraero
- 84. Infraero poderia ser assim: www.infraero.gov.br/voos/status/03101
- 85. Infraero poderia ser assim: www.infraero.gov.br/voos/status/03101 <status> confirmado </status>
- 86. Mas veja o que esses filhas da mãe fazem pra nos impedir de usar os dados deles
- 87. http://www.infraero.gov.br/voos/detalhe_voo.aspx?5/Xrn1SlFmeTrR/PL3/MpnK8sgrVY9Ms +9o4x3M9qjM7ysJ8yazx5wXPsRzdou +5fzqPSZPiXOSpCOxycPzRH6PIN4I4buChasAEzkA4yV8kHAGUAnVR/ KczuGvooOuczvdlALYzVh3lcyKh+M3QrsBJBmxehWlokYlZbByajEtfYOOFlC8vGsv0I9JVs +4MD3i1hIP1FXRc0+EyJhJBL2qiFEy6/fDinPR/mqw675W/ cnhwPjcHtQEvr4NpsYdsP0f8JE0VbKeVci8KGgQ4TZJq1DE3SEjUk7lySiMtlWrZwj+pcazY +95lEvSJOwqXbb5FLXNbv0CnrSZ/9CxURzI84m3tI1929Te6IEuJPcE=
- 88. Empresa estatal. Serviço público. Dados de interesse público. Sem problemas de privacidade. HACKING LIBERADO!!!
- 92. YQL + HTML YQL Open Tables http://datatables.org