French opendata catalog analysis & UK benchmark

Visite guidée du cataloguedata.gouv.fr par les chiffresCyrille Vincey@cyrvincvincey@qunb.com

AgendaCombien ?Quels thèmes ?Quelle provenance ?Exploitable ou pas ?Croissance ?Couverture ?Up-to-date ?(et quelques zooms)

Le catalogue data.gouv.fr par les chiffresCOMBIEN DE JEUX DEDONNÉES ?

352 000 jeux de données… 352 414 jeux de données Sans les BDD INSEE Sans les BDD du Min. Env. & Transport (CORINE & SITADEL) Sans les données dupliquées sur toutes les communes & régionsMéthodologie : Scraping entier du site datant du 8/2/2012, puis Retraitement desdoublons et étude des couvertures géographiques.

… et 3 500 jeux uniques de données 3 510 jeux uniques de données

Le catalogue data.gouv.fr par les chiffresDES DONNÉES SUR QUOI ?

De l’économie, certes, mais aussi… 1,434 519 269 220 214 177 134 68 64Analyse : nombre de jeux uniques de données regroupés par thème

activitéproduction économique appartement résidence produit interieur brut aménagement principale économie budget finances territoire publiques logement polluants véhicules env. & formation air étudiants éducation transport enseignement diplôme co2 immatriculation scolarisation

consommationd’energie électricité loisirs criminalité monumenténergieindustrie charbon gaz société musée patrimoineénergétiqueimmigrationdémographie assurance de santé politiquereconduite à la frontière etat civilrecensement maladie santé lieu de travail etablissementemploi hospitalierpopulation salariés soins de santéactive chomage

Thèmes des données – FR vs UK 2% 2% Société 4% Démographie 6% Santé 21% Energie 7% Emploi 4% Education 7% Société 3% Environnement 9% Démographie 17% Territoire 17% 1% Education 8% Environnement 12% Territoire 8% Economie 46% Economie 26% FR UK

Le catalogue data.gouv.fr par les chiffresD’OÙ VIENNENT LES DONNÉES ?

Liste exhaustive des publicateurs INSEE 789 Ministère de lEcologie 687 Ministère du Budget 416 Ministère de lEducation nationale 278 Ministère de la Culture 172 Ministère de lIntérieur 170 Premier Ministre 155 FranceAgriMer 148 Ministère de la Défense 106 Ministère du Travail, Emploi et Santé 95 Ministère de lAgriculture 89Villes (Coulomiers, Longjumeau, Saint-Quentin) 68 Conseil général du Loire et Cher 64 Inventaire forestier national 53 Ministère de lEconomie 52 Agences départementales de leau 40 Ministère de la Justice 36 Office national de lEau 25 Office national des forêts 22 Ministère de la Ville 19 Ministère des Affaires Etrangères 15 SCNF et RFF 3 Agence Bio 3 Analyse : nombre de jeux uniques de données par publicateur

Le catalogue data.gouv.fr par les chiffresQUELLES DONNÉES EXPLOITABLESPOUR UN MASHUP ?

Votre meilleur allié : excel 1. Données structurées Données structurées 174 Données dans des formats 3. Données utilisables sans retraitement par non une app ou un mashup structurées (rdf, xml, shp) 500 Données semi-structurées Données tabulaires qui nécessiteront un travail de crunch préalable avant utilisation (csv, xls, ods) Données non structurées 2. Données semi- structurées Données textuelles 2,836 (doc, rtf, txt, pdf, html, …)Analyse : nombre de jeux uniques de données regroupés par type

Les « anti-excel » opteront pourdes données de cartographie 168 3. Données non structurées 1,217 2. Données semi-structurées 79 1. Données structurées 378 36 3 205 213 173 89 5 3 49 62 101 62 60 2 1 1Analyse : nombre de jeux uniques de données regroupés par thème et type

Types de données – FR vs UK Données non structurées Données non 14% structurées 25% Données semi- structurées Données semi- 81% structurées 66% Données structurées 8% Données structurées 5% FR UK

D’où viennent lesdonnées structurées ? Premier Ministre 55 Conseil général du Loire et… 31 Agences départementales… 26 Office national des forêts 22 Ministère de lEcologie 16 Saint-Quentin 10 FranceAgriMer 8 Ministère de la Culture 4 Agence de services et de… 1 Ministère du Budget 1Analyse : nombre de jeux uniques de données de type 1 regroupés par publicateur

D’où viennent lesdonnées semi-structurées ? INSEE 789 Ministère de lEcologie 647 Ministère du Budget 411 Ministère de lIntérieur 165 Ministère de lEducation nationale 163 Ministère de la Culture 140 Ministère de la Défense 100 Ministère du Travail, Emploi et Santé 88 Inventaire forestier national 53 Ministère de lEconomie 41 Villes (Coulomiers, Longjumeau, Saint-… 39 Ministère de lAgriculture 39 Ministère de la Justice 35 Conseil général du Loire et Cher 32 Premier Ministre 29 Office national de lEau 24 Ministère des Affaires Etrangères 13 Agences départementales de leau 13 Ministère de la Ville 5 SCNF et RFF 3 Agence Bio 3 Autorités indépendantes 3 Agence de services et de paiement 1Analyse : nombre de jeux uniques de données de type 2 regroupés par publicateur

D’où viennent lesdonnées non structurées ? FranceAgriMer 140 Ministère de lEducation nationale 115 Premier Ministre 71 Ministère de lAgriculture 50 Ministère de la Culture 28 Ministère de lEcologie 24 Villes… 19 Ministère de la Ville 14 Ministère de lEconomie 11 Ministère du Travail, Emploi et Santé 7 Ministère de la Défense 6 Ministère de lIntérieur 5 Ministère du Budget 4 Ministère des Affaires Etrangères 2 Office national de lEau 1 Ministère de la Justice 1 Conseil général du Loire et Cher 1 Agences départementales de leau 1Analyse : nombre de jeux uniques de données de type 3 regroupés par publicateur

Le catalogue data.gouv.fr par les chiffresQUELLE VITESSE D’ENRICHISSEMENTDU CATALOGUE ?

« Petit » catalogue deviendra grand 3,510 2,238 1,423 621Analyse : nombre cumulé de jeux uniques de données par semaine de publication

Enrichissement du catalogue - FR vs UKAnalyse : nombre cumulé de jeux uniques de données par mois de publication

Le catalogue data.gouv.fr par les chiffresLES DONNÉES SONT-ELLESÀ JOUR ?

Patientons, le temps réel viendra 1,471 1,168 434 383 54 Données Données 2004 Données 2005 Données 2010 Données 2012permanentes et avant à 2009 à 2011 et aprèsAnalyse : nombre de jeux uniques de données catégorisés sur les fins de couverture

Age des données – Fr vs UK 2% Temps réel 8% Récentes 38% Récentes 58% Datées 48% Datées 20% Obsolètes Obsolètes 12% 14% FR UK

Le catalogue data.gouv.fr par les chiffresDONNÉES GLOBALES OULOCALES ?

Quelques (gros) datasets dedonnées locales, mais surtout… 2,637 475 239 122 35Analyse : nombre de jeux uniques de données catégorisés par maille de définition

Allez voir les datasetslocaux de type structurés 7 40 7 427 18 199 78 393 27 2,138 26 42 33 1 72Analyse : nombre cumulé de jeux uniques de données catégorisés sur les fins de couverture

Le catalogue data.gouv.fr par les chiffresQU’APPORTE DATA.GOUV.FRCOMME FONCTIONS ?

Un bon lévrier donnée Catalogue retraitée d’apps PromouvoirAppeler donnée Promouvoir donnée son app : l’API brute son app brute data connexions Proposer Trouver un une idée dév. d’app d’app

Des liens directs du cataloguevers les utilisations des donnéesJeu de données : data.gov.uk, FCO Travel Advice.

Utilisation de l’API data.gov.uk

Le catalogue data.gouv.fr par les chiffresQU’ONT FAIT LES ANGLAISAVEC LEUR OPENDATA ?

201 apps, surtout de la géoloc“Quels sont les crimes “Où puis-je planter maautour de chez moi ?” tente ?”“Quelle est la meilleure “Notable : desbalade à vélo ?” utilisations business”

Favoriser la transparence“Combiengagne ledirecteuradjoint duBritishMuseum ?”

Analyser l’action de l’Etat

Suggérer

Favoriser le “citizen watch”Source : www.wheredoesmymoneygo.org

Les données à l’origine dewheredoesmymoneygoJeu de données : data.gov.uk Country and Regional Analyses (CRA) - UK Government Finances.

Dans quelle ville faut-il faireattention à où on met les pieds ?Jeu de données : data.gov.uk, Fixed Penalty Notice – Dogs, DEFRA.

Le catalogue data.gouv.fr par les chiffresDES PISTES POUR UN MASHUPOU UNE APP…

Cartographier les résultats de laprésidentielle de 2007 % % % Voix % VoixDpt Libellé de la commune Nom Prénom Voix Voix / Voix / Nom Prénom Voix / Ins / Exp Ins ExpAIN LAbergement-Clémenciat BESANCENOT Oliv ier 14 2,35 2,68 BUFFET Marie-George 3 0,5 …AIN LAbergement-de-Varey BESANCENOT Oliv ier 6 2,93 3,51 BUFFET Marie-George 1 0,49 …AIN Ambérieu-en-Bugey BESANCENOT Oliv ier 323 3,98 4,98 BUFFET Marie-George 152 1,88 …AIN Ambérieux-en-Dombes BESANCENOT Oliv ier 30 2,85 3,33 BUFFET Marie-George 6 0,57 …AIN Ambléon BESANCENOT Oliv ier 6 5,36 6,06 BUFFET Marie-George 1 0,89 …AIN Ambronay BESANCENOT Oliv ier 51 3,16 3,63 BUFFET Marie-George 31 1,92 …AIN Ambutrix BESANCENOT Oliv ier 26 5,3 5,78 BUFFET Marie-George 6 1,22 …AIN Andert-et-Condon BESANCENOT Oliv ier 11 4,15 4,76 BUFFET Marie-George 8 3,02 …AIN Anglefort BESANCENOT Oliv ier 27 4,6 5,22 BUFFET Marie-George 4 0,68 …AIN Apremont BESANCENOT Oliv ier 3 1,18 1,35 BUFFET Marie-George 5 1,96 …AIN Aranc BESANCENOT Oliv ier 9 3,24 3,85 BUFFET Marie-George 10 3,6 …AIN Arandas BESANCENOT Oliv ier 0 0 0 BUFFET Marie-George 0 0 …AIN Arbent BESANCENOT Oliv ier 48 2,39 2,77 BUFFET Marie-George 23 1,15 …AIN Arbignieu BESANCENOT Oliv ier 11 2,74 3,23 BUFFET Marie-George 3 0,75 …AIN Arbigny BESANCENOT Oliv ier 11 4,04 5,07 BUFFET Marie-George 3 1,1 …AIN Argis BESANCENOT Oliv ier 20 6,51 7,63 BUFFET Marie-George 5 1,63 …AIN Armix BESANCENOT Oliv ier 0 0 0 BUFFET Marie-George 0 0 …AIN Ars-sur-Formans BESANCENOT Oliv ier 10 1,23 1,37 BUFFET Marie-George 8 0,99 …AIN Artemare BESANCENOT Oliv ier 23 2,87 3,44 BUFFET Marie-George 6 0,75 …… … … … … … … … … … … …Jeu de données : résultats au 1er et 2ème tour de l’élection présidentielle de 2007

Du « citizen watch » à la françaiseLibellé ministère Programme AE Titre 2 AE Autres titres Total AE CP Titre 2 CP Autres titres Total CPAffaires étrangères 105 555 823 400 1 230 956 251 1 786 779 651 555 823 400 1 232 988 711 1 788 812 111Affaires étrangères 151 200 738 503 167 780 000 368 518 503 200 738 503 167 780 000 368 518 503Affaires étrangères 185 84 090 237 674 622 721 758 712 958 84 090 237 674 622 721 758 712 958Affaires étrangères 209 222 720 988 1 867 725 436 2 090 446 424 222 720 988 1 890 569 183 2 113 290 171Affaires étrangères 332 0 0 0 0 20 000 000 20 000 000Culture 131 0 735 716 707 735 716 707 0 787 946 707 787 946 707Culture 175 0 813 941 902 813 941 902 0 870 597 681 870 597 681Culture 180 0 385 813 692 385 813 692 0 390 313 692 390 313 692Culture 186 0 123 468 894 123 468 894 0 124 075 879 124 075 879Culture 224 643 893 011 407 853 967 1 051 746 978 643 893 011 429 861 092 1 073 754 103Culture 313 0 472 888 891 472 888 891 0 472 888 891 472 888 891… … … … … … … …(attention, un travail de crunch préalable)Opérateur ou Catégorie dopérateur PLF 2012 Statut Programme (chef de file) Mission (correspondant au programme chef de file)A2E2F - Agence Europe Education Formation France GIP 150 - Formations supérieures et recherche universitaire supérieur Recherche et enseignementABM - Agence de biomédecine EPA 204 - Prévention, sécurité sanitaire et offre de soins SantéAcadémie des sciences de loutre - mer EPA 150 - Formations supérieures et recherche universitaire supérieur Recherche et enseignementAcadémie des technologies EPA 172 - Recherches scientifiques et technologiques pluridisciplinaires Recherche et enseignement supérieurACSE - Agence nationale pour la cohésion sociale et légalité des chances EPA 147 - Politique de la ville et Grandlogement Ville et ParisADALIS - Addictions Drogues Alcool Info Service GIP 204 - Prévention, sécurité sanitaire et offre de soins SantéADEME - Agence de lenvironnement et de la maîtrise de lénergie 181 - Prévention des risques EPIC Écologie, développement et aménagement durablesADU Drôme Ardèche - Agence du développement universitaire Drôme Ardèche GIP 150 - Formations supérieures et recherche universitaire supérieur Recherche et enseignement… … … …Jeu de données : Projet de Loi de Finance 2012

Cartographier les dépassementsdes seuils de pollutionJeu de données : niveaux de pollution ayant dépassé les seuils d’alerte

Analyser les 1,5 Md€ de subventions attribuées à 18 000 associationsSIREN ASSOCIATION IMPUTATION Subvention 490135456 1 2 3 SOLEIL LUDOTHEQUE - 06 MOUANS SARTOUX Services du Premier ministre: 163 - Jeunesse et vie associative € 3 000 445311210 1.2.3 ARCHITECTE - 75 PARIS 14 Culture et communication: 175 - Patrimoines 30 000 € 498598747 100 000 ENTREPRENEURS - 75 PARIS Éducation nationale: 141 - Enseignement scolaire public du second d 20 000 € 450034301 100 TRANSITIONS - 95 GONESSE Culture et communication: 224 - Transmission des savoirs et démocra 11 680 € 450034301 100 TRANSITIONS - 95 GONESSE Services du Premier ministre: 163 - Jeunesse et vie associative € 2 000 498303320 1000 VISAGES - 91 Culture et communication: 224 - Transmission des savoirs8et démocra 000 € 498303320 1000 VISAGES - 91 Services du Premier ministre: 163 - Jeunesse et vie associative € 10 000 511996035 1001 COULEURS CHEZ MME BELMOKHTAR - 02 Services du Premier ministre: 163 - Jeunesse et vie associative € 483 449328814 1001 PATTES - 37 Services du Premier ministre: 163 - Jeunesse et vie associative € 3 000 398540997 10200 ZIMAGES - 10 BAR SUR AUBE Services du Premier ministre: 163 - Jeunesse et vie associative € 7 390 410532584 117 ANIMATIONS JEUNES - 09 LA BASTIDE DE SEROU Services du Premier ministre: 163 - Jeunesse et vie associative € 12 317… … … … Jeu de données : PLF2012-Jaune-Données Associations subventionnées

Mesurer la désaffection des plus de 65 ans pour les « rave party »[I-3-3] QUESTION 70B : SONT ALLES AU COURS DES 12 DERNIERS MOIS…sur 100 personnes de chaque A un A une A une Dans un Dans une Dans un parc Dans une Dans ungroupe spectacle rave- soirée bal disco- dattraction fête zoo sportif party karaoke thèque (Disneyland...) foraineENSEMBLE 25 1 12 20 24 19 43 27SEXEHom m es 36 2 13 21 27 20 45 26Fem m es 14 1 12 18 21 18 41 29AGE15 à 19 ans 35 4 21 20 52 33 64 2720 à 24 ans 37 7 27 20 67 38 65 3025 à 34 ans 33 2 19 25 41 30 58 4335 à 44 ans 30 0 14 23 26 25 51 3945 à 54 ans 24 0 10 18 15 13 39 2455 à 64 ans 18 0 6 21 6 8 34 2065 ans et plus 10 0 2 12 2 5 19 12 Jeu de données : Sorties et réceptions : sorties noctures

Quelle évaluation de mon lycée Les résultats scolaires géolocalisés.Jeu de données : Indicateurs de valeur ajoutée des lycées d’enseignement général ettechnique, indicateurs de valeur ajoutée des lycées d’enseignement professionnel, Géolocalisationdes établissements denseignement du premier degré et du second degré du ministère del’éducation nationale, de la jeunesse et de la vie associative

Les routes les plus dangereusesJeu de données : informations sur la localisation des accidents corporels de la circulation sur 5 ans

Where do I drink le vin rougewith le fromage ?Jeu de données : aire géographique des AOC

Le catalogue data.gouv.fr par les chiffres… QUNB ?

user generated data free premium & public data data Smart data visualisation Massivedata aggregation

OfflineOnline (<iframe…>)Social

Merci !qunb @qunbcyrille @cyrvinwww.qunb.com

French opendata catalog analysis & UK benchmark

by qunb on Mar 22, 2012

Accessibility

Upload Details

Usage Rights

2 Embeds 52

Statistics

French opendata catalog analysis & UK benchmark Presentation Transcript

http://www.scoop.it	50
http://paper.li	2