SlideShare a Scribd company logo
1 of 21
SotM-France 2016
Osmose
Signalé à Clermont-Ferrand le 21-05-2016
Frédéric Rodrigo <fred.rodrigo@gmail.com>
(c)left 2016 - CC-BY-SA v3.0
http://osmose.openstreetmap.fr
Osmose ?
Outil qualité
Analyse des données
Signalement à l'aide règles
Détection de données manquantes depuis de
l'OpenData
Proposition de correction et d'intégration
Frontend - Interface
Frontend
Carte de signalements
Filtres : gravité, thématique, fix, item…
Carte de couverture
Connexion Oauth via osm.org
Export de signalements : GPX, Json, RSS,
JOSM…
Dumps des signalements et API : SQL, CSV
Frontend - Popup
1. Description
2. Éléments suspects
3. Tags
4. Liens de zone
5. Boutons
6. Corrections suggérées
7. Changement de statut du signalement :
corrigé, faux positif
Frontend – Éditeur de tags
Modification OSM directement depuis Osmose
Édition de tags uniquement
Application de « fix »
Frontend - Backends
API
Backends
Frontend
Données OSM
Backend - Analyses
Analyses
– Règles sur les tags d'un objet
– Règles spatiale en SQL ou multi-objets
– Comparaison avec de l'OpenData
Plus de 200 analyseurs
Jenkins Buildbot : ordonnancement des
analyses
Backend - Régionalisation
Ajout du lituanien et du catalan
Support de nouveaux pays :
– Royaume-Uni, Espagne, Biélorussie, Irlande, Ukraine,
Guernesey, Jersey, Bermudes
– Turquie, Arménie, Israël, Palestine, Afghanistan
– Corée du Nord, Corée du Sud
– Indonésie, Inde, Bhoutan, Timor Oriental, Maldives,
Papouasie-Nouvelle-Guinée
– Australie, Fidji
– Russie
Backend – Nouvelles 2016
Vérifier que les parkings ont des voies d’accès
Signalement des fixme and highway=road
Signalement des access=yes abusif
Inconsistance d'accès entre bollard et
area=yes
Nom en majuscule (250k, +10 %)
Backend – Nouvelles 2016
Intégration et « d’intégration » des boites de La Poste
Indoor (« room » taggé partiellement)
Détection de certains bâtiment découpés (import cadastre)
Intersection entre route, rails et cours d'eau, ligne éclectique
Désabréviation des types de voie en catalan
Suppression d'analyses
– mini fermes (remplacé par des dépréciations de tags)
– Intégration des transports public en Wallonie (contraires aux choix locaux)
Backend – Nouvelles 2016
Beaucoup de correction de bug
Optimisation des temps de calculs
Outil d'extraction des statistiques de temps d'analyses
Support python 2 et 3
Support de pip et virtualenv pour simplifier l'installation
Support d'autres projets non OSM (OpenGeoFiction)
Backend - Serveurs
Backend – Diviser pour régner
Terminer la couverture du monde
→ Besoin de plus de serveurs
→ Essaimage vers les communautés locales
– Prise en main de serveurs, traduction et régionalisation
Couverture - 2016
France, niveau=1
Corrections
Erreurs
Nouvelles
règles
USA, niveau=1
Allemagne, niveau=1
Stats
15 millions de signalements
– 850 000 de niveau=1
3 700 000 exécutions d'analyses effectuées
– 12 000 analyses / 2 jours
15 serveurs virtuels
500 règles d'analyses
19,8 / 28 Go : 70 % du planet
352 régions (pays ou sous divisions)
À venir
Séparation de l'OpenData
Couverture de la Russie
Osmose
http://osmose.openstreetmap.fr
http://wiki.osm.org/FR:Osmose
@osmose_qa

More Related Content

Similar to Osmose-QA

Architecture Décentralisée
Architecture DécentraliséeArchitecture Décentralisée
Architecture Décentralisée
parigot
 
Plateforme géospatiale du Secteur des sciences de la Terre
Plateforme géospatiale du Secteur des sciences de la TerrePlateforme géospatiale du Secteur des sciences de la Terre
Plateforme géospatiale du Secteur des sciences de la Terre
ACSG - Section Montréal
 
Client riche et nouvelles technologies
Client riche et nouvelles technologiesClient riche et nouvelles technologies
Client riche et nouvelles technologies
Sébastien Letélié
 
BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...
BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...
BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...
IT-Gatineau2011
 

Similar to Osmose-QA (20)

Suivi des modifications des données OpenStreetMap sur 380 gares
Suivi des modifications des données OpenStreetMap sur 380 garesSuivi des modifications des données OpenStreetMap sur 380 gares
Suivi des modifications des données OpenStreetMap sur 380 gares
 
PostGIS @ Pgday.eu 2009
PostGIS @ Pgday.eu 2009PostGIS @ Pgday.eu 2009
PostGIS @ Pgday.eu 2009
 
Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
 
Osmose-QA, Qualité et intégration de données
Osmose-QA, Qualité et intégration de donnéesOsmose-QA, Qualité et intégration de données
Osmose-QA, Qualité et intégration de données
 
FME World Tour 2016: ORES
FME World Tour 2016: ORESFME World Tour 2016: ORES
FME World Tour 2016: ORES
 
Simulation CFD urbaine avec des logiciels libres (french)
Simulation CFD urbaine avec des logiciels libres (french)Simulation CFD urbaine avec des logiciels libres (french)
Simulation CFD urbaine avec des logiciels libres (french)
 
Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développe...
Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développe...Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développe...
Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développe...
 
Architecture Décentralisée
Architecture DécentraliséeArchitecture Décentralisée
Architecture Décentralisée
 
OpenStreetMap - Allons cartographier le monde - Fontenay le Comte
OpenStreetMap - Allons cartographier le monde - Fontenay le ComteOpenStreetMap - Allons cartographier le monde - Fontenay le Comte
OpenStreetMap - Allons cartographier le monde - Fontenay le Comte
 
C:\Fakepath\Geo Portail Ap Is Fev2010 Cart Histo
C:\Fakepath\Geo Portail Ap Is Fev2010 Cart HistoC:\Fakepath\Geo Portail Ap Is Fev2010 Cart Histo
C:\Fakepath\Geo Portail Ap Is Fev2010 Cart Histo
 
C:\Fakepath\Geo Portail Ap Is Fev2010 Cart Histo
C:\Fakepath\Geo Portail Ap Is Fev2010 Cart HistoC:\Fakepath\Geo Portail Ap Is Fev2010 Cart Histo
C:\Fakepath\Geo Portail Ap Is Fev2010 Cart Histo
 
Plateforme géospatiale du Secteur des sciences de la Terre
Plateforme géospatiale du Secteur des sciences de la TerrePlateforme géospatiale du Secteur des sciences de la Terre
Plateforme géospatiale du Secteur des sciences de la Terre
 
OpenStreetMap - Allons cartographier le monde - Bordeaux BarCamp'10
OpenStreetMap - Allons cartographier le monde - Bordeaux BarCamp'10OpenStreetMap - Allons cartographier le monde - Bordeaux BarCamp'10
OpenStreetMap - Allons cartographier le monde - Bordeaux BarCamp'10
 
Client riche et nouvelles technologies
Client riche et nouvelles technologiesClient riche et nouvelles technologies
Client riche et nouvelles technologies
 
J&Cie - Focus du Projet
J&Cie - Focus du ProjetJ&Cie - Focus du Projet
J&Cie - Focus du Projet
 
BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...
BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...
BOUCHARD, D. L’intelligence territoriale à l’ère des tableaux de bord cartogr...
 
Soutenance
SoutenanceSoutenance
Soutenance
 
Démystifions l'API-culture!
Démystifions l'API-culture!Démystifions l'API-culture!
Démystifions l'API-culture!
 
Parcours Patrimoine - Le Patrimoine se signale
Parcours Patrimoine - Le Patrimoine se signaleParcours Patrimoine - Le Patrimoine se signale
Parcours Patrimoine - Le Patrimoine se signale
 
Global Positioning System 8051 GSM Traker
Global Positioning System 8051 GSM Traker Global Positioning System 8051 GSM Traker
Global Positioning System 8051 GSM Traker
 

More from Frédéric Rodrigo

More from Frédéric Rodrigo (20)

OSXP 2021 - MAKINA MAPS
OSXP 2021 - MAKINA MAPSOSXP 2021 - MAKINA MAPS
OSXP 2021 - MAKINA MAPS
 
Cartography: Vector Tiles From an Open Initiative To an Industry Standard
Cartography: Vector Tiles  From an Open Initiative To an Industry StandardCartography: Vector Tiles  From an Open Initiative To an Industry Standard
Cartography: Vector Tiles From an Open Initiative To an Industry Standard
 
Osmose-QA, OpenData, Mapillary and MapCSS
Osmose-QA, OpenData, Mapillary and MapCSSOsmose-QA, OpenData, Mapillary and MapCSS
Osmose-QA, OpenData, Mapillary and MapCSS
 
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSMAutomatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
 
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSM
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSMAnnoter automatiquement un itinéraire piéton avec des repères issus d'OSM
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSM
 
OSRM, Utilisation avancée
OSRM, Utilisation avancéeOSRM, Utilisation avancée
OSRM, Utilisation avancée
 
Open Traffic
Open TrafficOpen Traffic
Open Traffic
 
OSRM L'état du routage
OSRM L'état du routageOSRM L'état du routage
OSRM L'état du routage
 
OSRM - Open Source Routing Machine
OSRM - Open Source Routing MachineOSRM - Open Source Routing Machine
OSRM - Open Source Routing Machine
 
Addok, BAN et BANO dans un bateau
Addok, BAN et BANO dans un bateauAddok, BAN et BANO dans un bateau
Addok, BAN et BANO dans un bateau
 
Osmose-QA OpenData
Osmose-QA OpenDataOsmose-QA OpenData
Osmose-QA OpenData
 
20150607 sotm-us-osmose-qa
20150607 sotm-us-osmose-qa20150607 sotm-us-osmose-qa
20150607 sotm-us-osmose-qa
 
Mapotempo
MapotempoMapotempo
Mapotempo
 
5/5 Osm 20141118-l2.3-réutilisation
5/5 Osm 20141118-l2.3-réutilisation5/5 Osm 20141118-l2.3-réutilisation
5/5 Osm 20141118-l2.3-réutilisation
 
4/5 Osm 20141118-l2.2-collecte et contribution
4/5 Osm 20141118-l2.2-collecte et contribution4/5 Osm 20141118-l2.2-collecte et contribution
4/5 Osm 20141118-l2.2-collecte et contribution
 
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
 
2/5 Osm 20141106-l1.2-initiation à la contribution
2/5 Osm 20141106-l1.2-initiation à la contribution2/5 Osm 20141106-l1.2-initiation à la contribution
2/5 Osm 20141106-l1.2-initiation à la contribution
 
1/5 Osm 20141106-l1.1-présentation
1/5 Osm 20141106-l1.1-présentation1/5 Osm 20141106-l1.1-présentation
1/5 Osm 20141106-l1.1-présentation
 
Osm 20141112-montesquieu
Osm 20141112-montesquieuOsm 20141112-montesquieu
Osm 20141112-montesquieu
 
OpenData & OpenStreetMap
OpenData & OpenStreetMapOpenData & OpenStreetMap
OpenData & OpenStreetMap
 

Osmose-QA

  • 1. SotM-France 2016 Osmose Signalé à Clermont-Ferrand le 21-05-2016 Frédéric Rodrigo <fred.rodrigo@gmail.com> (c)left 2016 - CC-BY-SA v3.0 http://osmose.openstreetmap.fr
  • 2. Osmose ? Outil qualité Analyse des données Signalement à l'aide règles Détection de données manquantes depuis de l'OpenData Proposition de correction et d'intégration
  • 4. Frontend Carte de signalements Filtres : gravité, thématique, fix, item… Carte de couverture Connexion Oauth via osm.org Export de signalements : GPX, Json, RSS, JOSM… Dumps des signalements et API : SQL, CSV
  • 5. Frontend - Popup 1. Description 2. Éléments suspects 3. Tags 4. Liens de zone 5. Boutons 6. Corrections suggérées 7. Changement de statut du signalement : corrigé, faux positif
  • 6. Frontend – Éditeur de tags Modification OSM directement depuis Osmose Édition de tags uniquement Application de « fix »
  • 8. Backend - Analyses Analyses – Règles sur les tags d'un objet – Règles spatiale en SQL ou multi-objets – Comparaison avec de l'OpenData Plus de 200 analyseurs Jenkins Buildbot : ordonnancement des analyses
  • 9. Backend - Régionalisation Ajout du lituanien et du catalan Support de nouveaux pays : – Royaume-Uni, Espagne, Biélorussie, Irlande, Ukraine, Guernesey, Jersey, Bermudes – Turquie, Arménie, Israël, Palestine, Afghanistan – Corée du Nord, Corée du Sud – Indonésie, Inde, Bhoutan, Timor Oriental, Maldives, Papouasie-Nouvelle-Guinée – Australie, Fidji – Russie
  • 10. Backend – Nouvelles 2016 Vérifier que les parkings ont des voies d’accès Signalement des fixme and highway=road Signalement des access=yes abusif Inconsistance d'accès entre bollard et area=yes Nom en majuscule (250k, +10 %)
  • 11. Backend – Nouvelles 2016 Intégration et « d’intégration » des boites de La Poste Indoor (« room » taggé partiellement) Détection de certains bâtiment découpés (import cadastre) Intersection entre route, rails et cours d'eau, ligne éclectique Désabréviation des types de voie en catalan Suppression d'analyses – mini fermes (remplacé par des dépréciations de tags) – Intégration des transports public en Wallonie (contraires aux choix locaux)
  • 12. Backend – Nouvelles 2016 Beaucoup de correction de bug Optimisation des temps de calculs Outil d'extraction des statistiques de temps d'analyses Support python 2 et 3 Support de pip et virtualenv pour simplifier l'installation Support d'autres projets non OSM (OpenGeoFiction)
  • 14. Backend – Diviser pour régner Terminer la couverture du monde → Besoin de plus de serveurs → Essaimage vers les communautés locales – Prise en main de serveurs, traduction et régionalisation
  • 19. Stats 15 millions de signalements – 850 000 de niveau=1 3 700 000 exécutions d'analyses effectuées – 12 000 analyses / 2 jours 15 serveurs virtuels 500 règles d'analyses 19,8 / 28 Go : 70 % du planet 352 régions (pays ou sous divisions)
  • 20. À venir Séparation de l'OpenData Couverture de la Russie