Indexer la terre entière

1,814 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,814
On SlideShare
0
From Embeds
0
Number of Embeds
70
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Indexer la terre entière

  1. 1. Indexer la terre entièreun projet fou ?Plus aujourd’hui !Nicolas ColomerOCTOTechnology@n_colomer
  2. 2. Panorama de la carto webOpenStreetMap
  3. 3. Cayenne, GuyaneOpenStreetMap
  4. 4. OSM en quelques chiffres• 45 serveurs officiels• 1M+ de contributeurs• 2Md+ d’objets géographique• 3.4Md+ de point GPS uploadés• OSM data = 370Go & tiles = 1.2To
  5. 5. Data primitives• Node = POI• Way = liste ordonnée de [2, 2000] nodes• Relation = liste ordonnée de nodes + waysOpen polyline : autoroute, route, chemin, …Closed polyline : rond-point, …Area : bâtiment, parc, lac, …
  6. 6. Meta-données + conventionsAttention : nuage (vraiment pas) exhaustive !taginfo.openstreetmap.org
  7. 7. Exploiter les donnéesOSM filesXMLdumps ou diffplanet ou extractrelationel !Outils / ETLOsmosisosm-history-splitterOsmconvert…StockagePostgreSQLPostGIS1 2 3
  8. 8. boring installationboring tuningboring importcomplicated search !?
  9. 9. Peut-on faire autrement ?Volumétrie ?NoSQL(geo)search ?
  10. 10. elasticsearch• Geo PointType– Distance Filter– Polygon Filter– Bounding Box Filter– Distance Facets• Geo ShapeType– Query– Filterin 0.90.x• within relation• strategy impl• index/search api• more to come?
  11. 11. PrefixTreegrid layer #1grid layer #2grid layer #3GeohashPrefixTree1 layer = 32 rectanglesMax leve = 24QuadPrefixTree1 layer = 4 rectanglesMax level = 50
  12. 12. 2 projetspour jouer avec ces données• github.com/ncolomer/elasticsearch-osmosis-pluginAn Osmosis plugin that index OpenStreetMap datainto elasticsearch• github.com/ncolomer/discoveryAn elasticsearch plugin to visualize indexedOpenStreetMap data
  13. 13. elasticsearch-osmosis-plugin• Osmosis = ETL spécialisé (Java)– Filtres géographique (Bbox) / par tags– Import / export PostgreSQL– Change-set / comparaison / tri• EOP = plugin Osmosis (Java)– Conversion du model XML en document JSON– Construit des index spécialisés
  14. 14. MappingOSM File (XML) Equivalent JSON
  15. 15. Démo

×