Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Le Big Data et les données Copernicus

862 views

Published on

Le programme Copernicus est entré en phase opérationnelle en 2014. La composante spatiale comprend des missions Sentinel développées par l’ESA qui, pour la première fois, offrent un accès gratuit à des données multi-capteurs de très grande qualité. La mise à disposition de ces données et des services à valeur ajoutée sur ces données stimulera la recherche et le développement du secteur aval. Deux missions Sentinel sont déjà en orbite : Sentinel-1A (imageur radar) a été lancée le 3 avril 2014 et Sentinel-2A (imageur optique) a été lancée le 23 juin 2015. Le lancement de Sentinel-3A (imageur grand champ et altimètre) est actuellement prévu pour février 2016.

Les données Sentinel sont destinées à être diffusées à toutes les communautés d’utilisateurs, en Europe et dans le monde. A terme, elles généreront 13 To/jour, soit presque 5 Po de données par an.

La plateforme PEPS (Plateforme d’Exploitation des Produits Sentinel) assure la diffusion des produits Sentinel au niveau français pour soutenir la mise en place et le suivi des politiques environnementales, favoriser le développement industriel et l’émergence de services aval, et répondre aux attentes de la communauté scientifique. Le projet PEPS est une plateforme conçue pour offrir aux utilisateurs nationaux des performances accrues d’accès aux volumes très élevés des données Sentinel.

Published in: Technology
  • Be the first to comment

Le Big Data et les données Copernicus

  1. 1. Big Data from Space Le Big Data et les satellites d’Observation de laTerre Jérôme GASPERI - DCT/PS/TVI Petit déjeuner DSI-Toulouse, France - 24 mars 2016
  2. 2. Partie IQu’est ce q ue le Big Dat a
  3. 3. BIG
  4. 4. Volume Variété Vitesse €Valeur
  5. 5. Volume
  6. 6. L’ère du pétaoctet
  7. 7. 1
PETAOCTET 13.3 ANNEES DE VIDEO HD 1.5PETAOCTET TAILLE DES 10 MILLIARDS DE PHOTOS SUR FACEBOOK 20PETAOCTETS LA PRODUCTION MONDIALE DE DISQUES DURS EN 1995 50PETAOCTETS L’INTEGRALITE DE TOUTE LA PRODUCTION ECRITE DE L’HUMANITE DEPUIS L’INVENTION DE L’ECRITURE DANS TOUTES LES LANGUES
  8. 8. 1petaoctet=200000DVDs
  9. 9. Variété Vitesse
  10. 10. €Valeur
  11. 11. Brett Ryder - http://www.economist.com/node/15579717 Extraire l’information
  12. 12. http://fivethirtyeight.com/datalab/this-algorithm-knows-you-better-than-your-facebook-friends-do/
  13. 13. Big Data...Big Problem ?
  14. 14. 1 milliard de milliard d’opér at ions par seconde en 2 0 24 1,000,000,000,000,000,000
  15. 15. vs ~ 30W ~ 30MW 1x 3x
  16. 16. Your Online World: Green IRL, or #dirty? Amazon Web Services Digital Realty Dupont Fabros Ebay Google Facebook Oracle HP Yahoo IBM Microsoft Apple Salesforce Rackspace Equinix Telecity http://www.greenpeace.org/usa/clickclean/#report 2014
  17. 17. Partie IIBig D a t a f rom s pa ce Vo l u m e
  18. 18. Doter l'Europe d'une capacité opérationnelle et autonome d'observation de la Terre en tant que « services d’intérêt général européen, à accès libre, plein et entier » Le programme Copernicus
  19. 19. Coordination technique Missions Sentinels Missions Contributrices Atmosphère Climat Marine Sécurité Terre Urgences Coordination Etats membres ESPACE SERVICES IN SITU Plateformes d’accès Applications avals
  20. 20. Coordination technique Missions Sentinels Missions Contributrices Atmosphère Climat Marine Sécurité Terre Urgences Coordination Etats membres ESPACE SERVICES IN SITU Plateformes d’accès Applications avals 0.9 Mds €3.4 Mds €
  21. 21. Atmosphere monitoring
  22. 22. Climate Change
  23. 23. Emergency
  24. 24. Land monitoring
  25. 25. Marine monitoring
  26. 26. Security
  27. 27. Sentinel-1 RADAR S1A - April 2014 S1B mid 2016 Sentinel-2 OPTICAL S2A - June 2015 S2B mid 2016 Sentinel-3 ALTIMETER / SEA SURFACE S3A - Summer 2015 S3B mid 2016 Sentinel-4 ATMOSPHERE 2018 Sentinel-5P ATMOSPHERE End 2015Sentinel-5 ATMOSPHERE 2020 Sentinel-6 ALTIMETER 2020 Sentinel Le volet spatial du programme Copernicus
  28. 28. Sentinel-1 RADAR S1A - April 2014 S1B mid 2015 Sentinel-2 OPTICAL S2A - June 2015 S2B mid 2016 Sentinel-3 ALTIMETER / SEA SURFACE S3A - Summer 2015 S3B mid 2016 PEPS Plateforme d’Exploitation des Produits Sentinel 2015-2017 Phase 1
  29. 29. Sentinel 1Radar en bande C Surveillance maritime, Géophysique, Glaciologie, etc. Orbite Héliosynchrone Altitude 693 km
  30. 30. Observation Optique, Evolutions des sols, Agriculture, Cartographie, etc. Orbite Héliosynchrone Altitude 786 km Sentinel 2
  31. 31. Sentinel 3 Hauteurs des océans, Couleur et température de surface Orbite Héliosynchrone Altitude 814 km
  32. 32. 2017 7 POVolume stocké au CNES Toulouse fin 2017 DVDs
  33. 33. Bull HPSS 2 PO 7 PO Disques durs Stockage Bandes Migration automatique Récupération « transparente » Montage NFS CNES data center - Toulouse, France
  34. 34. https://peps.cnes.fr
  35. 35. Partie IIIBig D a t a f rom s pa ce
  36. 36. Chercher dans des millions d’images ? Trouver
  37. 37. Quand Où Comment
  38. 38. Contenu de l’image ? Quoi
  39. 39. ex. Dans le cadre d’une étude d’impact sur l’augmentation du niveau des océans, je cherche des images sans nuage de villes côtières situées en Asie :) :) :(
  40. 40. Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
  41. 41. Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber 17 hours 45 minutes
  42. 42. Traiter les images
  43. 43. Du pixel... Image satellitaire ...à l’information Carte d’occupation du sol Cultures Bâtiment Forêt
  44. 44. Orfeo Toolbox Remote sensing image library Open Source Developed by the French Space Agency Exemple 1
  45. 45. Orfeo Toolbox More than 70 high level processing chains orthorectification segmentation classification etc.
  46. 46. Orfeo Toolbox More than 70 high level processing chains orthorectification segmentation classification etc. Supervised learning (land cover is computed from a set of "well known areas" given by user) Based on SVM (http://en.wikipedia.org/wiki/Support_vector_machine)
  47. 47. Deep learning Exemple 2 ????
  48. 48. http://techcrunch.com/2014/08/15/google-buys-jetpac-to-give-context-to-visual-searches/ + = Deep learning
  49. 49. Deep learning !!!! Plutôt adapté à l’extraction d’objets (ex. aéroport, route, tank, etc.) Quelle base de référence d’images ?
  50. 50. Emprise de l’image Bords de côtes Toponymes (Continents, Pays, Régions, Etats) Densité de population Occupation du sol …etc… Couches d’informations github.com/jjrom/itag iTag […etc…] { "name":"Europe", "id":"continent:europe", "countries":[ { "name":"Italy", "id":"country:italy", "pcover":37.02, "regions":[ { "name":"Valle d'Aosta", "id":"region:valle-d-aosta", "states":[ { "name":"Aoste", "id":"state:aoste", "pcover":37.02, "toponyms":[] } ] } ] }, […etc…] Temps de traitement < 1 seconde
  51. 51. Métadonnées « améliorées » Métadonnées « traditionnelles »
  52. 52. California Coastal town spring without clouds github.com/jjrom/resto resto
  53. 53. Brett Ryder - http://www.economist.com/node/15579717 Extraire l’information
  54. 54. Heatmaps Visualiser tous les résultats de recherche ? Problème
  55. 55. ~201 300 produits 11/02/2016
  56. 56. ~11000 produits 11/02/2016
  57. 57. « Pléiades les 15 derniers jours »
  58. 58. « Villes aux Etats-Unis les 15 derniers jours »
  59. 59. « Zones cultivées aux Etats-Unis » Carte de référence pour comparaison
  60. 60. […] je cherche des images sans nuage de villes côtières situées en Asie
  61. 61. Merci !

×