• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
[MAP-MEEDM] Présentation Spatial Data Integrator
 

[MAP-MEEDM] Présentation Spatial Data Integrator

on

  • 3,560 views

 

Statistics

Views

Total Views
3,560
Views on SlideShare
2,672
Embed Views
888

Actions

Likes
0
Downloads
57
Comments
0

21 Embeds 888

http://datagistips.blogspot.fr 403
http://datagistips.blogspot.com 395
http://blog.bluecham.dev 22
http://www.datagistips.com 20
http://www.slideshare.net 14
http://datagistips.blogspot.com.au 7
http://datagistips.blogspot.ca 4
http://feeds.feedburner.com 3
http://datagistips.blogspot.ch 3
http://datagistips.blogspot.it 2
http://datagistips.blogspot.nl 2
http://datagistips.blogspot.co.uk 2
http://datagistips.blogspot.ro 2
http://datagistips.blogspot.com.es 2
http://209.85.129.132 1
http://translate.googleusercontent.com 1
http://datagistips.blogspot.be 1
http://datagistips.blogspot.mx 1
http://datagistips.blogspot.in 1
http://datagistips.blogspot.com.br 1
http://datagistips.blogspot.de 1
More...

Accessibility

Categories

Upload Details

Uploaded via as OpenOffice

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    [MAP-MEEDM] Présentation Spatial Data Integrator [MAP-MEEDM] Présentation Spatial Data Integrator Presentation Transcript

    • Spatial Data Integrator présentation de l'outil et cas d'utilisation Journées Nationales du Réseau Géomatique - 02/10/09 mathieu.rajerison Chargé de mission SIG
    • Sommaire
      • Présentation de l'outil
        • Présentation générale
        • Place au sein d'une infrastructure de données
        • Les composantes de l'outil
      • Démonstration : jointure et gestion des rejets
        • Paramétrage des accès et création des schémas
        • Mise en place des composants dans l'espace de travail graphique
        • Paramétrage du composant de jointure tMap
        • Exécution du job
      • Cas d'utilisation
        • Agrégation de données en tâche planifiée
        • Fusion de couches
        • Automatisation de la vérification de la qualité de données géographiques
        • Migration de données vers PostgreSQL/PostGIS
        • Autres applications
      • Conclusion
        • Quelques autres fonctionnalités
        • Liens
    • 1- Présentation de l'outil
    • Présentation générale
      • Outil ETL (Extract, Transform and Load)
      • Solution libre créée par CampToCamp
      • Basée sur l'outil Talend Open Studio
      • Une couche spatiale avec des composants d'accès, de traitement de données spatialisées
      • Basé sur Java: environnement Eclipse, éléments de UDig, librairies SIG Java GeoTools, Java Topology Suite, sextante
    • Place au sein d'une infrastructure de données
    • Les composantes de l'outil la fenêtre carto Cette fenêtre permet de visualiser des données géographiques. Elle a son utilité lorsqu'il s'agit de contrôler les résultats de traitements. Elle est issue du logiciel Udig.
    • Les composantes de l'outil Le business modeler Cet espace permet de modéliser les processus métiers en cours au sein de vos jobs. Il permet à des acteurs fonctionnels, de prendre part à la conception des flux de données et de suivre de près l'avancement des développements, et ce, quel que soit leur profil. La modélisation au sein de cette fenêtre n'a aucune liaison avec l'exécution de vos jobs.
    • Les composantes de l'outil L'onglet metada de repository Le repository contient, entre autres, la partie metadata. La partie metadata du repository est un lieu de stockage de l'accès aux sources de données. On peut d'ailleurs y voir les différents types de sources de données disponibles. A noter que le paramétrage de l'accès aux données géographiques ne se fait pas via la partie metadata (cf démonstration).
    • Les composantes de l'outil L'espace de travail graphique La fenêtre principale est l'espace de conception de vos jobs. On y dépose et lie les différents composants. Il existe plusieurs types de relations entre composants
    • Les composantes de l'outil La palette de composants C'est dans la palette que l'on pioche les composants qui nous intéressent. Spatial Data integrator y ajoute la partie geo La palette est extensible grâce aux contributions des développeurs de Talend. Il est même possible de développer ses composants.
    • Les composantes de l'outil l'onglet de configuration La fenêtre du bas permet de configurer le comportement de chaque composant. Elle permet également de paramétrer l'exécution du job.
    • 2- Démonstration gestion des rejets lors d'une jointure
    • Paramétrage des accès et création des schémas La première étape consiste à paramétrer l'accès aux sources de données.
    • La création des relations On dispose et connecte les composants au sein de l'espace de travail graphique
    • Mise en place des composants dans l'espace de travail graphique On paramètre la jointure sur le nom de la commune. Deux flux de sortie sont générés: un relatif aux résultats de la jointure (inner join) et un relatif aux rejets (outer join)
    • L'exécution du job Le job peut maintenant être exécuté. Il peut l'être selon deux modes. -le mode statististics permettant d'afficher les statistiques concernant le nombre d'enregistrements de chaque flux -le mode traces qui affiche le contenu des enregistrements Chacun de ces modes est exécuté en mode streaming, en continu
    • Aller plus loin: utilisation des ressemblances entre deux flux Ici, nous utilisons un composant de logique floue appelé tFuzzyMatch qui permet d'établir des correspondances entre les entrées de deux flux en fonction de leur ressemblance.
    • 3- Cas d'utilisation
    • L'agrégation de données en tâche planifiée Un portail web géographique de base communale demande de joindre automatiquement et périodiquement les données d'une base de données locale Access alimentée par des utilisateurs et les données géographiques de la BDCARTO Base Access SHP BDCARTO Base Sybase XML ... Serveur carto WMS Partie cliente SCP SHP
    • L'agrégation de données en tâche planifiée
      • Planificateur de tâches intégré à SDI
      • Crontab
      • Tâches planifiées windows
    • Fusion de couches Des données géographiques sont disséminées en autant de fichiers qu'il y a de communes. L'objectif est de fusionner l'ensemble de ces fichiers en une table unique. SHP5 SHP4 SHP3 SHP2 SHP1 SHP
    • Fusion de couches
    • L'automatisation de la vérification de la qualité de données géograhiques Un bureau d'études envoie des documents d'urbanisme numérisés. La validation des données se fait après une série de vérifications liées aux objets géographiques ainsi qu'aux attributs. Cette tâche est répétitive et chronophage. Vérification de la structure des tables Vérification du contenu des tables Vérification de la qualité des objets géographiques Comparaison aux référentiels géogaphiques
    • L'automatisation de la vérification de la qualité de données géograhiques Par un clic, nous souhaitons effectuer cette série de vérifications. Des rapports listent d'éventuelles erreurs: objets, valeurs d'attribut non conformes Vérification de la structure des tables Vérification du contenu des tables Vérification de la qualité des objets géographiques Comparaison aux référentiels géogaphiques
    • L'automatisation de la vérification de la qualité de données géograhiques
    • L'automatisation de la vérification de la qualité de données géograhiques Job de comparaison de la couche des PLU avec le référentiel de la BD Parcellaire
    • L'automatisation de la vérification de la qualité de données géograhiques Composant de jointure tMap Fonction utilisée type row4.the_geom. symDifference (row2.the_geom) géométrique GeometryOperation.GETAREA (row4.the_geom.difference(row2.the_geom)) flottant
    • La migration de données vers PostgreSQL/PostGIS Dans un cadre régional, la mutualisation de données nécessite l'intégration de certaines couches au sein d'un SGBDR postgre/postGIS centralisé Arborescence de fichiers plats SGBDR
    • La migration de données vers PostgreSQL/PostGIS
    • Autres applications
      • Manipulations géométriques en bloc d'objets géographiques: exemple du découpage [assiette-générateur de servitude]
      • Copier des dalles par commune par intersection de la BDCarto et du tableau d'assemblage et copie des fichiers.
      • Conversion d'ensembles de fichiers dans d'autres formats: utilisation connexe avec exe GDAL-OGR
      • Reprojections en masse
      • Possibilité d'intégrer des bibliothèques auxiliaires java
    • Conclusion
      • Raccourcir de manière considérable le délai entre la collecte de données et leur valorisation.
      • Migrer , consolider des infrastructures de données géographiques
      • Simplifier l'exécution de tâches habituellement chronophages
      • Éviter les erreurs dûes à la redondance d'opérations manuelles
      • Une communauté très active
      • De nouveaux composants en perspective
    • Quelques autres fonctionnalités
      • Lecture de formats de données multiples dont le GPX, le WFS, ainsi que des formats de données « contemporains »: Open Street Map, GeoRSS.
      • Accès aux données par voies multiples : SCP, FTP, WebServices, POP
      • Création automatique de méta-données : MEF, fiches XML vers GeoNetwork
      • Opérations sur rasters via sextante
    • Liens
      • Apprendre à utiliser Talend:
        • Une documentation générale, une documentation relative aux composants couvrant de multiples scénarii (francophone)
      • Apprendre à utiliser Spatial Data Integrator
        • Un wiki (anglophone)
      • S'entraider
        • Le forum spatial data integrator (anglophone) :
        • Le forum de developpez.com consacré à Talend (francophone )