ArcGIS og FME - en uslåelig kombinasjon
Anders Hveem Malum
Senior GIS-Konsulent – Geodata AS
• Kort om nyheter i FME 2016
• NB: FME 2016.0.1 tilgjengelig denne uken
• Hotfix for listehåndtering
• Bruke FME mot ArcGIS Server REST-API
• Gjennomgang av essensielle transformere
• HTTPCaller
• FeatureReader
• Linkede custom transformere
• Loop i FME
• Praktisk eksempel – Kulturminner fra Riksantikvaren
• FME og andre REST-API – eksempel fra NVDB
Agenda
FME 2016
Noen høydepunkter
Utvidet formatstøtte
• Støtter en rekke nye format:
• Autodesk ReCap
• General Transit Format Specification (GTFS)
• AWS Aurora
• Portal for ArcGIS
• SAP HANA (non-spatial)
• SAP ASE
• Denodo
• IndoorGML
• Adobe PRC
• Japanese National Land Numerical Information
Nytt i FME 2016
• 13 nye transformere i Desktop
• 30 nye transformere i FME Store siden forrige release.
• Mange oppdateringer og ny funksjonalitet
Nytt i FME 2016
• FeatureWriter:
• Ny transformer – skriv data underveis i arbeidsflyten!
Nytt i FME 2016
• Nye protokoller (FME Server):
• SFTP – send data til SFTP-siter.
• FTPWatch – overvåk endringer på FTP sites.
• Oppgrader transformere i eksisterende workspace
til nye versjoner!
Oppgrader transformere
Trevisning av XML og databasestruktur
• Nå med automatisert hjelp til å konstruere spørringer,
hjelpevisning av datainnhold og mye mer.
Forbedret SQL-editor
• Regexp-editor med visualisering:
Innebygget Regexp-editor
FME og ArcGIS Server
- en perfekt match?
• Har du tilgang til FME og internett? Da har du alt som skal til for å
hente ned data som ligger tilgjengelige gjennom ArcGIS Server
REST-API.
• Utfordringer du kanskje støter på:
• Finne den riktige spørringen å gjøre for å få de dataene du er
interessert i.
• Ofte returneres maksimum 1000 objekter i ett kall.
• Dette er default innstilling i ArcGIS Server, kan endres.
FME og AGS REST
• HTTPCaller lar deg aksessere
URLer over HTTP eller HTTPS.
• Støtter GET, PUT, POST,
DELETE, HEAD, PATCH og
OPTIONS.
• Responsen kan lagres til
attributt eller fil, og brukes
videre i FME.
• Ekstremt fleksibel, kan for
eksempel brukes til å samle
inn/generere datasett fra
innhold på vanlige websider.
HTTPCaller
• Les inn data fra alle mulige kilder underveis i
arbeidsflyten.
• Støtter lesing for avgrenset område.
• Støtter where – spørring
• Støtter begrensning i antall objekt som leses.
FeatureReader
• Mange har kanskje laget custom transfomere?
• En spesiell kombinasjon med transformere som kan
gjenbrukes i et workspace.
• Men hva er linkede custom transformere?
• En «modul»
• Kan deles med andre
• Hindre at noen gjør endringer (passordbeskyttelse)
• Versjonering, også mellom ulike FME-versjoner
• Ett sted å fikse feil
• Lagres i en egen fmx-fil, ikke i selve workspacet.
Linkede custom transformere 1
• Hvordan gjøre om en custom transformer til en linket custom
transformer?
• 1. Lag en vanlig custom transformer ved å merke aktuelle
transformere, høyreklikk og velg create custom transformer:
• 2. Fyll inn navn og beskrivelse.
Linkede custom transformere 2
• Hvordan gjøre om en custom transformer til en linket custom
transformer?
• 3. Fra fil-menyen, velg «Export As Custom Transformer».
Linkede custom transformere 3
• Hvordan gjøre om en custom transformer til en linket custom
transformer?
• 4. Gi transformeren et navn (og eventuelt passord), og husk å
velge insert mode. Velg enten linked by default eller linked
always.
Linkede custom transformere 4
• En FME-jobb er som hovedregel sekvensiell, men av og til er det behov for
å iterere en prosess.
• Løsningen finnes i custom transformers:
• Høyreklikk, add loop, velg hvor det skal loopes til.
Loop i en custom transformer
• (Nesten) alt er selvfølgelig mulig med FME.
• HTTP-caller er nøkkelen, eventuelt sammen med FeatureReader
• Eksempel: NVDB – API.
Hva med andre typer API?
Tid for demo!
• Vi har sett på noen spennende nyheter i FME 2016.
• Vi har sett på hvordan FME kan brukes til å hente data fra ArcGIS
Server REST-endepunkt
• Linkede custom transformere
• Tiling med loop i custom transfomer
• Vi har sett hvordan FME kan brukes til å jobbe mot andre APIer
• HTTPCaller
Oppsummering
Takk for meg!
Anders.Hveemmalum@geodata.no
97 50 52 53

ArcGIS og FME - BK 2016

  • 1.
    ArcGIS og FME- en uslåelig kombinasjon Anders Hveem Malum Senior GIS-Konsulent – Geodata AS
  • 2.
    • Kort omnyheter i FME 2016 • NB: FME 2016.0.1 tilgjengelig denne uken • Hotfix for listehåndtering • Bruke FME mot ArcGIS Server REST-API • Gjennomgang av essensielle transformere • HTTPCaller • FeatureReader • Linkede custom transformere • Loop i FME • Praktisk eksempel – Kulturminner fra Riksantikvaren • FME og andre REST-API – eksempel fra NVDB Agenda
  • 3.
  • 4.
    Utvidet formatstøtte • Støtteren rekke nye format: • Autodesk ReCap • General Transit Format Specification (GTFS) • AWS Aurora • Portal for ArcGIS • SAP HANA (non-spatial) • SAP ASE • Denodo • IndoorGML • Adobe PRC • Japanese National Land Numerical Information
  • 5.
    Nytt i FME2016 • 13 nye transformere i Desktop • 30 nye transformere i FME Store siden forrige release. • Mange oppdateringer og ny funksjonalitet
  • 6.
    Nytt i FME2016 • FeatureWriter: • Ny transformer – skriv data underveis i arbeidsflyten!
  • 7.
    Nytt i FME2016 • Nye protokoller (FME Server): • SFTP – send data til SFTP-siter. • FTPWatch – overvåk endringer på FTP sites.
  • 8.
    • Oppgrader transformerei eksisterende workspace til nye versjoner! Oppgrader transformere
  • 9.
    Trevisning av XMLog databasestruktur
  • 10.
    • Nå medautomatisert hjelp til å konstruere spørringer, hjelpevisning av datainnhold og mye mer. Forbedret SQL-editor
  • 11.
    • Regexp-editor medvisualisering: Innebygget Regexp-editor
  • 12.
    FME og ArcGISServer - en perfekt match?
  • 13.
    • Har dutilgang til FME og internett? Da har du alt som skal til for å hente ned data som ligger tilgjengelige gjennom ArcGIS Server REST-API. • Utfordringer du kanskje støter på: • Finne den riktige spørringen å gjøre for å få de dataene du er interessert i. • Ofte returneres maksimum 1000 objekter i ett kall. • Dette er default innstilling i ArcGIS Server, kan endres. FME og AGS REST
  • 14.
    • HTTPCaller lardeg aksessere URLer over HTTP eller HTTPS. • Støtter GET, PUT, POST, DELETE, HEAD, PATCH og OPTIONS. • Responsen kan lagres til attributt eller fil, og brukes videre i FME. • Ekstremt fleksibel, kan for eksempel brukes til å samle inn/generere datasett fra innhold på vanlige websider. HTTPCaller
  • 15.
    • Les inndata fra alle mulige kilder underveis i arbeidsflyten. • Støtter lesing for avgrenset område. • Støtter where – spørring • Støtter begrensning i antall objekt som leses. FeatureReader
  • 16.
    • Mange harkanskje laget custom transfomere? • En spesiell kombinasjon med transformere som kan gjenbrukes i et workspace. • Men hva er linkede custom transformere? • En «modul» • Kan deles med andre • Hindre at noen gjør endringer (passordbeskyttelse) • Versjonering, også mellom ulike FME-versjoner • Ett sted å fikse feil • Lagres i en egen fmx-fil, ikke i selve workspacet. Linkede custom transformere 1
  • 17.
    • Hvordan gjøreom en custom transformer til en linket custom transformer? • 1. Lag en vanlig custom transformer ved å merke aktuelle transformere, høyreklikk og velg create custom transformer: • 2. Fyll inn navn og beskrivelse. Linkede custom transformere 2
  • 18.
    • Hvordan gjøreom en custom transformer til en linket custom transformer? • 3. Fra fil-menyen, velg «Export As Custom Transformer». Linkede custom transformere 3
  • 19.
    • Hvordan gjøreom en custom transformer til en linket custom transformer? • 4. Gi transformeren et navn (og eventuelt passord), og husk å velge insert mode. Velg enten linked by default eller linked always. Linkede custom transformere 4
  • 20.
    • En FME-jobber som hovedregel sekvensiell, men av og til er det behov for å iterere en prosess. • Løsningen finnes i custom transformers: • Høyreklikk, add loop, velg hvor det skal loopes til. Loop i en custom transformer
  • 21.
    • (Nesten) alter selvfølgelig mulig med FME. • HTTP-caller er nøkkelen, eventuelt sammen med FeatureReader • Eksempel: NVDB – API. Hva med andre typer API?
  • 22.
  • 23.
    • Vi harsett på noen spennende nyheter i FME 2016. • Vi har sett på hvordan FME kan brukes til å hente data fra ArcGIS Server REST-endepunkt • Linkede custom transformere • Tiling med loop i custom transfomer • Vi har sett hvordan FME kan brukes til å jobbe mot andre APIer • HTTPCaller Oppsummering
  • 24.