Administrasjon
av Geodatabasen
(SQL, Oracle og PostgreSQL)

Morten Grimnes og Thor Morten Kopaas
ARCGIS ARKITEKTUREN

Klienter/konsumenter

Web tjenester, GP tjenester
og lagring av data
Vi ser nærmere på databasen
ARCGIS DATABASEN - GEODATABASEN

• Data kan lagres i flere formater, alt fra filer til store
databasesystemer
– Access dat...
BRUKERTYPER I RDBMS

• RDBMS administrator
– Rettigheter til å opprette alle typer objekter innen en RDBMS
installasjon. D...
TILKOBLING TIL GEODATABASEN
Direct Connect – anbefalt og fremtidig tilkoblingsmetode
RDBMS server
ArcSDE
biblioteker

RDBM...
TILKOBLING TIL GEODATABASEN DATABASEKLIENT
•

Må installeres separat. Kan lastes ned fra flere plasser
– Databaseleverandø...
TILKOBLING TIL (GEO)DATABASEN
• Ny tilnærming til kobling mot databaser fra 10.1
– Kan koble til «vanlige» databaser og Ge...
ROMLIGE DATATYPER
• Datatype hvor geometrien er en fysisk del av raden i en tabell
• Kan bare være én kolonne pr. tabell s...
VERSJONERING

Brukere

Enterprise Geodatabase-objekter
GDB
Business-tabeller

Delta-tabeller

Adds (A#)

Vil alltid inneho...
VERSJONERING

• Tre hovedalternativer mulig
• Uversjonert
– Redigering basert på korte transaksjoner (RDBMS transaksjoner)...
REPLIKERING
• En måte å synkronisere innholdet i to eller flere databaser
– Krever full versjoneringsmodell (ikke «move ed...
ARKIVERING
• Metode for å holde oversikt over endringer utført i databasen over
tid
• Tar utgangspunkt i alle endringer so...
EDITOR TRACKING

• Holder styr på hvem som endrer et objekt – en type «autoupdater»
• Ved bruk av fil- og personlige-, sam...
HVA MENER VI MED
GEODATABASEADMINISTRASJON?
• Hvilke oppgaver inngår?
–
–
–
–
–
–

Backup?
Tuning?
Vedlikeholde geodatabas...
NOEN «NOTATER» OM BACKUP

• Trenger ingen spesielle typer backup for en geodatabase
• Standard databaseverktøy fungerer fi...
ytelse og skalerbarhet

Er ytelsesproblemet i databasen?
Clients (Desktop, Browser, Devices)
Web Server
Network

Applicati...
Analyze og rebuild indexes

• Analyze
(Bygger databasestatistikk på tabeller og

indekser slik at RDBMS velger beste
eksek...
compress

• Compress
(«Rydder» opp i deltatabellene til feature/objektklassene.)
arcpy.Compress_management
compress

• Dialogen «Geodatabase

Administration» gir en oversikt
over versjoner i geodatabasen.

• Anbefales at ingen br...
compress

Business-tabeller

Delta-tabeller
Adds (A#)

.
.
.

Deletes (D#)

• Flytter så mange rader som mulig fra delta-t...
Reconcile / post
• Reconcile
(Henter endringer i «foreldre»-versjon
over i «barn»-versjon)

• Post
(Dytter endringer i «ba...
Blokkerende versjoner
• Medfører at vi får en mindre optimal compress av
databasen.
• Versjoner som blokkerer for at en co...
Monitorer system ressurser

• CPU
• Snitt på under 70%
• Disk
• Holdes under 80%
• Memory
• Snitt på under 80%

Tools:
Tas...
ytelse og skalerbarhet (Oppsummering)

1. Samkjør regelmessig

• Arcpy.ReconcileVersions.management
2. Komprimer regelmess...
Feilsøking
• Sdedc_<RDBMS>.log (C:Users<USERNAME>AppDataLocalTemp)
• Direct-connect loggfil
• Nyttig hvis klienten ikke gi...
Testverktøy
System Monitor (http://www.arcgis.com/home/item.html?id=848f48b0f88e4de7a036377197453efe)
• Et gratis verktøy ...
Testverktøy
System Test (http://www.arcgis.com/home/item.html?id=e8bac3559fd64352b799b6adf5721d81)

• Et gratis verktøy fo...
Testverktøy
PerfQA Analyzer (http://blogs.esri.com/esri/supportcenter/2012/04/03/new-arcgis-performance-calibration-tool/)...
Testverktøy
mxdperfstat (http://www.arcgis.com/home/item.html?id=a269d03aa1c840638680e2902dadecac)
• Et kommandolinje-verk...
Takk for oss
Upcoming SlideShare
Loading in …5
×

Administrasjon av Geodatabasen - Esri norsk BK 2014

586 views

Published on

Sesjonen tar for seg ulike tema relatert til administrasjon av en Enterprise geodatabase. Vi vil se på hvordan arkitekturen til en Enterprise geodatabase er bygget opp og hvordan den gir et flerbruker-miljø muligheter for å jobbe uforstyrret mot de samme dataene. Tips om hvilke grep som må tas for å opprettholde ytelse og skalerbarhet i geodatabasen samt noen verktøy som forenkler administrators arbeidsoppgaver vil bli vist.

Sesjonen tar for seg ulike tema som kan være nyttig enten du er ansvarlig for administrasjon, systemansvarlig eller superbruker av en Enterprise geodatabase.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
586
On SlideShare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
13
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Administrasjon av Geodatabasen - Esri norsk BK 2014

  1. 1. Administrasjon av Geodatabasen (SQL, Oracle og PostgreSQL) Morten Grimnes og Thor Morten Kopaas
  2. 2. ARCGIS ARKITEKTUREN Klienter/konsumenter Web tjenester, GP tjenester og lagring av data Vi ser nærmere på databasen
  3. 3. ARCGIS DATABASEN - GEODATABASEN • Data kan lagres i flere formater, alt fra filer til store databasesystemer – Access databaser, personlig geodatabase – Filgeodatabase – RDBMS database (Oracle, SQL Server, PostgreSQL + + ) • Personlig- og filgeodatabase gir alle brukere rett til «alt» • RDBMS database gir muligheter for brukerkontroll
  4. 4. BRUKERTYPER I RDBMS • RDBMS administrator – Rettigheter til å opprette alle typer objekter innen en RDBMS installasjon. Dette er «DBA». • Geodatabase administrator – Rettigheter til å administrere alle metadata og brukerdata som ligger inne i en geodatabase. Normalt bruker SDE. • Geodatabase eier – Rettigheter til å jobbe med skjemaet i geodatabasen, utseendet. – Gi rettigheter til utvalgte data - ikke områder men «typer» av data. • Redigeringsbruker – Rettigheter til å endre innholdet i geodatabasen, men ikke «utseendet» • Innsysnbruker – Rettigheter til å se innholdet i geodatabasen.
  5. 5. TILKOBLING TIL GEODATABASEN Direct Connect – anbefalt og fremtidig tilkoblingsmetode RDBMS server ArcSDE biblioteker RDBMS klient Application Server – tidligere metode. Støtte etter 10.2 faller bort ArcSDE biblioteker giomgr gsrvr RDBMS server
  6. 6. TILKOBLING TIL GEODATABASEN DATABASEKLIENT • Må installeres separat. Kan lastes ned fra flere plasser – Databaseleverandøren (Oracle, Microsoft, PostgreSQL.org) – ESRI, https://customers.esri.com (ikke nødvendigvis «siste» versjon)
  7. 7. TILKOBLING TIL (GEO)DATABASEN • Ny tilnærming til kobling mot databaser fra 10.1 – Kan koble til «vanlige» databaser og Geodatabaser fra samme dialogvindu. – Direct Connect er standard tilkoblingsmetode 10.0 10.1
  8. 8. ROMLIGE DATATYPER • Datatype hvor geometrien er en fysisk del av raden i en tabell • Kan bare være én kolonne pr. tabell som inneholder en romlig datatype (ArcGIS regel, ikke RDBMS) • Oracle: – ST_GEOMETRY (ESRI romlig type) – SDO_GEOMETRY (Oracle Spatial eller Locator) • PostgreSQL: – ST_GEOMETRY (ESRI romlig type) – POSTGIS (frittstående tillegg fra postgis.org) • SQL Server: – GEOMETRY (Geografiske koordinater, har fått Z- og M-verdier fra SQL Server 2012) – GEOGRAPHY (lik ESRI ST_GEOMETRY i Oracle og PostgreSQL)
  9. 9. VERSJONERING Brukere Enterprise Geodatabase-objekter GDB Business-tabeller Delta-tabeller Adds (A#) Vil alltid inneholde minst én versjon: SDE.DEFAULT . . . . . . Deletes (D#) Hver rad i disse tabellene inneholder en state. En state = en endring.
  10. 10. VERSJONERING • Tre hovedalternativer mulig • Uversjonert – Redigering basert på korte transaksjoner (RDBMS transaksjoner) – Vil ikke «skjerme» redigeringer for andre – Eksterne systemer kan se alle data • Versjonert – Redigering basert på lange transaksjoner – Full isolering av redigeringer i egne versjoner – Eksterne systemer har problemer med å se alle data • Noe midt i mellom? Versjonert med «move edits to base» – – – – Redigeringer i egne versjoner basert på lange transaksjoner Redigeringer i SDE.DEFAULT basert på korte transaksjoner Alt knyttet til versjon SDE.DEFAULT liggende i businesstabellen Fungerer bare for enkle geometrier
  11. 11. REPLIKERING • En måte å synkronisere innholdet i to eller flere databaser – Krever full versjoneringsmodell (ikke «move edits to base»)
  12. 12. ARKIVERING • Metode for å holde oversikt over endringer utført i databasen over tid • Tar utgangspunkt i alle endringer som gjøres i versjonen SDE.DEFAULT • Tidspunkt som registreres er tidspunkt endringen skjer i SDE.DEFAULT • Fra 10.1 også mulig å ha på uversjonerte data Versjon: SDE.DEFAULT Arkiv (historikk) 1/1 1/2 1/2 1/3 1/3
  13. 13. EDITOR TRACKING • Holder styr på hvem som endrer et objekt – en type «autoupdater» • Ved bruk av fil- og personlige-, samt ArcSDE geodatabaser hvor innlogging er «OS autentisert» er navn lik OS-brukernavn • Ved bruk av ArcSDE geodatabaser hvor innlogging er et brukernavn i databasen, er navn lik brukernavn i databasen • Endringstidspunkt er tidspunktet endringen skjer i databasen Versjon: Hvilken som helst… Ole 1/1 Jan 1/2 Eva 1/3
  14. 14. HVA MENER VI MED GEODATABASEADMINISTRASJON? • Hvilke oppgaver inngår? – – – – – – Backup? Tuning? Vedlikeholde geodatabaseskjema Brukere? Rettigheter ++ • Hvem er involvert – Bare GDB ansvarlig? DBA’er i tillegg? • Omfang – Kan ikke «bare installere» og så ikke gjøre noe mer. – Gjelder spesielt når det gjøres forvaltning av data i databasen.
  15. 15. NOEN «NOTATER» OM BACKUP • Trenger ingen spesielle typer backup for en geodatabase • Standard databaseverktøy fungerer fint • I tillegg til Geodatabaseeieren, må vi også ha med SDE skjemaet – Kopi av geodatabaseskjemaet er ubrukelig uten SDE skjemaet • SQL Server og PostgreSQL databasebackup tar med «alt» • I Oracle må vi huske på også å ta med SDE skjemaet sammen med geodatabaseskjemaet ved bruk av exp[dp]/imp[dp]
  16. 16. ytelse og skalerbarhet Er ytelsesproblemet i databasen? Clients (Desktop, Browser, Devices) Web Server Network Applications Application Server(s) (ArcGIS) Network Network Devices Hardware Disk I/O Geodatabase Database
  17. 17. Analyze og rebuild indexes • Analyze (Bygger databasestatistikk på tabeller og indekser slik at RDBMS velger beste eksekveringsplan) arcpy.AnalyzeDatasets_management • Rebuild indexes («Utdaterte» indekser kan føre til dårligere ytelse) arcpy.RebuildIndexes_management
  18. 18. compress • Compress («Rydder» opp i deltatabellene til feature/objektklassene.) arcpy.Compress_management
  19. 19. compress • Dialogen «Geodatabase Administration» gir en oversikt over versjoner i geodatabasen. • Anbefales at ingen brukere er pålogget under kjøring av compress -> kast ut brukere
  20. 20. compress Business-tabeller Delta-tabeller Adds (A#) . . . Deletes (D#) • Flytter så mange rader som mulig fra delta-tabellene tilbake til business-tabellene. • Mange rader i delta-tabellene påvirker ytelsen negativt. • Kan bare flytte rader med stater som er felles for alle versjoner.
  21. 21. Reconcile / post • Reconcile (Henter endringer i «foreldre»-versjon over i «barn»-versjon) • Post (Dytter endringer i «barn»-versjon over i «foreldre»-versjonen) arcpy.ReconcileVersions_management
  22. 22. Blokkerende versjoner • Medfører at vi får en mindre optimal compress av databasen. • Versjoner som blokkerer for at en compress kan flytte alle rader i delta-tabellene for SDE.DEFAULT til business-tabellene • Slike versjoner må spores opp og enten • Samkjøres • Slettes
  23. 23. Monitorer system ressurser • CPU • Snitt på under 70% • Disk • Holdes under 80% • Memory • Snitt på under 80% Tools: Task Manager, resource monitor, perfmon, osv (windows) top, glance, iostat, osv (unix/linux)
  24. 24. ytelse og skalerbarhet (Oppsummering) 1. Samkjør regelmessig • Arcpy.ReconcileVersions.management 2. Komprimer regelmessig • Arcpy.compress_management 3. Rebuild indekser regelmessig • arcpy.RebuildIndexes_management 4. Oppdater statistikk regelmessig • Arcpy.AnalyzeDataset_management • Monitorer system ressurser regelmessig
  25. 25. Feilsøking • Sdedc_<RDBMS>.log (C:Users<USERNAME>AppDataLocalTemp) • Direct-connect loggfil • Nyttig hvis klienten ikke gir en “fornuftig” feilmelding • SDEVERBOSE • SQL-trace • Veldig nyttig hvis ArcGIS-logger ikke er nok • Vi kunne se alle SQL’er som er generert av ArcGIS og eventuelle feilmeldinger • sde_setup.log (C:Users<USERNAME>AppDataLocalTemp) • Logger ved kjøring av “Create Enterprise Geodatabase” • GDBUpgrade.log (C:Users<USERNAME>AppDataLocalEsriDesktop10.2) • Logger ved oppgradering av en geodatabase.
  26. 26. Testverktøy System Monitor (http://www.arcgis.com/home/item.html?id=848f48b0f88e4de7a036377197453efe) • Et gratis verktøy for å monitorere og analysere et enterprise GIS system (Windows, linux, ArcGIS for server, http, database) • Ytelse • Last • Hardware • Hvor er flaskehalsen • Oppetid • +++
  27. 27. Testverktøy System Test (http://www.arcgis.com/home/item.html?id=e8bac3559fd64352b799b6adf5721d81) • Et gratis verktøy for å gjennomføre funksjonalitet- og lasttester i et enterprise GIS system (Gis Services) • Automatisk generert test • Spill av sesjon med Fiddler2/Firebug • Simuler x-antall brukere • Resultat fra test er en veldig nyttig rapport
  28. 28. Testverktøy PerfQA Analyzer (http://blogs.esri.com/esri/supportcenter/2012/04/03/new-arcgis-performance-calibration-tool/) • Et gratis verktøy for å tune mxd-dokumenter og database • Opptegning • Simuler redigeringsesjoner • Fetch Data times • Start/stop SQL-trace
  29. 29. Testverktøy mxdperfstat (http://www.arcgis.com/home/item.html?id=a269d03aa1c840638680e2902dadecac) • Et kommandolinje-verktøy for å analysere ytelse på mxd-dokumenter mxdperfstat -mxd <DocumentName.mxd> [-scale scale1;scale2;...] [-xy <x;y>] [-width <screen width> -height <screen height>] [-dbms -host -instance -database -service -port -user -password]
  30. 30. Takk for oss

×