1. Store volumer rasterdata –
utfordringer og problemer med
Mosaic Dataset
Odd A. Steinlein, Statoil
Kjetil Trengereid, Geodata
1

2. Who we are
• Energy company present in 34 countries with 20,000 employees
• Produced 1.96 million barrels of oil equivalent (boe) per day in 2009 (equity
production)
• About 22 billion boe in proven resources (5.4 billion as booked reserves)
• One of the world’s largest net sellers of crude oil
• The world's largest operator in waters deeper than 100 metres
• World leader in carbon storage
• The second largest exporter of gas to Europe
2

3. Our business environment
• Demand for energy will continue to accelerate as the population and economies in the
developing world expands, with fossil fuels playing key role
• Competition for access to oil and gas resources is sharpening, economically and
technologically
• Costs of adapting to climate change is set to rise
3

4. ArcGIS brukere i Statoil
N o r w ay
S w e d en
D u b lin M o s co w
C alg ar y
D en m a rk
London
B ak u B e ijin g
L ib ya
H o u s to n C a iro
D u b ai
A lg e ria
C a ra cas
L ag o s
J ak art a
Lua nda
R io d e Ja n eiro
P er th
S o u th A fr ic a
Over 1200 registrerte desktop brukere
4

5. SEABED SURVEY
5

6. Multibeam Echosunder System (MBES)
• Multibeam Echosounders, også kjent som Swathe eller
Swath Echosounders, brukes for å kartlegge store
områder på sjøbunnen
• MBES systemer måler mange dyp langs et sveip som brer
seg ut fra sender-arrayet. Sveipebredden varierer fra noen
meter til flere hundre meter
• Systemer på markedet i dag kan måle opp til 1024 dyp i
ett sveip og opp til 50 sveip kan samles inn pr. sekund
• Typisk mer en 73 mill. dybdemålinger pr. time (XYZ) blir
lagret
• MBES data prosesseres til et regulært grid format (Digital
Terrain Model, DTM)
6

7. Datavolumer
• Statoil samler årlig inn relativt MBE sveip
store mengder - ca 70 km2
detaljerte, batymetriske data
− Inspeksjon av
rørledninger og Kartlagt område
plattformer, planlegging
av nye brønner osv
• MBES data lages med >= 10
cm oppløsning
7

8. Datalagring
• Surveydata kommer inn fra kontraktører som ASCII XYZ-filer
• Konverteres fra ASCII til raster
− geoTIFF eller .img
• Lagres i Oracle SDE-database i rasterkataloger
− Terrengmodell
− Terrengskygge
− P.t. rundt 40.000 terrengmodeller lastet (av totalt 60.000 tidligere innsamlet)
8

9. Soundings data
9

10. Soundings data og 10 cm grid
10

11. Griddede data – 10 cm noder
11

12. Griddede data (10cm) – fargekodete dyp
12

13. Griddede data (10cm) - terrengskygge
13

14. Griddede data - fargekodet dyp + terrengskygge
14

15. Mange “små” rasterdatasett
• Hvert raster tilsvarer 15 minutter opptak
• Lengde 50 – 100 m
• Rundt 1100x1100 pixels à 32 bit
• 4-5 MB ukomprimert
15

16. Raster catalog data
16

17. Mosaic Dataset
• Ny geodatabasemodell i ArcGIS 10 for å administrere og distribuere raster data
• En “oppgradert” raster catalog med mosaikkvisning og “on-the-fly” prosesserings-
funksjonalitet
− for eksempel ”Hillshade”, ”Shaded Relief” og ”Stretch”
• Kan håndtere data fra flere ulike kilder som for eksempel rasterfiler i mapper,
geodatabaser, WCS Service etc.
− Dataene blir ikke lastet til mosaikk datasettet, de er kun referert
• Består av 3 lag: Boundary, Footprints og Image
• Håndterer data med ulike oppløsning. Ingen resampling.
• Vises som ett sammenhengende rasterdatasett
• Kan distribueres som en ”image service”
17

18. Fordeler med Mosaic Dataset
• Forbedringer i forhold til Raster Catalog:
− Kan peke (”Identify”) i kartet og få ut
pixel-verdier
− Kan brukes i geoprosesserings-
verktøy
− Dynamisk mosaikkering:
• Closest to center
• By Date
• By Attribute (for eksempel
oppløsning)
• etc.
18

19. Overlappende data
• Flere metoder for å
håndtere overlappende
rastere
− First
− Last
− Min
− Max
− Mean
− Blend
19

20. Prosessering ved visning
• Kan legge til og kombinere funksjoner for
”on-the-fly” prosessering
− Hillshade, Shaded Relief, Clip, Mask
etc.
• Funksjoner kan gjelde hele mosaikk
datasettet eller individuelle rastere.
20

21. Hvordan lage et mosaikk datasett
• Nytt toolset i ArcGIS10 for Mosaic Dataset med 16 verktøy
• Create Mosaic Dataset
• Add rasters To Mosaic Dataset
− Dersom kildedataene er i en raster katalog, så må
”Raster Type” settes til ”Table” om man vil ha hvert
enkelt raster inn som en egen rad i mosaikk
datasettet.
• Dersom man ønsker mer detaljerte footprints, kan man
bruke ”Build Footprints” og øke antall ”Approximate number
of vertices”. 25 er default.
• Både Boundary og Footprint feature klassene kan editeres
manuelt
• Boundary brukes for å avgrense gyldig område for
mosaikken. Raster data som ligger utenfor Boundary vil ikke
vises
21

22. Overviews
• Bygger rastere med lavere
oppløsning for å
− Øke opptegnings-
hastighet
− Redusere CPU bruk
− Betyr at færre rastere må
undersøkes for å vise det • Kan distribueres ut som en Image Service
mosaikkerte bildet ved hjelp av ArcGIS Server Image
Extension.
• Referenced Mosaic Datasets kan brukes for
å lage ulike visninger av en mosaikk
− for eksempel utvalg av data basert på
dato, Slope, Shaded Relief etc.
22

23. Overviews
• Ved bygging av overviews hvor en ønsker å endre noen av standard-
innstillingene, kan ”Define Overviews” brukes:
• Kan endre innstillinger for
− Hvor overview’ene skal lagres
− Antall nivåer
− Sampling faktor pr. nivå
− Kompresjonsmetode etc.
• Etter at innstillinger er satt, bruker en ”Build Overviews” for å bygge overview’ene
23

24. Visning
• Footprint feature-klassen
inneholder to attributter
som styrer når ulike
rastere skal vises
− ”MINPS” og
”MAXPS”
− Faktor i forhold til • Scale = (CellSize_in_units x Meters_per_unit) x
skala Dots_per_inch/Meters_per_inch
− Kan kalkuleres • Skala = cellestørrelse(m) x 96/0.0254
manuelt
• I tabellen over tilsvarer MAXPS = 0.001667
− 185 m -> 1 : 700000
− Opp til skala 1:700000 vises originaldata m/pyramider
− Over denne skala trår overviews til
24

25. Eksempel: ASTER terrengmodell
• Dekker hele verden
• ~30 m oppløsning
• 22600 tiles
• Signed 16 bit pixels
• 25mb pr tile * 22600 = 565 gigabyte ukomprimert
• ASTER mosaikk testdatasettet består av 400 tiles i
Nord-Afrika
25

26. 26

27. Kombinert terrengmodell og -skygge
Referenced mosaic
Referenced mosaic
27

28. Relieff-
kart
Referenced mosaic
Referenced mosaic
28

29. Helning
29

30. Terrengmodell og helning
30

31. BathyDTM mosaikk datasett
• Basert på en raster catalog med ca. 5000 rasterdatasett.
− Rastere i ED50, UTM Zone 31N og 32N
− Raster kolonne uten koordinatsystem
• har ingen betydning for resultat under
− Shape kolonne (footprints) i WGS84
• Problemer:
− Ikke samsvar mellom footprints og data
• Dette gjelder både i mosaikk og i rasterkatalog
− Bygging av Overviews stopper opp når alle data tas med
31

32. Sammen med originaldata fra raster katalog
• Orginaldata (blå) samsvarer med footprint’ene til mosaikk datasettet
Mosaikk
Original
Mosaic WGS84 Mosaic ED50
Mosaikk skiftet til venstre Mosaikk riktig i forhold til
originaldata
Footprints riktig i forhold Footprints er skiftet til
til originaldata høyre
32

33. BathyDTM Raster catalog
• Shape kolonne endret
til ED50
33

34. Mosaikk – automatisk genererte footprints
• Korrekte footprints
• Statistikk blir ikke bygget
automatisk før overviews er
laget
• Gjelder også referenced
− Må genereres manuelt
34

35. Regenerere footprints
• Pass på data med negativ verdi
• Irregulære data
− Øke antall vertices (> 25)
− Maintain sheet edges
• Definere og bygge overviews etter
at nye footprints er laget
35

36. 36

37. 37

38. Anbefalinger/konklusjon
• ”Rett fram” å lage mosaikk datasett med regulære data
• Rastere og geometri-kolonne (footprints) må være i samme datum i raster catalog når
denne er input til mosaikk
• Må ikke bygge overviews – kan bruke data med grovere oppløsning som overview
− Raskere
• Bygg mosaic dataset på logisk ”samhørende” data; dvs:
− Utvalgt oppløsning
− Utvalg på egenskap (f.eks. satellitt sensor)
• Publisér ulike visninger med referanse-mosaikker (referenced mosaic)
− Bruker ”definition query” + ”on-the-fly” funksjoner
• Terrengskygge
• Terreng
• Helning
• Bygge overviews er tidkrevende for irregulære omriss!!
38

39. Thank you
Presentation title
Presenters name
Presenters title
E-mail address, tel: +00 00 00 00
www.statoil.com
39