Store volumer rasterdata –    utfordringer og problemer med    Mosaic Dataset    Odd A. Steinlein, Statoil    Kjetil Treng...
Who we are    • Energy company present in 34 countries with 20,000 employees    • Produced 1.96 million barrels of oil equ...
Our business environment    • Demand for energy will continue to accelerate as the population and economies in the      de...
ArcGIS brukere i Statoil                                                                 N o r w ay                       ...
SEABED SURVEY5
Multibeam Echosunder System (MBES)    • Multibeam Echosounders, også kjent som Swathe eller      Swath Echosounders, bruke...
Datavolumer    • Statoil samler årlig inn relativt        MBE sveip      store mengder - ca 70 km2      detaljerte, batyme...
Datalagring    • Surveydata kommer inn fra kontraktører som ASCII XYZ-filer    • Konverteres fra ASCII til raster        −...
Soundings data9
Soundings data og 10 cm grid10
Griddede data – 10 cm noder11
Griddede data (10cm) – fargekodete dyp12
Griddede data (10cm) - terrengskygge13
Griddede data - fargekodet dyp + terrengskygge14
Mange “små” rasterdatasett            • Hvert raster tilsvarer 15 minutter opptak            • Lengde 50 – 100 m          ...
Raster catalog data16
Mosaic Dataset     • Ny geodatabasemodell i ArcGIS 10 for å administrere og distribuere raster data     • En “oppgradert” ...
Fordeler med Mosaic Dataset     • Forbedringer i forhold til Raster Catalog:         − Kan peke (”Identify”) i kartet og f...
Overlappende data     • Flere metoder for å       håndtere overlappende       rastere         − First         − Last      ...
Prosessering ved visning     • Kan legge til og kombinere funksjoner for       ”on-the-fly” prosessering         − Hillsha...
Hvordan lage et mosaikk datasett     • Nytt toolset i ArcGIS10 for Mosaic Dataset med 16 verktøy     • Create Mosaic Datas...
Overviews     • Bygger rastere med lavere       oppløsning for å         − Øke opptegnings-           hastighet         − ...
Overviews     • Ved bygging av overviews hvor en ønsker å endre noen av standard-       innstillingene, kan ”Define Overvi...
Visning     • Footprint feature-klassen       inneholder to attributter       som styrer når ulike       rastere skal vise...
Eksempel: ASTER terrengmodell     • Dekker hele verden     • ~30 m oppløsning     • 22600 tiles     • Signed 16 bit pixels...
26
Kombinert terrengmodell og -skygge     Referenced mosaic     Referenced mosaic27
Relieff-     kart            Referenced mosaic            Referenced mosaic28
Helning29
Terrengmodell og helning30
BathyDTM mosaikk datasett     • Basert på en raster catalog med ca. 5000 rasterdatasett.         − Rastere i ED50, UTM Zon...
Sammen med originaldata fra raster katalog     • Orginaldata (blå) samsvarer med footprint’ene til mosaikk datasettet     ...
BathyDTM Raster catalog     • Shape kolonne endret       til ED5033
Mosaikk – automatisk genererte footprints     • Korrekte footprints     • Statistikk blir ikke bygget       automatisk før...
Regenerere footprints     • Pass på data med negativ verdi     • Irregulære data         − Øke antall vertices (> 25)     ...
36
37
Anbefalinger/konklusjon     • ”Rett fram” å lage mosaikk datasett med regulære data     • Rastere og geometri-kolonne (foo...
Thank you     Presentation title     Presenters name     Presenters title     E-mail address, tel: +00 00 00 00     www.st...
Upcoming SlideShare
Loading in …5
×

BK2011 Statoil - Store volumer av rasterdata

831 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
831
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
19
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

BK2011 Statoil - Store volumer av rasterdata

  1. 1. Store volumer rasterdata – utfordringer og problemer med Mosaic Dataset Odd A. Steinlein, Statoil Kjetil Trengereid, Geodata1
  2. 2. Who we are • Energy company present in 34 countries with 20,000 employees • Produced 1.96 million barrels of oil equivalent (boe) per day in 2009 (equity production) • About 22 billion boe in proven resources (5.4 billion as booked reserves) • One of the world’s largest net sellers of crude oil • The worlds largest operator in waters deeper than 100 metres • World leader in carbon storage • The second largest exporter of gas to Europe2
  3. 3. Our business environment • Demand for energy will continue to accelerate as the population and economies in the developing world expands, with fossil fuels playing key role • Competition for access to oil and gas resources is sharpening, economically and technologically • Costs of adapting to climate change is set to rise3
  4. 4. ArcGIS brukere i Statoil N o r w ay S w e d en D u b lin M o s co w C alg ar y D en m a rk London B ak u B e ijin g L ib ya H o u s to n C a iro D u b ai A lg e ria C a ra cas L ag o s J ak art a Lua nda R io d e Ja n eiro P er th S o u th A fr ic a Over 1200 registrerte desktop brukere4
  5. 5. SEABED SURVEY5
  6. 6. Multibeam Echosunder System (MBES) • Multibeam Echosounders, også kjent som Swathe eller Swath Echosounders, brukes for å kartlegge store områder på sjøbunnen • MBES systemer måler mange dyp langs et sveip som brer seg ut fra sender-arrayet. Sveipebredden varierer fra noen meter til flere hundre meter • Systemer på markedet i dag kan måle opp til 1024 dyp i ett sveip og opp til 50 sveip kan samles inn pr. sekund • Typisk mer en 73 mill. dybdemålinger pr. time (XYZ) blir lagret • MBES data prosesseres til et regulært grid format (Digital Terrain Model, DTM)6
  7. 7. Datavolumer • Statoil samler årlig inn relativt MBE sveip store mengder - ca 70 km2 detaljerte, batymetriske data − Inspeksjon av rørledninger og Kartlagt område plattformer, planlegging av nye brønner osv • MBES data lages med >= 10 cm oppløsning7
  8. 8. Datalagring • Surveydata kommer inn fra kontraktører som ASCII XYZ-filer • Konverteres fra ASCII til raster − geoTIFF eller .img • Lagres i Oracle SDE-database i rasterkataloger − Terrengmodell − Terrengskygge − P.t. rundt 40.000 terrengmodeller lastet (av totalt 60.000 tidligere innsamlet)8
  9. 9. Soundings data9
  10. 10. Soundings data og 10 cm grid10
  11. 11. Griddede data – 10 cm noder11
  12. 12. Griddede data (10cm) – fargekodete dyp12
  13. 13. Griddede data (10cm) - terrengskygge13
  14. 14. Griddede data - fargekodet dyp + terrengskygge14
  15. 15. Mange “små” rasterdatasett • Hvert raster tilsvarer 15 minutter opptak • Lengde 50 – 100 m • Rundt 1100x1100 pixels à 32 bit • 4-5 MB ukomprimert15
  16. 16. Raster catalog data16
  17. 17. Mosaic Dataset • Ny geodatabasemodell i ArcGIS 10 for å administrere og distribuere raster data • En “oppgradert” raster catalog med mosaikkvisning og “on-the-fly” prosesserings- funksjonalitet − for eksempel ”Hillshade”, ”Shaded Relief” og ”Stretch” • Kan håndtere data fra flere ulike kilder som for eksempel rasterfiler i mapper, geodatabaser, WCS Service etc. − Dataene blir ikke lastet til mosaikk datasettet, de er kun referert • Består av 3 lag: Boundary, Footprints og Image • Håndterer data med ulike oppløsning. Ingen resampling. • Vises som ett sammenhengende rasterdatasett • Kan distribueres som en ”image service”17
  18. 18. Fordeler med Mosaic Dataset • Forbedringer i forhold til Raster Catalog: − Kan peke (”Identify”) i kartet og få ut pixel-verdier − Kan brukes i geoprosesserings- verktøy − Dynamisk mosaikkering: • Closest to center • By Date • By Attribute (for eksempel oppløsning) • etc.18
  19. 19. Overlappende data • Flere metoder for å håndtere overlappende rastere − First − Last − Min − Max − Mean − Blend19
  20. 20. Prosessering ved visning • Kan legge til og kombinere funksjoner for ”on-the-fly” prosessering − Hillshade, Shaded Relief, Clip, Mask etc. • Funksjoner kan gjelde hele mosaikk datasettet eller individuelle rastere.20
  21. 21. Hvordan lage et mosaikk datasett • Nytt toolset i ArcGIS10 for Mosaic Dataset med 16 verktøy • Create Mosaic Dataset • Add rasters To Mosaic Dataset − Dersom kildedataene er i en raster katalog, så må ”Raster Type” settes til ”Table” om man vil ha hvert enkelt raster inn som en egen rad i mosaikk datasettet. • Dersom man ønsker mer detaljerte footprints, kan man bruke ”Build Footprints” og øke antall ”Approximate number of vertices”. 25 er default. • Både Boundary og Footprint feature klassene kan editeres manuelt • Boundary brukes for å avgrense gyldig område for mosaikken. Raster data som ligger utenfor Boundary vil ikke vises21
  22. 22. Overviews • Bygger rastere med lavere oppløsning for å − Øke opptegnings- hastighet − Redusere CPU bruk − Betyr at færre rastere må undersøkes for å vise det • Kan distribueres ut som en Image Service mosaikkerte bildet ved hjelp av ArcGIS Server Image Extension. • Referenced Mosaic Datasets kan brukes for å lage ulike visninger av en mosaikk − for eksempel utvalg av data basert på dato, Slope, Shaded Relief etc.22
  23. 23. Overviews • Ved bygging av overviews hvor en ønsker å endre noen av standard- innstillingene, kan ”Define Overviews” brukes: • Kan endre innstillinger for − Hvor overview’ene skal lagres − Antall nivåer − Sampling faktor pr. nivå − Kompresjonsmetode etc. • Etter at innstillinger er satt, bruker en ”Build Overviews” for å bygge overview’ene23
  24. 24. Visning • Footprint feature-klassen inneholder to attributter som styrer når ulike rastere skal vises − ”MINPS” og ”MAXPS” − Faktor i forhold til • Scale = (CellSize_in_units x Meters_per_unit) x skala Dots_per_inch/Meters_per_inch − Kan kalkuleres • Skala = cellestørrelse(m) x 96/0.0254 manuelt • I tabellen over tilsvarer MAXPS = 0.001667 − 185 m -> 1 : 700000 − Opp til skala 1:700000 vises originaldata m/pyramider − Over denne skala trår overviews til24
  25. 25. Eksempel: ASTER terrengmodell • Dekker hele verden • ~30 m oppløsning • 22600 tiles • Signed 16 bit pixels • 25mb pr tile * 22600 = 565 gigabyte ukomprimert • ASTER mosaikk testdatasettet består av 400 tiles i Nord-Afrika25
  26. 26. 26
  27. 27. Kombinert terrengmodell og -skygge Referenced mosaic Referenced mosaic27
  28. 28. Relieff- kart Referenced mosaic Referenced mosaic28
  29. 29. Helning29
  30. 30. Terrengmodell og helning30
  31. 31. BathyDTM mosaikk datasett • Basert på en raster catalog med ca. 5000 rasterdatasett. − Rastere i ED50, UTM Zone 31N og 32N − Raster kolonne uten koordinatsystem • har ingen betydning for resultat under − Shape kolonne (footprints) i WGS84 • Problemer: − Ikke samsvar mellom footprints og data • Dette gjelder både i mosaikk og i rasterkatalog − Bygging av Overviews stopper opp når alle data tas med31
  32. 32. Sammen med originaldata fra raster katalog • Orginaldata (blå) samsvarer med footprint’ene til mosaikk datasettet Mosaikk Original Mosaic WGS84 Mosaic ED50 Mosaikk skiftet til venstre Mosaikk riktig i forhold til originaldata Footprints riktig i forhold Footprints er skiftet til til originaldata høyre32
  33. 33. BathyDTM Raster catalog • Shape kolonne endret til ED5033
  34. 34. Mosaikk – automatisk genererte footprints • Korrekte footprints • Statistikk blir ikke bygget automatisk før overviews er laget • Gjelder også referenced − Må genereres manuelt34
  35. 35. Regenerere footprints • Pass på data med negativ verdi • Irregulære data − Øke antall vertices (> 25) − Maintain sheet edges • Definere og bygge overviews etter at nye footprints er laget35
  36. 36. 36
  37. 37. 37
  38. 38. Anbefalinger/konklusjon • ”Rett fram” å lage mosaikk datasett med regulære data • Rastere og geometri-kolonne (footprints) må være i samme datum i raster catalog når denne er input til mosaikk • Må ikke bygge overviews – kan bruke data med grovere oppløsning som overview − Raskere • Bygg mosaic dataset på logisk ”samhørende” data; dvs: − Utvalgt oppløsning − Utvalg på egenskap (f.eks. satellitt sensor) • Publisér ulike visninger med referanse-mosaikker (referenced mosaic) − Bruker ”definition query” + ”on-the-fly” funksjoner • Terrengskygge • Terreng • Helning • Bygge overviews er tidkrevende for irregulære omriss!!38
  39. 39. Thank you Presentation title Presenters name Presenters title E-mail address, tel: +00 00 00 00 www.statoil.com39

×