Juraj Beták – COG (Cloud optimized GeoTIFF) naozaj funguje, stretnutie GISkola #1, 29. 07. 2020, reštaurácia Langoše pod Lipou, Bratislava

1. Juraj Beták
COG naozaj funguje
Cloud Optimized GeoTIFF
| juraj.betak@solargis.com
GISkola, 29. júl 2020, Bratislava

2. O čom budeme hovoriť?
1. Aké veľké rastrové dáta?
2. Ukážky
3. Prečo COG
4. + a -
5. Diskusia

3. Solargis model
Atmosférické modely
Meteorologické satelity
Terén a iné dáta
GTI
Global Tilted
Irradiance
(PV elektrárne)
DNI
Direct Normal
Irradiance
(CSP elektrárne)
Validácia pomocou
solárnych meraní
GHI
DNI
DIF
PVOUT
Vyrobená
elektrina z
fotovoltiky

4. Segmentácia 5°x5°

5. Publikácia dát
solargis.com Komerčná platforma pre profesionálnych klientov

6. Publikácia dát
globalsolaratlas.info Free (CC BY 4.0) pre high level plánovanie
Global Solar Atlas is provided by the World Bank
Group,
financed by ESMAP and created by Solargis

7. Prípad: Zonálna štatistika v Global Solar Atlas

8. Prípad: Zonálna štatistika v Global Solar Atlas

9. Prípad: Zonálna štatistika v Global Solar Atlas

10. Prípad: Custom Area - Zonálna štatistika v Global Solar Atlas

11. Prípad: Custom Area - Zonálna štatistika v Global Solar Atlas

12. COG: Cloud optimized GeoTIFF
THOMAS HOLDERNESS (Addresscloud, UK)
A COG In The Machine - Using Cloud Optimised GeoTiffs to Query 24 Billion Pixels In Real-Time
FOSS4G Bucharest 2019
● GeoTIFF is now the best format for continuos suface data
● 200GB single COG GeoTIFF (UK)

13. COG: Cloud optimized GeoTIFF
COG - vývoj OSGeo Foundation/GDAL, začiatok ~2016
Projekt + doku: https://github.com/cogeotiff/ (3 contributors)
https://www.cogeo.org/

14. COG: Cloud optimized GeoTIFF
GDAL 3.1 - priama podpora COG https://gdal.org/drivers/raster/cog.html
GDAL <3.1 - multi-step výroba COG
##GDAL <3.1
##Multi files to Single multiband file
gdal_merge.py -ul_lr -180 60 180 -55 -co COMPRESS=DEFLATE -co BIGTIFF=YES -o multiband.tif -separate a.tif b.tif c.tif
##-------------------------------------
##Single file
gdal_translate IN.TIF OUT.tif -co TILED=YES -co COMPRESS=DEFLATE -co BLOCKXSIZE=512 -co BLOCKYSIZE=512 -co BIGTIFF=YES
gdaladdo -r average OUT.tif 2 4 8 16 32
gdal_translate OUT.tif OUT_cog.tif -co TILED=YES -co COMPRESS=DEFLATE -co COPY_SRC_OVERVIEWS=YES -co BLOCKXSIZE=512 -co
BLOCKYSIZE=512 -co BIGTIFF=YES --config GDAL_TIFF_OVR_BLOCKSIZE 512

15. Prípad: Terrain shading 3 arcsec single file
(composed by Solargis, based on SRTM3 v4.1, viewfinderpanorama.org, ASTER GDEM, GEBCO 2014 data)
~gdalinfo SHD_3s_cog.tif
Size is 432001, 215999
Coordinate System is:
GEOGCRS["WGS 84",...
Pixel Size = (0.000833333333333,-0.000833333333333)
Metadata:
AREA_OR_POINT=Area
Image Structure Metadata:
COMPRESSION=DEFLATE
INTERLEAVE=BAND
Corner Coordinates:
Upper Left ...
Band 1 Block=512x512 Type=Int16, ColorInterp=Gray
Min=15.000 Max=98.000
Minimum=15.000, Maximum=98.000, Mean=76.474, StdDev=2.125
Overviews: 216001x108000, 108001x54000,
54001x27000, 27001x13500, 13501x6750
= 93311783999 = ~1010 pixlov
= ~20 GB filesize

16. Potenciál COG
+ -
● Veľké dáta na jednom mieste
● Rýchly prístup/request,
nasadzovanie
● Jednoduchosť stvorená pre
server-less technológie ->
Cloud friendly
● Nie je nutná extra logika nad
segmentovanými dátami
● ...
● Update malej časti súboru
(alebo inkrementálny update -
neviem, či je možný; nutné
pregenerovať celý súbor alebo
riešiť pomocou VRT)

17. Ďakujem za pozornosť a poďme diskutovať
Mapy sú fenomén.
Kto ich vie čítať, veľa sa dozvie. Kto ich píše, dozvie sa ešte viac.
Tvorím ich, splnil sa mi sen zo školskej lavice.