Python for GIS

Python for Open Source GIS
OSGeo Thailand Meetup 5/2019
Mr. Chaipat Nengcomma
Ayutthaya GIS Consultant.
Part I : Introduction
2
What Can I Do With
Python + Open Source GIS ??
ตัวอยางการนําไปใชของที่ Lab
3
Drone Mapping
4

Drone Mapping
Drone Processing Pipeline
[Python Rastool , GDAL
, OTB, PyODM ]
Dataset
[Image, GCPs]
Geo Mapping
(Ortho rectified Mosaic Image)
DSM/DEM
Point Cloud
{LAZ}
Ayutthaya GIS Consultant Co., Ltd.
Drone Mapping
Drone Mapping
Deep Learning Pipeline
Ortho Rectification
Image
Classification Report
Object Detection
Analysis
AOI Training
DSM
Drone Mapping Ayutthaya GIS Consultant Co., Ltd.

Land Cover Classification
9
● Supervised Classification Multi-Sensor Data Integration Using
Deep Learning
● ประมวลผลถายดาวเทียมแบบ Supervised Classification โดยการ
พัฒนา complex model ที่วิเคราะหผลกับขอมูลขนาดใหญ จาก
หลายแหลง แบบ Multi-Sensor มาทําการวิเคราะหรวมกัน เพื่อสราง
ขอมูลผลลัพธการจําแนก ที่แมนยําและมีประสิทธิภาพขึ้น
Mr. Chaipat @Ayutthaya GIS
10
11
12

13
Deep Neural Network
Green Project
14
Green Project
15
Smart Farm
16

Soil Quality
Surface Temperature
Rainfall
Type of Rice
Soil Moisture
Deep Learning
Report
-crop yield estimation
-Anomaly Detection
17
Water level
Crop Yield Estimation
Satellite Image
Crop Yield Estimation
Soil Moisture
Surface Temperature
Soil PH
Plant
Deep Learning
Report
-Crop health
monitor
-Anomaly Detection
19
xx
Crop Health Monitor
Satellite Image
Crop Health Monitor

Automatic Plant Watering System
21
APWS
22
System Control
Anemometer
Air Temperature
Air Humidity
Slope
Deep RNN
Report
- Soil Moisture Index
23
xxx
xxx
APWS
xxx
xxx
Nearest
distance
Soil Moisture{t+1}
Prediction
Soil Moisture
24
APWS
Pump On
Pump Off
DS (Tn) <= 3 DS (Tn+x) > 8

APWS
- Raspbian
- Python , Tensorﬂow + Keras , Scikit learn
- Postgresql
- Flask
Introduction
26
Introduction
● Python เปนภาษาโปรแกรมคอมพิวเตอรระดับสูง มากความสามารถ
รองรับการทํางานขามแพลตฟอรมระบบปฏิบัติการ, รองรับการทํางาน
หลากหลายประเภท
● GIS คือระบบสารสนเทศเชิงพื้นที่ +การบริหารจัดการขอมูลตําแหนง
● Open Source GIS software คือ ซอฟตแวร พัฒนาระบบ GIS แบบ
รหัสเปด
27
Introduction
● Open Source Geospatial Foundation (OSGEO) มูลนิธิ
Geospatial Open Source เปนองคกรไมแสวงหาผลกําไร
● ภารกิจคือการสนับสนุนและสงเสริมการพัฒนาความรวมมือของ
เทคโนโลยีและขอมูลภูมิสารสนเทศแบบเปด
28

Open Source GIS
Desktop GIS QGIS, GRASS GIS
Data Management API GDAL , OGR , Proj4
Spatial Database Postgresql+Postgis , Spatial lite
(SQLite),
GIS Server GeoServer , MapServer, Qgis Server
Web Application Framework Openlayers, Leaflet
29
Open Source GIS
30
Python & GIS
● Python เปนภาษาคอมพิวเตอรที่เปน tools สําคัญในงานดานการวิเคราะห
ขอมูลเชิงพื้นที่ โดยเฉพาะลักษณะ กระบวนการทํางานแบบ อัตโนมัติ
● รองรับดานการจัดการขอมูล , การประมวลผล การแสดงผล รวมไปถึงความ
สามารถในการพัฒนา application ตางๆ
● ภาษาผสานใน GIS Software เชน QGIS , ArcGIS, GRASS ชวยเพิ่ม
ประสิทธิภาพในการทํางาน
31
Python & GIS
● Python เปนเหมือนตัวเชื่อมประสาน การทํางานรวมกันระหวางนัก GIS
กับ Developer
● มีการเติบโต และขยายของนักพัฒนา ทําใหมี opensource lib รองรับ
จํานวนมาก สวนหนึ่งตอยอดจาก opensource gis เดิม รวมถึงการ
พัฒนาโมเดลใหมๆในลักษณะ GIS programming stack
32

Python & GIS
● ขยายขีดความสามารถในการเขาถึงและวิเคราะหขอมูล spatail data
ในระบบงานที่ซับซอน
● งานดาน Data science ,
● นําขอมูลเชิงพื้นที่ มาสูกระบวนการพัฒนา AI (Machine Learning ,
Deep Learning)
● ธุรกิจ / บริการ ที่ตอยอดจากขอมูลเชิงพื้นที่
33
Spatial Data science
34
● Data science กระบวนการทางวิทยาศาสตรเพื่อวิเคราะห เจาะ
ลึก ทําความเขาใจ เพื่อสกัดนํามูลคาจากขอมูลขนาดใหญ ขอมูล
ที่มีโครงสรางซับซอน
● Spatial Data = ขอมูลเชิงปริภูมิ / ขอมูลภูมิสารสนเทศ / ขอมูล
เชิงพื้นที่
● Key คือ ขอมูลที่อางอิงกับตําแหนงบนผิวโลก
35
Data science
36

Alí Santacruz ,amsantac.co
37
Spatial Data Science and Applications
38
39
Data science
40

Data science
41
Machine Learning
42
Data science
43
Part II : Development
44

Python Geospatial
Development Stack
45
Python Geospatial Development Stack
Layer Package
Name
Description URL
Spatial Data IO gdal Interface to Geospatial data
abstraction library
https://pypi.python.org/pypi/GDAL/
(link is external)
fiona API to OGR (Vector) layer of
GDAL
http://toblerity.org/fiona/
(link is external)
rasterio Reading and writing geospatial
raster data
https://github.com/mapbox/rasterio
(link is external)
46
Layer Package
Name
Description URL
Geoprocessing shapely Deterministic spatial analysis http://toblerity.org/shapely
rasterstats Summarizing rasters using
vector geometries https://github.com/perrygeo/python-rasterstats
geopandas Pandas-like spatial operations
on geometric types
http://geopandas.org
pyproj PROJ4 Interface for
cartographic transformations
https://github.com/jswhit/pyproj
47
Layer Package
Name
Description URL
Geo visualization basemap Plotting 2D data on maps https://github.com/matplotlib/basemap
cartopy Cartographic tools http://scitools.org.uk/cartopy
folium Visualization via interactive
Leaflet maps https://github.com/python-visualization/folium
Bokeh (geo) Interactive visualization library
browsers
https://github.com/bokeh
datashader Big data visualization graphics
pipeline
https://github.com/bokeh/datashader
48

Layer Package
Name
Description URL
Spatial Statistical
Analysis
PySAL Spatial data analysis http://pysal.org
pykriging Geostatistics http://pykriging.com/
OSMnx +
Networkx
network analysis , OpenStreetMap Data
Analysis
https://osmnx.readthedocs.io/en/stable/
https://networkx.github.io/documentation/
networkx-1.10/overview.html
49
Layer Package
Name
Description URL
Web & Data Service OWSlib Client programming interface to OGC web
service
https://geopython.github.io/OWSLib
PyWPS OGC WPS Framework for geospatial data https://pywps.org/
MapProxy Open source proxy for geospatial data. , Tile
cache & WMS server
https://mapproxy.org/
50
Python Geospatial Installation
51
Installation
● ติดตั้งผาน pip ไดเกือบทั้งหมด
● บาง lib อาจจะตองมีการ compile source code
● 99% รองรับการทํางานกับ Window OS รองรับ Anapip
● รองรับการทํางานบน Linux / Mac
52

Installation
# Install shapely
conda install -c conda-forge shapely
# Install geopandas
conda install -c conda-forge geopandas
# Install cartopy
conda install -c conda-forge cartopy
# Install networkx
conda install networkx
# Install osmnx
conda install -c conda-forge osmnx
# Install statsmodels
conda install statsmodels
# Install folium
conda install -c conda-forge folium
# Install bokeh
conda install bokeh
# Install shapely
pip install shapely
# Install geopandas
pip install geopandas
# Install cartopy
pip install cartopy
# Install networkx
pip install networkx
# Install osmnx
pip install osmnx
# Install statsmodels
pip install statsmodels
# Install folium
pip install folium
# Install bokeh
pip install bokeh
53
Installation
- สามารถ import ตัว lib ไดแบบไมมี error
- หรือ สามารถรัน print() ดูรายละเอียดของการติดตั้งและ package ได
แปล วาพรอมจะทํางาน
import geopandas
import scipy
import shapely
import matplotlib.pyplot as plt
import pysal
import bokeh
import cartopy
import statsmodels
54
Google Colaboratory
55
Google Colaboratory
- free Jupyter notebook environment
- Support Python 2 , 3
- Linux OS
- execute code, save and share code & result
- access powerful computing resources {CPU/GPU/TPU}
- Data storage : Google Drive
56

Google Colaboratory
57
Google Colaboratory
https://colab.research.google.com/notebooks/basic_features_overview.ipynb
https://colab.research.google.com
58
Google Colaboratory
59
Google Colaboratory
60

Google Colaboratory
61
Google Drive
from google.colab import drive
drive.mount('/content/gdrive/')
data_dir = os.path.join('/content/gdrive', 'My Drive','colab_notebooks')
os.listdir(data_dir)
62
Spatial Data Model
63
Spatial Data Model
● การสรางแบบจําลองขอมูลเชิงพื้นที่ในระบบสารสนเทศ
● Spatial Data Model
a. Vector Data model
b. Raster Data Model
64

Spatial Data Model
65
Spatial Data Model
● Vector Data Model คือ geometric objects รหัสเชิงเลข ที่ใชนิยาม
ตัวแทนวัตถุในระบบคอมพิวเตอร
● Geometry Object โดยมีการระบุพิกัดตําแหนงอางอิง และ index เชื่อม
โยงกับขอมูลบรรยายที่เกี่ยวของ
● สามารถแบง Geometry Object พื้นฐาน ไดแก Point , Line และ
Polygon
● ยังสามารถแยกยอยตามระนาบทั้ง 2D และ 3D
66
Spatial Data Model
67
Spatial Data Model & GeoPandas
● Python มี module ในการจัดการขอมูล geometry หลายตัว ใน
workshop นี้จะเรียนรูจักการจัดการดวย Geopandas
● GeoPandas เปน open source package สรางเพื่อการทํางานกับ
ขอมูล geospatial ลักษณะของการผูกรวม
● โดยการประมวลผลดาน data model เบื้องหลังมี shapely ( GEOS
C++ library) ดําเนินการ
●
68

Spatial Data Model & GeoPandas
69
Point
● “จุด” ตัวแทน ประกอบดวยตัวเลขพิกัด 2 มิติ หรือ 3 มิต ิบน space
● ทดลองทําการสราง point จากกลุมขอมูลพิกัด 2 มิติโดยใชคลาส
Geoseries
● จากนั้นทําการสราง geometry object สําหรับ Geodataframe บน
pandas โดยทําการระบุระบบพิกัดอางอิง(CRS) เปน EPSG:4326
70
Point
71
Point
72

Line
● “เสน” ตัวแทนประกอบดวย set ของจุดเชื่อมตอกัน
● ทําการสราง Linestring object จากกลุมขอมูลของ point แบบ 2 มิติ ซึ่ง
point จะเปนตัวแทนของ node ที่อยูบน Line ที่สรางขึ้น
73
Line
74
Line
75
Polygon
● พื้นที่รูปปด ตัวแทนของรูปทรงปด ที่ประกอบดวย จุดอางอิง ตัวแทน
ตําแหนง node และ edge ที่แนนอน
● ตัวอยาง ทําการสราง Polygon object จากกลุมขอมูลของ Point 2 มิติ
ที่เปนตัวแทนของ node ของ polygon
● จากนั้นใช geoseries ในการสราง geometry object ประเภท
polygon ขึ้นมาโดยจะไดรูปปด ที่มีทั้ง node และ edge สุดทายสามารถ
นําไปใชคํานวณคุณสมบัติประกอบอื่นๆไดตอไป
76

Polygon
77
Polygon
78
Polygon
● พื้นที่รูปปดจะมีคุณสมบัติ เชน พื้นที่, เสนรอบรูป และจุดกึ่งกลาง
● ตัวอยาง ทําการคํานวณคุณสมบัติเรขาคณิตของ polygon พื้นฐาน
ไดแก Area, BBOX , Centroid
79
Polygon
80

Spatial Data Management
81
● GeoPandas อาน/เขียน และจัดการไฟล GIS format ผาน Fiona
(OGR + Proj4)
● Plot หรือแสดงผล geometry ดวย descartes(เดการต) (matplotlib)
● Pandas จัดการขอมูล attribute data , table และ sql query
● GeoDataframe
82
Spatial Data format
● GeoPandas รองรับการทํางานกับ GIS Vector File เกือบทุกประเภท
เชนเดียวกับ OGR
● รองรับประเภทหลักเชน Shapefile, GeoJSON, KML และ GPKG
83
● ทําการเปดและอานไฟล province.shp จากโฟเดอร data
● ทดสอบผลการอานไฟลดวยการ แสดงขอมูลบน table
● แสดงขอมูล Geometry object แบบ WKT (polygon) พรอมขอมูลจาก
database(.dbf)
● Plot แผนที่จาก ขอมูล geometry พรอมระบบพิกัด
84

85
Spatial Reference System
86
Spatial Reference System(SRS)
● Aka coordinate reference system (CRS)
● การนิยามระบบพิกัดอางอิงของ Geometry model ในระบบที่ใชเปน
ตัวแทนวัตถุบนพื้นโลก
● Map Projection = โมเดลการฉายผิวโลกทรงโคง 3D ใหกลายเปน
แผนที่(Map) 2 มิติ
87
Spatial Reference System(SRS)
● ระบบพิกัดอางอิง (coordinate system) ของขอมูลเชิงพื้นที่
● การระบุพิกัดตําแหนงอางอิงบนแผนที่
>Geographic coordinate system (latitude, longitude)
>Universal Transverse Mercator (UTM)
88

Geographic coordinate system
● การระบุพิกัดตําแหนงอางอิงบนแผนที่แบบ latitude, longitude
89
Geographic coordinate system
90
Universal Transverse Mercator (UTM)
● การระบุพิกัดตําแหนงอางอิงบนแผนที่แบบ GRID
● เมืองไทยมีพิกัดตกบนกริด UTM โซน 47 และ 48 มีรหัสเลขชวง N, P
และ Q
● ตัวอยาง 47P356482
91
พื้นหลักฐานอางอิง (Datum)
● ระบบหลักฐานที่ใชอางอิงในการกําหนดคาทางแนวดิ่งและแนวราบ
● เพื่อใชเปนจุดบังคับทางความสูงและควบคุมตําแหนงบนแผนที่ สําหรับอางอิงใน
การหาตําแหนงบนพื้นผิวโลก
● Horizontal Datum
> Local Datum : ไทยใช Indian Datum 1975
> Global Datum WGS 84 (World Geodetic System 1984)แ
● Vertical Datum :ไทยใช คาอางอิงจากระดับนํ้าทะเลปานกลาง ณ เกาะหลัก
จังหวัดประจวบ
92

Universal Transverse Mercator (UTM)
● การระบุพิกัดตําแหนงอางอิงบนแผนที่แบบ GRID
● เมืองไทยมีพิกัด SRS ประเภท UTM ที่พบไดแก
● EPSG 32647 ,
● EPSG 24047
● EPSG 32648,
● EPSG 24048
93
EPSG:32647 WGS 84 / UTM zone 47N
94
EPSG:24047 Indian 1975 / UTM zone 47N
95
EPSG:32648 WGS 84 / UTM zone 48N
96

EPSG:900913 Google Maps Global Mercator
97
Geocode
98
Geocode
● การแปลงจากชื่อ ที่อยู (address) ใหกลายเปน ระบบพิกัดบนโลก
● รวมถึงขอมูล IP address
● โดยมีบริการ(service) ในการแปลง ทําหนาที่คนหาที่อยูจากฐานขอมูล
sptial database แลวคํานวณพิกัดตําแหนง สงกลับมายังปลายทาง
● เชน Google Geocoding API , OSM Map API, Bing เปนตน
● Python modules ไดแก Geopy, Geocoder , Geopandas
99
OGC Web Feature Service
100

WFS
- Open Geospatial Consortium (OGC)
- Web feature service โปรโตคอลมาตรฐานของ OGC พัฒนาขึ้นเพื่อ
บริการขอมูล spatial data
- เชื่อมโยงการทํางานระหวางระบบ GIS แบบ interoperability ในการ
เขาถึงขอมูลผาน webservice
- ขาม platform ,ขาม software , ขาม data format
- อางอิงเพิ่มเติม
https://www.opengeospatial.org/standards/wfs
101
WFS
102
WFS
103
WFS
104

WFS
- โปรโตคอลการทํางานเบื้องตนของ OGC WFS
- ประกอบดวย 3 Operation หลักคือ
1.GetCapabilities
2.DescribeFeatureType
3.GetFeature
105
WFS - GetCapabilities
- Operation เพื่อสงคํารองสืบคาไปยัง WFS server เพื่อตรวจสอบ
สถานะและขอมูลที่ใหบริการ
- http://localhost/geoserver/ows?service=WFS
&version=1.0.0&request=GetCapabilities
106
WFS - GetCapabilities
107
WFS - DescribeFeatureType
- Operation เพื่อสงคํารองสืบคาไปยัง WFS server เพื่อเขาถึงขอมูล
รายละเอียดและคําอธิบายของขอมูลแตละ layer
&version=1.0.0
&request=DescribeFeatureType
&typename=geosolutions:Counties
108

WFS - DescribeFeatureType
109
WFS - GetFeature
- Operation เพื่อสงคํารองสืบคาไปยัง WFS server เพื่อเขาถึงขอมูล
Spatial data ที่ตองการ โดยการสืบคน ตองระบุพารามิเตอร สําคัญ เชน
ชื่อชั้นขอมูล และสามารถกําหนด parameter เพิ่มเติมในการกรองเชน
bbox,
- ผลลัพธ ปกติจะเปน GML3 แตมีทางเลือกอื่นๆขึ้นกับ server เชน
geojson , wkb เปนตน
110
WFS - GetFeature
- Operation
- &version=1.0.0
- &request=GetFeature
- &typeName=geosolutions:Counties
- &maxFeatures=50
- &outputFormat=GML3
111
WFS - GetFeature
112

WFS - Server
WFS in thailand (gov)
http://fgds-backend.ngis.go.th/geoserver/geonode/ows?
http://gservices.gistda.or.th/geoserver/wfs
http://mapservices.energy.go.th:80/geoserver/ows?
113
Spatial Data Analysis
114
● การวิเคราหขอมูลเชิงพื้นที่ ประกอบดวย
1. Geoprocessing
คือ การประมวลผล เพื่อสรางขอมูล geometry ใหมจากขอมูล geometry ตั้งตน
และสวนการประมวลผล ระหวาง geometry เพื่อสรางผลลัพธใหม
> function การแปลง geometry data และสรางผลลัพธขอมูล attribute ใหม
> Buffer , Merge , Difference, Intersection, Union เปนตน
> ศึกษาเพิ่มเติมจาก http://geopandas.org/reference.html
● 2. Spatial Relation
คือความสัมพันธระหวาง geometry ตัวบงบอกคุณลักษณะ และคุณสมบัติขอมูล สําหรับการ
วิเคราะห
115
- การวิเคราะหขอมูลเชิงพื้นที่ ยังรวมไปถึงการวิเคราะหเชิงลึกอื่นๆ
- เชน Spatial temporal analysis, Terrain analysis, Surface Analysis: Spatial
Interpolation หรือ spatial statistic analysis เปนตน
116

Geoprocessing
saylordotorg.github.io
117
Spatial Query
118
Spatial Query
● กระบวนการสืบคนขอมูลเชิงตําแหนง ที่ใชเงื่อนไขเชิงตําแหนงในการวิเคราะห
ขอมูลเพื่อใหไดผลลัพธตามตองการ
● นํา geometry data มารวมในการสรางเงื่อนไขเพื่อทําการวิเคราะห หรือสืบคน
หาขอมูล จากฐานขอมูล
● คนหาดวยเงื่อนไข จาก spatial relation function ไดแก
● contains(), crosses(), .intersects(),overlaps(),touches(), disjoint(),
within()
119
Spatial relation
120

Spatial Query
121
Thematic map
122
Thematic map
● การสรางแผนที่เฉพาะเรื่อง จากการกําหนดเงื่อนไข ในฐานขอมูล GIS
● นําผลลัพธจากการวิเคราะหขอมูล มาสรางเปนแผนที่เฉพาะทาง
● อธิบายเลาเรื่อง โดยกําหนด ลักษณะการแสดงผล สี สัญลักษณ ตามคา(value)
● จากเงื่อนไขบน logical operation และ spatial operation
123
Thematic map
124

Thematic map
125
Web Mapping Application
● การพัฒนาระบบบริการขอมูล GIS แบบออนไลน ผานอินเตอรเน็ต
● รองรับการแสดงผล และการสืบคนขอมูล
● Python มีหลา่ยโมดูลที่สามารถเลือกใชงานได
● ตัวอยางใช Geopandas + Bokeh
● นอกจากนี้ มีการเชื่อมโยงและผสานการแสดงผลขอมูลกับ Map service ทั้ง
WMS, WMST
126
Web Mapping Application
127
Question ???
128

Python for GIS

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Python for GIS

Similar to Python for GIS (20)

More from Ayutthaya GIS

More from Ayutthaya GIS (11)

Python for GIS