MySQL 8.0で強化されたGIS機能のご紹介と周辺ツールとの連携について

Copyright © 2018, Oracle and/or its affiliates. All rights reserved. |
MySQL 8.0で強化されたGIS機能のご紹介と
周辺ツールとの連携について
Yoshiaki Yamasaki / 山﨑由章
MySQL Global Business Unit
MySQL Senior Sales Consultant
updated: 2018/11/10

Copyright © 2018, Oracle and/or its affiliates. All rights reserved.
Safe Harbor Statement
以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。
また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはでき
ません。以下の事項は、マテリアルやコード、機能を提供することをコミットメントするも
のではない為、購買決定を行う際の判断材料になさらないで下さい。
オラクル製品に関して記載されている機能の開発、リリースおよび時期については、
弊社の裁量により決定されます。
2

はじめに
3

今日伝えたいこと
• MySQLにもGIS機能があります！積極的に開発しています！！
• ご意見下さい！
– 本日は終日会場にいます
– 懇親会も参加します
• 試してみて気づいた点があれば、是非フィードバック下さい！
– フィードバックできるページ
• MySQL Bugs
https://bugs.mysql.com/
– バグ報告だけでなく、機能追加リクエストも受け付けています
4

今日伝えたいこと
• GDAL 2.3.2がリリースされ、ogr2ogrを使用してMySQL 8.0へ
シェープファイルをインポートできるようになりました
– ですが、まだ課題もあります
• 周辺ツールに対するフィードバックも是非お願します！
5

MySQLのGIS機能の歴史
6

Copyright © 2018, Oracle and/or its affiliates. All rights reserved. 7
MySQLの歴史
4.0
全文検索 (MyISAM)
複数テーブルUPDATE/DELETE
組み込みライブラリ型サーバ
OracleMySQL Sun
3.23
MyISAM
InnoDB
レプリケーション
5.1
プラグガブル・
ストレージエンジン・
アーキテクチャ
パーティショニング
タスクスケジューラ
5.6
全文検索(InnoDB)
memcached API
UNDO表領域
Global Transaction ID
マルチスレッドスレーブ
オンラインALTER TABLE
トランスポータブル表領域
5.5
InnoDBがデフォルトに
準同期型レプリケーション
PERFORMANCE_SCHEMA
1.0-3.22以前
ストレージエンジン (ISAM, HEAP)
マルチスレッド
Windows対応/64bit対応
日本語文字コード (SJIS/UJIS)
5.0
ストアドプロシージャ
ストアドファンクション
カーソル/トリガ/ビュー
XAトランザクション
INFORMATION_SCHEMA
4.1
GIS(MyISAM)
Unicode対応
サブクエリ
CSV, ARCHIVE
ndbcluster
1995 2000 2005 2010 2015
5.7
2015年10月21日 GA
全文検索CJK対応/GIS (InnoDB)
新コストモデルオプティマイザ
ロスレスレプリケーション
マルチソースレプリケーション
グループレプリケーション
セキュリティ強化
データディクショナリ
NoSQLオプション
・ 1995年：スウェーデンにてMySQL AB設立
・(2005年：オラクルがInnobase Oyを買収)
・ 2008年：Sun MicrosystemsがMySQL ABを買収
・ 2010年：オラクルがSun Microsystemsを買収
8.0
2018年4月19日 GA
トランザクショナルDD
MySQLドキュメントストア
Unicode 9.0サポート
国ごとの照合順序を追加
CTE、Window関数
GIS機能の拡張 (InnoDB)

GIS機能の歴史
• MySQL 5.7
– Boost.GeometryというC++のオープンソースライブラリを採用して独自実装をやめ、
InnoDBでGIS関連機能を再実装した
• geometryデータ型
• Spatialインデックス
• Spatial関数（使える関数の種類も増加）
• GeoHashサポート
• GeoJSONサポート
※Boost.Geometryコミュニティとも活発に交流し、MySQLチームから
Boost.Geometryへのコントリビュートも行っている
8

GIS機能の歴史
• MySQL 8.0
– OpenGIS標準準拠
– 演算、データ変換に役立つ各種のSpatial関数の追加
• st_x(geom, x)
• st_y(geom, y)
• st_srid(geom, srid)
– MySQL 5.7で非推奨になった関数の廃止
–Geography サポート
• st_distance() 関数
–Spatial Data、Spatial Index、Spatial関数のSRIDサポート
9

GIS機能の歴史
• MySQL 8.0
– OpenGIS標準準拠
– 演算、データ変換に役立つ各種のSpatial関数の追加
• st_x(geom, x)
• st_y(geom, y)
• st_srid(geom, srid)
– MySQL 5.7で非推奨になった関数の廃止
–Geography サポート
• st_distance() 関数
–Spatial Data、Spatial Index、Spatial関数のSRIDサポート
10

MySQLは積極的に
GIS機能を開発しています！！
11

GIS機能の紹介
12

geometryデータ型
• OpenGISジオメトリモデルに基づいた以下のデータが使用可能
– GEOMETRY、GEOMETRYCOLLECTION
– 点：POINT、MULTIPOINT
– 線：LINESTRING、MULTILINESTRING
– 多角形：POLYGON、MULTIPOLYGON
※GEOMETRYには、POINT、LINESTRING、POLYGONを格納可能
※GEOMETRYCOLLECTIONには、MULTIPOINT、MULTILINESTRING、MULTIPOLYGONを
格納可能
13

Spatial関数
• ジオメトリデータを扱える各種の関数
• 例
– ST_Distance()
• 2つのジオメトリを入力し、2地点間の距離を出力
– ST_Distance_Sphere()
• 2つのジオメトリを入力し、2地点間の最小球面距離を出力
– ST_Contains()
• あるジオメトリに別のジオメトリが含まれているかどうかを判定する
• MySQL 8.0で使えるSpatial関数一覧
– MySQL 8.0 Reference Manual / ... / 12.15.1 Spatial Function Reference
https://dev.mysql.com/doc/refman/8.0/en/spatial-function-reference.html
14

GeoHash
• 経緯度の情報を文字列化したもの
– 例：青山OMセンター（経度：139.718490、緯度：35.671497）のGeoHash
⇒ xn76gmgcsc10hf7v664d8ebpbpbpbp<<後略>>
• 特徴
– 文字列なので、データベースで扱いやすい
（インデックスも活用可能）
– GeoHashの情報は点ではなく範囲（矩形のエリア）を表す
– 文字列の桁数で精度を変えることができる
• 10桁を超えると矩形の一辺が1m以下になるので、経緯度の変わりとしても十分利用可能
• 近接エリアの判定等に利用可能
15

GeoHash
• MySQL 5.7以降では、GeoHashを扱うための関数が使用できる
– ST_GeoHash()：経度、緯度(POINT型のデータでも可)を入力し、GeoHashを出力
– ST_LatFromGeoHash()：GeoHashを入力し、経度を出力
– ST_LongFromGeoHash()：GeoHashを入力し、緯度を出力
– ST_PointFromGeoHash()：GeoHashを入力し、POINT型のデータを出力
16
※詳細を解説しているマニュアル
MySQL 8.0 Reference Manual / ... / 12.15.10 Spatial Geohash Functions
https://dev.mysql.com/doc/refman/8.0/en/spatial-geohash-functions.html

GeoJSON
• 空間データを扱うためのフォーマットの一つ
• JSONによる表現で空間データを扱える
– 例：青山OMセンター（経度：139.718490、緯度：35.671497）のGeoJSONによる表現
⇒ {"type": "Point", "coordinates": [139.71849, 35.671497]}
17

GeoJSON
• MySQL 5.7以降では、GeoJSONを扱うための関数が使用できる
– ST_AsGeoJSON()：ジオメトリ型のデータを入力し、GeoJSONデータを出力
– ST_GeomFromGeoJSON()：GeoJSONデータを入力し、ジオメトリ型のデータを出力
18
※詳細を解説しているマニュアル
MySQL 8.0 Reference Manual / ... / 12.15.11 Spatial GeoJSON Functions
https://dev.mysql.com/doc/refman/8.0/en/spatial-geojson-functions.html

MySQL Workbenchの活用
19

MySQL Workbench
• 管理ツール
• SQLエディタ
• Performance Dashboard
• Visual Explain
• GIS Viewer
• ER図作成、フォワード/
リバースエンジニアリング、
など豊富な機能
20
データベースアーキテクト、開発者、DBA のための統合ビジュアルツール
商用版のみの機能：
DBドキュメント出力、データモデルの検証、
MySQL Enterprise Backup GUI、MySQL Enterprise Audit GUI

"Spatial Viewer" and "Geometry Viewer"
• ジオメトリ型のデータを図示可能
21

22

• FOSS4G Hokkaido 2018で、おざきさんに以下の発表をして頂きました
– MySQL8.0.11使ってみた SRIDが実装されたと聞いて
https://foss4g.hokkaido.jp/2018/data/mysql8011tukattemita.pdf
• シェープファイルの取り込み、POINTデータのインサートに以下4つの
方法を試して頂きましたが、いずれもエラーになっていました
1．MySQL Workbench 8.0.11
2．QGIS 2.18.20、3.0.1
3．SQL実行（MySQL Workbenchから
4．org2ogr
23

• FOSS4G Hokkaido 2018で、おざきさんに以下の発表をして頂きました
– MySQL8.0.11使ってみた SRIDが実装されたと聞いて
https://foss4g.hokkaido.jp/2018/data/mysql8011tukattemita.pdf
• シェープファイルの取り込み、POINTデータのインサートに以下4つの
方法を試して頂きましたが、いずれもエラーになっていました
1．MySQL Workbench 8.0.11
2．QGIS 2.18.20、3.0.1
3．SQL実行（MySQL Workbenchから
4．org2ogr
⇒2.～4．はGDALに依存した問題だったので、githubでissueを登録しました。
また、issueを登録してくれている方がいました。
24

関連するissue
• ogr2ogr with MySQL 8 #782
https://github.com/OSGeo/gdal/issues/782
• Issue with Mysql import #899
• ogr2ogr with MySQL 8 (Wrong SRID) #905
• ogr2ogr with MySQL 8 (Wrong Axis Order) #906
25

関連するissue
• ogr2ogr with MySQL 8 #782
• Issue with Mysql import #899
• ogr2ogr with MySQL 8 (Wrong SRID) #905
• ogr2ogr with MySQL 8 (Wrong Axis Order) #906
⇒これらはGDAL 2.3.2で修正されました！！
26

と言うことで、FOSS4G Hokkaidoの
リベンジをします！！
（おざきさんから提供頂いたシェープファイルのインポートをデモします）
27

デモ
28

デモ手順
1．MySQL 8.0に接続し、シェープファイルをインポートするための
データベースを作成する（データベース名は任意の名前）
2．ogr2ogrを使ってシェープファイルをインポート
29
[実行例]
mysql> create database geotest;
Query OK, 1 row affected (0.02 sec)
[実行例]
C:¥>ogr2ogr.exe -f "MySQL" MySQL:"geotest,host=127.0.0.1,user=root,
password=root,port=3306" C:¥work¥point_4326.shp
※以下環境での実行例
- ローカルのMySQLサーバーへ接続、3306ポートを使用（デフォルト）
- MySQLのユーザー名：root、パスワード：root
- シェープファイル：C:¥work¥point_4326.shp

とは言え、まだ課題もあります
32

課題
• ogr2ogrでシェープファイルのインポートを試した時に、文字化けにより
エラーが発生したケースもあります
– 発生したエラー
• ERROR 1: MySQL error message:Data too long for column 'XXXXX' at row 1 Description: INSERT INTO<後略>
– まだissue登録出来ていません
33

課題
• （必須要件ではありませんが）
ogr2ogrでシェープファイルをインポートした際にMySQLに作成された
テーブルのgeometry型の列にSRIDが明示的に定義されていません
– SRIDが明示的に定義されていれば、異なるSRIDのデータの混入を防げます
• INSERT時にエラーになります
– issue登録済みです
• ogr2ogr with MySQL 8: POINT column doesn't have SRID attribute #1015
34

課題
• （必須要件ではありませんが）
MySQL 8.0でデフォルトの認証方式を使用している場合、ogr2ogrで
接続できません
– 「MySQL8.0.11使ってみた」の8ページで
「AuthenticationMethodはLegacyを選択しておきましょう。」と言われている件です
– MySQL 8.0の設定で「default-authentication-plugin=mysql_native_password」
としてからMySQLユーザーを作成することで回避できます
– issue登録済みです
• ogr2ogr with MySQL 8 (MySQL connect failed with caching_sha2_password plugin) #910
• libmysql-client version is old for MySQL 8.0 #132
https://github.com/gisinternals/buildsystem/issues/132
35

GDAL以外の話題
36

GDAL以外の話題
• Ushahidiのissue
– Runtime problems with MySQL 8.0 #3308
https://github.com/ushahidi/platform/issues/3308
⇒GDALのissue #782、#899 と同じ原因です（※）
※私のFOSS4G Tokaiでの発表資料で原因を解説しています
(次ページの「1．廃止された関数を使用していた」が原因です)
37

GDALに依存した問題の整理 ※FOSS4G Tokaiでの発表資料より
• GDALを利用して生成されたSQL文を修正すれば、SQLが実行できた
– MySQL 8.0がエラーの原因ではなく、GDALがMySQL 8.0に合わせた
SQLを正しく生成できていないことが原因
• 修正点は以下の3点
– 1．廃止された関数を使用していた
⇒MySQL 8.0で使用できる関数名に修正すれば解決
– 2．SRIDの指定が間違っていた
⇒SRIDを正しく指定すれば解決
– 3．経度、緯度の指定順番が逆になっていた
⇒MySQLの仕様に合わせた順番に修正すれば解決
38

GDALで発生した問題と同様の問題が
他のツールでも発生するかもしれません
39

周辺ツールに対するフィードバックも
ご協力頂けると助かります m(_ _)m
40

参考情報
41

参考情報
• マニュアル
– https://dev.mysql.com/doc/refman/8.0/en/
• コミュニティフォーラム
– http://forums.mysql.com/list.php?23
• Boost.Geometry
– http://www.boost.org/libs/geometry
• バグ報告＆機能追加リクエスト
– http://bugs.mysql.com/
42

参考情報
• MySQL開発チームのブログ記事（GIS機能開発者の投稿記事）
https://mysqlserverteam.com/author/nryeng/
– 例）
• Spatial Reference Systems in MySQL 8.0
• Geography in MySQL 8.0
• Axis Order in Spatial Reference Systems
• Geographic Indexes in InnoDB
• Geographic Spatial Reference Systems in MySQL 8.0
• Projected Spatial Reference Systems in MySQL 8.0
• Upgrading Spatial Indexes to MySQL 8.0
• Creating Your Own Spatial Reference Systems in MySQL 8.0
43

参考情報
• MySLQ 8.0 GIS Demos
https://github.com/nryeng/mysql-8.0-gis-demos
– OpenLayers、OpenStreetMap、ProxySimplePHPのタイルキャッシュを使用したデモ
（MySQL 8.0がGA（製品版）になる前に作成されたデモ）
44

MySQL 8.0で強化されたGIS機能のご紹介と周辺ツールとの連携について

MySQL 8.0で強化されたGIS機能のご紹介と周辺ツールとの連携について

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to MySQL 8.0で強化されたGIS機能のご紹介と周辺ツールとの連携について

Similar to MySQL 8.0で強化されたGIS機能のご紹介と周辺ツールとの連携について (20)

More from yoyamasaki

More from yoyamasaki (20)

Recently uploaded

Recently uploaded (9)

MySQL 8.0で強化されたGIS機能のご紹介と周辺ツールとの連携について