ダイナミックにタイルを生成する、タイルマップサーバを開発しました。 State of the Map Japan in Hamamatsu で発表したものです。

1. 地球観測データマッピングのための
タイルマップサービスの開発
中尾圭佐
2015年10月31日
State of the Map Japan 2015 in Hamamatsu

2. 自己紹介
●
なかおけいすけ
● OSM: chomy
● Twitter: @jm6xxu
● Facebook: jm6xxu
● Blog: http://www.k.nakao.name/blog
●
職業：研究者 (今年度いっぱいで任期切れ...orz 求職中！)
●
今日は地図の話をしますが、100%趣味です。
●
2011年からOSMを始めて、現在はCasual Mapperです。

3. 目的
●
International Space Apps Challenge というイベントで、地
球観測衛星の観測データを可視化することにした。
●
数値データからマップにはできたけど、OSMに重ねてぐりぐ
りしたい。
●
Tile Map ServiceやらWeb Map Serviceなるものがあるらし
い。
– なんか面倒くさそう。難しそう。
ということで、作ってみました。

4. タイルマップサービスについて

5. タイルマップサービスとは
●
TMS: Tile Map Service
●
OSGeo財団が策定した、地図をタイルとして提供す
る、RESTなプロトコル
●
地図を小さな画像に分割して配布する
– 必要な領域だけ、必要な縮尺だけ取得できる
– 不要になった部分を開放することでメモリの節約
– 不要な部分を送信しないため効率的な通信ができる

6. タイルの構造
●
256px × 256pxの画像
●
３つの整数で指定
– 領域を表すx, y
– 縮尺を表すズームレベルz
で指定する
●
z=0で地球を1枚のタイルで
表現する
●
zが１増えると、表示可能な
面積が1/4になる

7. タイルの生成

8. データの取得
●
今回は、海水面温度のデータを使ってタイルを生成する
– データソースはJAXAの水循環変動観測衛星GCOM-W1
「しずく」のAMSR2というセンサー
●
数値データは、JAXAからダウンロード可能（要登録）
– HDF5というファイルフォーマットで配布
●
HDF5は階層構造でデータを格納するバイナリ
フォーマット
●
多次元の数値データだけでなく、観測日時や解析ア
ルゴリズム等の情報も格納できる
●
Python, Ruby のモジュールがある

9. ●
データは、緯度0.1度、経度0.1度間隔のメッシュ
– 南北1800点、東西3600点
– 日本付近だと、およそ4km四方の正方形
●
まずメッシュ１つ１つを1pxの画像に変換
– 海水面温度に応じて色を変える
– カラーマップはoctaveで生成したものを使用
– 欠損値は一時的に黒
– pythonでppmフォーマットで出力

10. Original data provided by JAXA

11. ●
ppmフォーマットをTiff フォーマットに変換
●
欠損値の黒を透明に変換
●
ImageMagick の convert コマンドを使用
$ convert ­transparent black data.ppm map.tiff

12. Original data provided by JAXA

13. ●
画像は位置情報を持っていない
– OSMやGoogle Mapsといった背景図に重ねられない
●
GDALを使って、Tiff画像をGeoTiffに変換
– GeoTiffフォーマットは、画像に位置や測地系等の情報
を追加したTiffフォーマット

14. ●
GDAL: Geospatial Data Abstraction Library
– Geoな世界のスイスアーミーナイフ的存在
– 様々なラスタ/ベクタデータを処理、変換できるライブ
ラリ/コマンド群

15. ●
画像のピクセルに緯度経度を指定して
●
測地系を設定する
$ gdal_translate ­q ­gcp 0 0 0 90
­gcp 3600 0 360 90
­gcp 0 1800 0 ­90
­gcp 3600 1800 360 ­90
map.tiff tmp.tiff
$ gdalwarp ­q ­s_srs EPSG:4326 ­t_srs EPSG:4326
­r cubic tmp.tiff map.tiff

16. 一発で数値からGeoTiffに変換
●
昨年まではコマンドベースでやっていたが、現在はGDAL
をライブラリとして使用している
raster = gdal.GetDriverByName('VRT').Create(filename,
3600, 1800, 1, gdal.GDT_Byte)
raster.SetGeoTransform((0, 0.1, 0, 90, 0, ­0.1))
srs = osr.SpatialReference()
srs.ImportFromEPSG(4326)
raster.SetProjection(srs.ExportToWkt())
band = array2band(min,max,0,array)
tmpl = gdal.Open('template.vrt')
ds = gdal.GetDriverByName('Gtiff').CreateCopy(
filename,tmpl)
for i in range(1,5):
ds.GetRasterBand(i).WriteArray(band[i­1])
ds.FlushCache()

17. ●
タイルの生成は、python-gdalパッケージの gdal2tiles.pyコマ
ンドを使用するのだが....
●
指定したズームレベルの範囲で、全球のタイルを作ってしまう
– ズームレベル0-8で、87,381枚の画像を生成
– ズームレベル0-16で、5,726,623,060 枚....
– タイルの生成にものすごく時間がかかる
– ユーザーはすべてのタイルを見てくれるわけではない
●
で、あれば、クライアントが要求したタイルを、オンデマンド
で作るサーバを作ればよい

18. タイルマップサーバーの実装

19. ●
指定したズームレベルのタイルだけを生成するように
gdal2tiles.pyを修正
●
サーバーサイドのコードをPythonで書けば、修正した
gdal2tiles.pyの処理を直接呼べる
●
Apacheの拡張モジュールに、mod_pythonがある
# apt­get install libapache2­mod­python
# a2enmod python
# service apache2 restart

20. mod_python
●
apacheのpython拡張
●
CGIの置き換えを目的として開発された
●
CGIより速い
●
Handlerの指定で、Binding方式を選択できる
– URIを関数にマッピング (mod_python.publisher)
– CGIをエミュレート (mod_python.cgihandler)
– Python Server Page (mod_python.psp)
– WSGI (mod_python.wsgi)
●
今回はmod_python.publisherを採用

21. mod_python.publisher の例
●
http://example.org/hello.py/sayhello?name=OSM の
GETリクエスト が来た場合
– hello.pyのsayhello関数に、name=OSMが渡されて呼ば
れる
<Directory /some/path>
SetHandler mod_python
PythonHandler mod_python.publisher
</Directory>
def sayHello(req, name):
return 'Hello %s'%name

22. ブラウザからのリクエスト
●
タイルマップサービスのブラウザからのリクエストURIは
– http://BASEURL/VERSION/TILENAME/z/x/y.png
– 現在 VERSION は 1.0.0
●
mod_pythonで対応できるURIではない
– http://BASEURL/script.py/func?param1=...
●
mod_rewrite でURIを書き換える必要がある

23. mod_rewrite とは
●
mod_rewriteはApache Webサーバーにおいて、クライン
トからリクエストのあったURLの内部書き換えや、さまざ
まな環境変数等に応じたリダイレクトを可能とするモ
ジュール
●
正規表現を使用した柔軟なマッチングを行うことができ、
これを使用することで実際のディレクトリ構成に関係なく
自由にサイトURLのパス部分を構成することが出来る。
# apt­get install libapache2­mod­rewrite
# a2enmod rewrite
# service apache2 restart

24. ●
http://example.org/tile/1.00/sst/10/23/45.png
●
http://example.org/tile/1.00/sst/gettile.py/get?
z=10&x=23&y=45
●
<Directory "/var/www/tile/1.0.0/sst">
RewriteEngine On
RewriteBase /tile/1.0.0/sst/
RewriteRule ^([0­9]+)/([0­9]+)/([0­9]+).png
gettile.py/get?z=$1&x=$2&y=$3
AddHandler mod_python .py
PythonHandler mod_python.publisher
</Directory>

25. サーバサイドのコード
def get(req, z, x, y):
req.content_type = 'image/png'
g =
GDAL2Tiles(['/home/chome/public_html/tile/sst/map.
tiff','/var/www/tile/1.0.0/sst'])
g.open_input()
g.generate_tile(int(y),int(x),int(z))
with open('/var/www/tile/1.0.0/sst/%s/%s/
%s.png'%(z,x,y), 'rb') as f:
req.write(f.read())

26. クライアントサイドのコード
●
クライアント側の地図の描画は、OpenLayersやleaflet等
のオープンソースJavaScriptライブラリを使用する
– OpenStreetMapやGoogle Mapsを基盤図にできる
– TMSは、OpenLayers.Layer.TMS クラスを使えば簡単に
オーバーレイできる
– サンプルが豊富
– http://openlayers.org

27. 今後の拡張
●
表示スケールを変更可能にする
– 現在はスケールが固定されている。最初のGeoTiffを作
成する時に決まってしまう。
– ダイナミックにタイルを生成しているならば、スケール
を自由に変更できるはず
●
（もしもニーズがあるのなら）GeoTiffをアップロードす
ると、タイルマップサービスを作ることができるWebサー
ビスとか....

28. まとめ
●
既存のOSSをかき集めて、タイルマップサービスを作ってみま
した。
●
mod_tileとか他のすごい実装がすでにありまが、GeoTiffを用
意するだけで、タイルマップサービスを提供することができま
す。
●
aerial-proj.org で、今回作成した地球観測データを可視化した
TMSを公開しています。
– http://tms.aerial-proj.org/amsr2/sst/
– このサーバはIDCフロンティア様のサポートをうけておりま
す