1.
地図用データを高速処理！
オープンソースGPUデータベースMapDの
魅力に迫る！！

2.
今、GISが鬼熱い！
(Geographic Information System)
MariaDB/MySQL陣営も参入してきたGISの世界。
GISの匠(GIS歴20年)がデータベース技術者集団に転籍してきて
大注目のGPU DB：MapDに出会った。。。

3.
井内 一史（インサイトテクノロジー）
データベース
監査パッケージ
CADパッケージ
GISパッケージ
GIS業務システム
地図データベース
いまこ
こ
趣味：
地図データ入力は楽しい。
光半導体
今、GISが鬼熱いっ！
位置情報
動態管理

4.
地図入力はこんな感じ。

5.
１．GISの苦悩
２．データ膨張
３．そしていま、MapD。
４．MapDを検証してみます。
今日はこんなお話を…
今、GISが鬼熱いっ！

6.
GISの苦悩

7.
性能との闘いだった…
今ふり返ると、それは
今、GISが鬼熱いっ！

8.
ビッグデータだったのだとおもう。…
GISは、当初から
今、GISが鬼熱いっ！今、GISが鬼熱いっ！

9.
今、GISが鬼熱いっ！
はじめは CAD やりました。
ここに地図データを入れることを 無謀という。

10.
CAD図面を繋ぎ合わせれば 地図 ができるっ！
今、GISが鬼熱いっ！

11.
まぁ～動かない・・・
今、GISが鬼熱いっ！

12.
● スクロールできない
● 縮小できない
● さわるな！さわるな！
今、GISが鬼熱いっ！
やっぱりデータ量が多かったです！

13.
今日のポイント
今、GISが鬼熱いっ！
10,000図形は無理

14.
性能を出すために
どんなことをしたか。
今、GISが鬼熱いっ！

15.
型は int でないと無理。
今、GISが鬼熱いっ！
当初、座標値の
41.029384
41.30 24.72 W
文字列なんて論外
計算に時間がかかる

16.
分割保存
今、GISが鬼熱いっ！

17.
レイヤー分け
今、GISが鬼熱いっ！
元データ
データ量が多いときは
間引いて表示

18.
一般図をラスターに。
これは革命だったな～
今、GISが鬼熱いっ！
主題図（ベクター）
一般図（ラスター）
でも、一般図はクリックできないんですね（しかたないけど）。

19.
地図向けデータベース登場
PostGIS、MySQL
今、GISが鬼熱いっ！
ここでやっと
GeoHash
１
３ ４
２１
２３ ２4
２24

20.
ちゃんと使える
システムになってきた。
今、GISが鬼熱いっ！
だがしかし・・・

21.
それでもビッグデータは
大きすぎた。
今、GISが鬼熱いっ！
まだまだ増えるし～

22.
データ膨張
...とHWの進化

23.
データ量の変化
世界の情報量が年間59％の
割合で増加する時代に
今、GISが鬼熱いっ！
位置情報
動態管理

24.
CPU性能の変化
2003年ころ
今、GISが鬼熱いっ！
頭打ち。
どうすれば…

25.
一方で・・・

26.
GPU性能の変化
今、GISが鬼熱いっ！

27.
そこで、GPUの有効活用に
注目が集まりました。
今、GISが鬼熱いっ！
コア数は数千～

28.
ようこそ
ビッグデータの時代へ。
今、GISが鬼熱いっ！
いまの DB に満足できないあなたに～

29.
そしていま、MapD。
大注目のGPU DB：MapDに出会った。。。
(の割にはあまり日本では報告例がない）

30.
MapDは…
● MapDを提供している会社
● 2013年 ボストンで設立
Todd Mostak、Tom Graham 氏による
● HQ サンフランシスコ
● 2017年5月 オープンソース化 Apache 2.0 Licence
Community版の利用が可能に。
今、GISが鬼熱いっ！ 30

31.
資金を着実に集めています。
2017年ファンドBにより、New Enterprise Associates が筆頭投資家に。
その意向を受けてオープンソース化を進めた、とされる。
3月 NVIDIA Bronz
100k$
9月設立 3月 ファンド
Aシリーズ 10M$
3月ファンドB
シリーズ 25M$
今、GISが鬼熱いっ！
2014 2015 2016 2017 2018
いまこ
こ
2013
プロトタイプ
オープンソース化
31

32.
MapDは何が得意？ どんな特長なの？
・大量データセットの分析・可視化
→ 数十億行も。
・安く、そして速く
→ GPU活用（集計、描画）
・地図データ連携による可視化（ただのDBではない）
→ 大量データの傾向把握
→ GISデータ（kml、geojson、shp）インポート
・積極的な開発
→１－２Wごとにリビジョンアップ
今、GISが鬼熱いっ！ 32

33.
MapDのコンセプトは…
● カラムナーデータベース
● GPU並列処理
● GPU描画処理
今、GISが鬼熱いっ！
処理の流れ
1. GPU内にメモリ展開（CPU→GPU）
2. それを使って並列処理（GPU）
3. GPU内で描画処理をしてしまう（GPU）
4. そして、描画後の画像を送る（GPU→CPU→Client）。
33

34.
MapDの構成
https://www.mapd.com/platform/ より
今、GISが鬼熱いっ！ 34

35.
MapD Core はカラムナーデータベース
今、GISが鬼熱いっ！
ID NAME Value Date
1 AAA 1002 8/11...
２ BBB 33756 8/12...
... ... ... ...
ID NAME Value Date
1 03fac254 c90876ac 8/11...
２ 03ff87b1 2ab096c9 8/12...
... ... ... ...
一般的な行指向データベース
・すべての列を読み込んでメモリ展開。
MapDのカラムナーデータベース
・必要な列だけ読み込んでメモリ展開。
・できるだけGPUメモリに保持。
・4,8,16バイトの固定長レコード。
35

36.
GPU内で並列統計処理。
今、GISが鬼熱いっ！
コア
集計
集計
集計
集計
● 固定長レコードをコアが並列集
計。
● SQL文はJITコンパイルされ、実
行される。
（環境依存しない中間コードを生成）
36

37.
これまでのDB
GPUは、画像を返します。
（レンダリング機能）
アプリケーションサーバー
（またはクライアント）
MapD
多い
OpenGL
少ない
Hot Record
行データ
行データ
アプリケーションサーバー
（またはクライアント）
データ
コア
37

38.
ここまでくると、
バスの太さが気になってくる
今、GISが鬼熱いっ！
PCIe
16G/s
NVLink
80G/s
NVLink
80G/s一部の CPU のみ。
Intel は非サポート。
ほんとうのビッグデータにはもっと太い
バスがほしい。
→ 新しいハードウェアに期待も。
ディープラーニング向けDGX-1
38

39.
MapD Immerse は可視化クライアント。
大量データの分析に特化した可視化クライアント。
Vega（D3由来）をバックエンドで利用(vega-jsonファイルを受け取って表示）
・地図
・グラフ
・ヒートマップ
・など。
※GISプロットのとき、Knuth's Mutiplicative Hashメソッドを利用
※Vega I/F で結果をもらえば、他のプログラムでも連携できそう。
今、GISが鬼熱いっ！ 39

40.
Vega の利用イメージ
const exampleVega = {
"width": 733,
"height": 530,
"data": [
{
"name": "heatmap_query",
"sql": "SELECT lon as x, lat as y,
SUM(amount) as cnt
FROM contributions
WHERE (lon between -124.39 AND -66.94) AND
(lat between 20.61 AND 52.93) AND
amount > 0 AND
recipient_party = 'R'
GROUP BY x, y"
}
],
"scales": [...
今、GISが鬼熱いっ！
var vegaOptions = {}
var connector = new MapdCon()
.protocol("http")
.host("192.168.0.xxx”)
.dbName("mapd")
.user("mapd")
.password("******")
.connect(function(error, con) {
con.renderVega(1, JSON.stringify(exampleVega), vegaOptions,
function(error, result) {
if (error) { … }
else {
var blobUrl = `data:image/png;base64,${result.image}`
var body = document.querySelector('body')
var vegaImg = new Image()
vegaImg.src = blobUrl
body.append(vegaImg)
}
});
});
40

41.
MapDを検証してみます。

42.
検証用マシンスペック
Supermicro SYS-1027GR-TF+
NVIDIA Tesla P40 × 1
｜ コア数 3,840
│ メモリ 24G
│ 単精度演算 12TFLOPS
│ 消費電力 250W
Xeon E5-2620 (6core) ×2
DDR3-1333 384G
今、GISが鬼熱いっ！
Special thanks NVIDIA様、サンウェイテクノロジー様 42

43.
サンプルデータ
● フライトデータ
・2,000万件の発着、遅延の記録
今、GISが鬼熱いっ！
● MapD と PostGIS の比較
・MapD Core の性能
43

44.
INSERT 処理時間
バルクインサート
copy flights_test from '/Data/Data/flights/flights.csv' with (format csv);
今、GISが鬼熱いっ！ 44

45.
SELECT 処理時間
まずは件数。
select count(*) from flights where
st_x(origin_point) between 20 and 50 and
st_y(origin_point) between -160 and -80;
今、GISが鬼熱いっ！
PostGIS
45

46.
集計演算 SELECT AVG()
集計してみる。
select avg(遅延時間) from flights where
st_x(origin_point) between 20 and 50 and
st_y(origin_point) between -160 and -80;
今、GISが鬼熱いっ！
PostGIS
46

47.
集計演算 SELECT ... GROUP BY
GROUP BY してみる。
select uniquecarrier, count(*), avg(遅延時間) from flights where
st_x(origin_point) between 20 and 50 and
st_y(origin_point) between -160 and -80 group by uniquecarrier;
今、GISが鬼熱いっ！
PostGIS
47

48.
では、GPUを使わなかったら、どうなる？…
今、GISが鬼熱いっ！ 48

49.
MapDにはCPUモードもあるので、PostGIS と比較してみます。
今、GISが鬼熱いっ！
CPUモードでも速い
PostGIS
49

50.
初回が遅いのは、メモリ展開が必要だから。
今、GISが鬼熱いっ！
GPU を使うとどこまで速くなっている？
初回
2回目
初回
2回目
50

51.
まとめ：
～どうしてMapDはそんなに速いのか
今、GISが鬼熱いっ！
1. カラムナーデータベースだから。
（１）そもそも不要なカラムデータは持ってこない。
2. GPUコアが並列集計処理している。
3. GPUで描画しているから。
（１）GPUが得意な描画をしている。
（２）描画結果は PNG ファイルに。データ量がコンパクト。
51

52.
そこで、試してみました・・・
● Twitter つぶやき 1,500万件
● 降水量データ 560万件
● 犯罪発生マップ 600万件
● Taxi乗降記録 2億2千万件
52

53.
マシンスペックは同じです。
● NVIDIA Tesla P40 × 1
メモリ 24G （内、描画用に12Gを指定）
● CPU E5-2620 × 2
メモリ 384G
53

54.
Twitter つぶやき 1,000万件
今、GISが鬼熱いっ！ 54

55.
55

56.
シカゴ犯罪データ 600万件
今、GISが鬼熱いっ！ 56

57.
57

58.
NY Taxi ２億8千万件
今、GISが鬼熱いっ！ 58

59.
59

60.
今日のポイント
今、GISが鬼熱いっ！
100,000,000図形でも大丈夫！

61.
MapD の現状
61

62.
Community版とEnterprise版があります。
https://www.mapd.com/platform/downloads/ 今、GISが鬼熱いっ！ 62

63.
データサイズのめやす
GPU Count GPU RAM (GB) CPU RAM (GB) “Hot” Records
(NVIDIA P40) 8x GPU RAM L1
1 24 192 417M
2 48 384 834M
3 72 576 1.25B
～中略～
48 1,152 9,216 20.02B
56 1,344 10,752 23.35B
64 1,536 12,288 26.69B
128 3,072 24,576 53.38B
256 6,144 49,152 106.68B
MapDコンフィグレーションガイドより抜粋https://www.mapd.com/docs/latest/getting-started/hwRefCfgGuide/
今、GISが鬼熱いっ！ 63

64.
MapDの特徴 １
１．とにかく、類をみない速さ…
２．その速さを低投資・低消費電力で実現できる。
３．今までできなかったことができるようになった。
→ 大量データの分析・可視化が得意
４．ストリーミング形式で取り込みができる。
→ ログデータ収集できます
今、GISが鬼熱いっ！ 64

65.
MapDの特徴 ２
５．UPDATE、DELETEは今のところない（TRUNCATEは8月サポート）
６．GISの機能はこれから充実（するでしょう）
・図形レンダリング
・レイヤー重ね合わせ
・ラスター表示
・GPU－GPUの活用
今、GISが鬼熱いっ！ 65

66.
MapD まとめ

67.
大量のGISデータをそのまま描画することはほ
ぼ不可能。
67
今までは
MapDによって
それが現実的になった。
GISがますます盛り上がってきている。

68.
どんな用途？
・交通情報（自動車、空、海、鉄、...）
・通信情報
・人流情報
・気象情報（台風、海流、気流、地震、地殻変動、...）
・流通情報
・犯罪情報
・観光情報
・いわゆるIoT情報
・その他のビッグデータ（金融、医療、商取引、...）
今、GISが鬼熱いっ！
今後が楽しみなデータベースです
68

69.
まだ始めたばかりなので
まだまだ事例・データが足りていません。
ビッグデータをお持ちの方、
ご連絡お待ちしております。
今、GISが鬼熱いっ！ 69

70.
GISは今とっても鬼熱い！
ありがとうございました。
70