Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
「地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!」
GIS Specialist 井内 一史
地図の世界がどんどん変わってきている…
© OpenStreetMap contributors
昔は地図ベンダーが整備していました。
→ 地理院さんの地図はそれはそれは
ハードルが高かった。
→ でも、ベンダー地図も、別な意味で
ハードルは高かったです。
GoogleMap
→ タダで使える時代へ
違うけど。
そんな中、オープン化の流れ
●OpenStreetMapも ●地理院さんも!
© OpenStreetMap contributors
さらに
充実
官民デー
タ活用推
進基本法
地理院さんの地図が変わるらしい
1. 主要道路・鉄道の即時公開
2. 内部利用・商用利用可(要届出)
3. ベクトルタイル公開
4. 地名データ公開 ← Good!
国土地理院 住居表示住所
http://www.gsi.go.jp/kihonjohochousa/jukyo_jusho.html
ではベンダー地図は?
→ 変わるらしい
1. 詳細地図作成
2. 3D地図作成
どうして
?
自動運転
https://www.gizmodo.jp/2015/09/post_18217.html
ドローンハイウェイ構想
https://iotnews.jp/archives/52621
みちびき
内閣府HPより
●正確な位置
●大量のデータ
データが増えてからでは本当に遅い!
今から準備をしましょう。
交通
人流
IoT
物流
これからのデータ
ベースをみつけま
した。
GPUを利用したビッグデータ
可視化製品 MapD
GPUを利用したビッグデータ可視化製品であるMapDを開発
2013年 ボストンで設立
Todd Mostak、Tom Graham 氏による
HQ サンフランシスコ
2017年5月 オープンソース化 Apache 2.0 Licence
Co...
● 大量データセットの分析・可視化
→ 数十億行も可能。
● 安く、そして速く
→ GPUを活用しています(集計、描画)。
● 地図データ連携による可視化(ただのDBではありません)
→ 大量データの傾向を把握できます。
→ GISデータ(km...
カラムナーデータベースの特性を活用し、
必要なデータだけをロードします。
ID NAME Value Date
1 AAA 1002 8/11...
2 BBB 33756 8/12...
... ... ... ...
ID NAME Val...
統計計算は、多くのGPUコアを使った並列処理です。
コア
集計
集計
集計
集計
● 固定長レコードをコアが並列
集計。
● SQL文はJITコンパイルされ、
実行される。
(環境依存しない中間コードを生成)
これまでのDB
検索結果は、
データ量が少ない画像の形式で返されます。
アプリケーションサーバー
(またはクライアント)
MapD
多い
OpenGL
少ない
Hot Record
行データ
行データ
アプリケーションサーバー
(またはクライア...
性能比較 その1
● 平均値
select avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -160, 50, -80, 4326);
select avg...
性能比較 その2
● GROUP BY
select uniquecarrier, count(*), avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -1...
MapD Immerse
OpenStreetMap
いままでは … これからは …
OpenStreetMap
● いいとこどりはできる?
Leaflet と MapD
[20171027 三木会] 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!<MapD詳解, デモ編> by 株式会社インサイトテクノロジー 井内 一史
[20171027 三木会] 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!<MapD詳解, デモ編> by 株式会社インサイトテクノロジー 井内 一史
[20171027 三木会] 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!<MapD詳解, デモ編> by 株式会社インサイトテクノロジー 井内 一史
[20171027 三木会] 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!<MapD詳解, デモ編> by 株式会社インサイトテクノロジー 井内 一史
Upcoming SlideShare
Loading in …5
×

[20171027 三木会] 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!<MapD詳解, デモ編> by 株式会社インサイトテクノロジー 井内 一史

599 views

Published on

ディープラーニング界隈で異常な盛り上がりを見せるGPUですが、ゲーム、画像処理、HPC、ディープラーニング以外の用途として、データベース処理の高速化への応用が期待されており、実際にMapD、Kinetica、SQreamなどの製品が登場しています。
今回の三木会では、GPUを使ったデータベースの仕組み、特徴について簡単に説明したうえで、今年オープンソース化されたGPUデータベースのMapDを使い、地図の上に大量のデータを重ねて評価を行ってみたデモをお見せします。その評価を通してわかったこと、向いてないこと、GISとの相性など、GPUデータベースの特徴とその可能性について紹介します。
<MapD詳解, デモ編>

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[20171027 三木会] 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!<MapD詳解, デモ編> by 株式会社インサイトテクノロジー 井内 一史

  1. 1. 「地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!」 GIS Specialist 井内 一史
  2. 2. 地図の世界がどんどん変わってきている… © OpenStreetMap contributors
  3. 3. 昔は地図ベンダーが整備していました。 → 地理院さんの地図はそれはそれは ハードルが高かった。 → でも、ベンダー地図も、別な意味で ハードルは高かったです。
  4. 4. GoogleMap → タダで使える時代へ 違うけど。
  5. 5. そんな中、オープン化の流れ ●OpenStreetMapも ●地理院さんも! © OpenStreetMap contributors さらに 充実 官民デー タ活用推 進基本法
  6. 6. 地理院さんの地図が変わるらしい 1. 主要道路・鉄道の即時公開 2. 内部利用・商用利用可(要届出) 3. ベクトルタイル公開 4. 地名データ公開 ← Good!
  7. 7. 国土地理院 住居表示住所 http://www.gsi.go.jp/kihonjohochousa/jukyo_jusho.html
  8. 8. ではベンダー地図は? → 変わるらしい 1. 詳細地図作成 2. 3D地図作成 どうして ?
  9. 9. 自動運転 https://www.gizmodo.jp/2015/09/post_18217.html
  10. 10. ドローンハイウェイ構想 https://iotnews.jp/archives/52621
  11. 11. みちびき 内閣府HPより
  12. 12. ●正確な位置 ●大量のデータ データが増えてからでは本当に遅い! 今から準備をしましょう。 交通 人流 IoT 物流
  13. 13. これからのデータ ベースをみつけま した。
  14. 14. GPUを利用したビッグデータ 可視化製品 MapD
  15. 15. GPUを利用したビッグデータ可視化製品であるMapDを開発 2013年 ボストンで設立 Todd Mostak、Tom Graham 氏による HQ サンフランシスコ 2017年5月 オープンソース化 Apache 2.0 Licence Community版の利用が可能に。
  16. 16. ● 大量データセットの分析・可視化 → 数十億行も可能。 ● 安く、そして速く → GPUを活用しています(集計、描画)。 ● 地図データ連携による可視化(ただのDBではありません) → 大量データの傾向を把握できます。 → GISデータ(kml、geojson、shp)インポートが可能です。 MapDの特長
  17. 17. カラムナーデータベースの特性を活用し、 必要なデータだけをロードします。 ID NAME Value Date 1 AAA 1002 8/11... 2 BBB 33756 8/12... ... ... ... ... ID NAME Value Date 1 03fac254 c90876ac 8/11... 2 03ff87b1 2ab096c9 8/12... ... ... ... ... 一般的な行指向データベース ・すべての列を読み込んでメモリ展開。 MapDのカラムナーデータベース ・必要な列だけ読み込んでメモリ展開。 ・できるだけGPUメモリに保持。 ・4,8,16バイトの固定長レコード(ポイン タアクセス可能) 17
  18. 18. 統計計算は、多くのGPUコアを使った並列処理です。 コア 集計 集計 集計 集計 ● 固定長レコードをコアが並列 集計。 ● SQL文はJITコンパイルされ、 実行される。 (環境依存しない中間コードを生成)
  19. 19. これまでのDB 検索結果は、 データ量が少ない画像の形式で返されます。 アプリケーションサーバー (またはクライアント) MapD 多い OpenGL 少ない Hot Record 行データ 行データ アプリケーションサーバー (またはクライアント) データ コア 19
  20. 20. 性能比較 その1 ● 平均値 select avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -160, 50, -80, 4326); select avg(arrdelay) from flights where origin_lon between -160 and -80 and origin_lat between 20 and 50; 空間インデクスが ない場合は32秒 空間インデクス なし
  21. 21. 性能比較 その2 ● GROUP BY select uniquecarrier, count(*), avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -160, 50, -80, 4326) group by uniquecarrier; select uniquecarrier, count(*), avg(arrdelay) from flights where origin_lon between -160 and -80 and origin_lat between 20 and 50 group by uniquecarrier; 空間インデクスが ない場合は61秒 空間インデクス なし
  22. 22. MapD Immerse OpenStreetMap いままでは … これからは … OpenStreetMap
  23. 23. ● いいとこどりはできる? Leaflet と MapD

×