More Related Content
Similar to Gis tools for hadoopを用いたビッグデータ処理の検証 (20)
More from Kazutaka ishizaki (14)
Gis tools for hadoopを用いたビッグデータ処理の検証
- 9. Hadoopを利用するには 2
ディストリビューションから利用
• Cloudera CHD Clouders’s Distribution including Apache Hadoop
http://www.cloudera.com/hadoop/
• Hortonworks HDP
Hortonworks Data Platform
http://hortonworks.com
※ エディションにより有償
9
- 15. GIS Tools for Hadoop とは
• Esri社が開発したツール
※Esri社のサポート対象外です
•
•
•
•
Hadoopを利用して空間分析が可能
ArcGISとHadoopの連係が可能
ライセンスはApache License, Version 2.0
Open Source
15
- 16. GIS Tools for Hadoop の構成
• Esri Geometry API for Java
Hadoopを利用した空間解析API
• Spatial Framework for Hadoop
Esri Json等のAPI
Hiveから利用可能
• GeoProcessing Tools for Hadoop
ArcGIS DesktopとHadoop間の相互交換
16
- 17. GIS Tools for Hadoopドキュメント類
• Esri Geometry API for Java APIドキュメント
http://esri.github.io/geometry-api-java/javadoc/
• Spatial Framework for Hadoop APIドキュメント
http://esri.github.io/spatial-framework-for-hadoop/json/
• Spatial Framework for Hadoop UDFドキュメント
https://github.com/Esri/spatial-framework-for-hadoop/wiki/UDF-Documentation
17
- 18. Esri Geometry API for Java API
APIの例
• contains
フィーチャ1がフィーチャ2に含まれるか
• Crosses
フィーチャ1がフィーチャ2に交差しているか
• Buffer
フィーチャに指定距離のバッファ作成
18
- 19. Spatial Framework for Hadoop
UDFの例
• ST_Polygon
座標からポリゴン作成
• ST_Length
長さ計算
• ST_Intersects
重なる図形の重なりを計算
19
- 20. ダウンロード先
• Esri Geometry API for Java
https://github.com/esri/geometry-api-java
• Spatial Framework for Hadoop
https://github.com/Esri/spatial-framework-for-hadoop
• GeoProcessing Tools for Hadoop
https://github.com/Esri/geoprocessing-tools-for-hadoop
• サンプル
https://github.com/Esri/gis-tools-for-hadoop
20
- 25. GIS Tools for Hadoop、ArcGIS 比較
GIS Tools for Hadoop の構成
Windows7 Ultimate x64
Xeon 2.40GHz
メモリ 8GB
ArcGIS 10.1 for Desktop Basic
CentOS5.6 x64
CentOS5.6 x64
Xeon 2.40GHz
メモリ 16GB
Oracle JDK
Java Ver 1.7.0_25
Oracle JDK
Java Ver 1.7.0_25
ArcGISの構成
Windows7 Ultimate x64
Xeon 2.40GHz
メモリ 8GB
25
ArcGIS 10.1 for Desktop Basic
- 28. GIS Tools for Hadoopの検証
6,779ポリゴン →
ESRI JSON
ESRI JSON →
HDFS
HDFS →
ESRI JSON
6,779ポリゴンの市町村界に
272,693ポイントの位置参照情報の街区レベル情報
が含まれるか処理
ESRI JOSN →
GeoDatabase テーブル
6,779ポリゴンの市町村界
に合計値を付与
28
- 29. 検証結果
ArcGIS
GIS Tools for Hadoop
変換時間
結果不一致数
GIS Tools for Hadoop
2分28秒
7 / 188市区町村
ArcGIS
7分41秒
※ ArcGISの処理は面積の大きい
ポリゴンに合計値を付与
29
- 31. まとめ
GIS Tools for Hadoopを利用する事で
• ArcGISで作成していた処理を移行
• 今まで時間を要していたタスクを分散処理
• 変換時間の短縮
31