Download as PDF, PPTX
Uploaded byHiroaki Sengoku
Pythonではじめるロケーションデータ解析
PyDataTokyoでの発表資料をアップしました。 http://pydatatokyo.connpass.com/ スマートフォンやセンサーデバイスの普及に伴い、「ロケーション・インテリジェンス」と言われるように、位置情報データの解析が盛んになってきています。本発表では、地図オタクが位置情報データを扱う上でぶつかる特有の問題やPythonライブラリを活用した対処方法を紹介します。位置情報データにまつわる解析事例も交えつつ、地図の世界に誘います。 参考） https://www.youtube.com/watch?v=2sXKpj9Z91k https://www.youtube.com/watch?v=dnPIwmlphII
More Related Content
![SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts120220608ssiitransformerr2-220607054025-3adacf07-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向](https://cdn.slidesharecdn.com/ss_thumbnails/os2-03latest-210610045610-thumbnail.jpg?width=640&height=640&fit=bounds)
Pythonではじめるロケーションデータ解析
- 1.
- 2. ⾃⼰紹介 22 株式会社マイクロベース CEO 博⼠号（環境学） 専⾨：GIS, リモートセンシング,統計学 趣味：simcity, ロードバイク 仙⽯裕明 @xianshiyuming
- 3.
- 4.
- 5. 株式会社マイクロベース 代表取締役CEO 仙⽯裕明 取締役COO 富川蓉⼦ あらゆる情報を地図上に集約し、「すぐに⾒え る、すぐに分かる」を実現する 都市の将来成⻑ポテンシャルをシミュレーションす るための 分析プラットフォーム・ミクロな地理空 間情報データを開発 2013年３⽉、代表の仙⽯が、東京⼤学⼤学院博⼠ 課程在学中に設⽴。2014年12⽉株式会社化。 Real版SimCity© 2014 Electronic Arts Inc.を⽬指し、あら ゆる情報を地図上に集約可能なプラットフォームの 開発を始める。 会社概要 5 会社名 役員 ミッショ ン 事業概要 沿⾰ ⽇経ビッグデータに掲載 http://business.nikkeibp.co.jp/atclbdt/15/258673/092800035/
- 6.
- 7.
- 8. AGENDA 88 • ロケーションデータとは • めっちゃ助かるPythonライブラリ •ロケーションデータ解析事例 • 今後どうなっていく？
- 9. AGENDA 99 • ロケーションデータとは • めっちゃ助かるPythonライブラリ •ロケーションデータ解析事例 • 今後どうなっていく？
- 10.
- 11. ロケーションデータの種類 ロケーションデータは⼤きく２種類あります. • ラスター（raster）形式 例）JPEG,PNG, TIFF • ベクター（vector）形式 例）シェープファイル（.shp） 例えば「川」と「橋」を表現すると… 11 ベクター形式 始点と終点と それをつなぐ 線として表現 される ラスター形式 ⾊の付いたド ット（点）の 集まりで表現 される
- 12. NAME AREA PERIMETER 0A棟 18352 644 1 B棟 22496 756 2 中庭 22050 602 3 ⽣協購買 7548 352 4 ポスト NA NA 5 道路 NA NA 中庭 A棟 ⽣協購買 B棟 ・ポスト ポイントデータ（点） 例）住所情報, スマートフォンのGPSデータ，店舗データ ラインデータ（線） 例）道路データ，鉄道データ，河川データ ポリゴンデータ（⾯） 例）市区町村の形状データ，建物データ 【3種類の地物（フィーチャ）】 12 ロケーションデータの構造
- 13. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3.データがなかなか⼿に⼊らない、⾼い 13
- 14. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3.データがなかなか⼿に⼊らない、⾼い 14
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. ※詳細は国⼟地理院のウェブサイト（http://www.gsi.go.jp/LAW/G2000-g2000.htm）をご覧ください！ 引⽤： 国⼟地理院 http://vldb.gsi.go.jp/sokuchi/datum/tokyodatum.html • 世界測地系1984WGS84 ⽶国が構築・維持している世界測地系で，GPSによるナビゲ－ションの位 置表⽰の基準として⽤いられています．原点は地球の中⼼． • ⽇本測地系2000 JGD2000 2002年の改正測量法にもとづき，準拠楕円体をWGS84楕円体とほぼ同⼀ のGRS80楕円体にして定められた座標系．原点はWGS84と同じく地球の 中⼼．世界測地系，新⽇本測地系，⽇本測地系2000など，さまざまな名前 で呼ばれています． • 旧⽇本測地系 Tokyo 明治新政府が全国に整備した三⾓点の測量（三⾓測量）によって定められ た座標系．準拠楕円体はBessel楕円体，原点は東京のロシア⼤使館の敷地 裏⼿（旧東京天⽂台）にあります．JGD2000と同様に，⽇本測地系，旧⽇ 本測地系，旧測地系など，複数の呼び名があります． 今⽇，⽇本でよく使われる地理座標系には以下の3種類があります． 座標系の種類 20
- 21. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3.データがなかなか⼿に⼊らない、⾼い 21
- 22. • 会員情報の住所 • ニュース記事の 地理的キーワー ドetc データ解析するまでのプロセスが⻑い GO！ 緯度経度や メートル等の 座標になって いる！ 22
- 23. 住所ジオコーディングとは？ GIS上取り込みたいデータがもつ住所情報をもとにして， 緯度経度などの定量的な位置情報（座標値）を付与することを 住所ジオコーディング（address geocoding）といいます． 施設名 住所 新宿アルタ東京都新宿区新宿3丁目24-3 札幌市時計台 北海道札幌市中央区 北1条西2丁目1-1 東大寺 奈良県奈良市雑司町406-1 首里城 沖縄県那覇市首里当蔵町3丁目1 施設名 住所 経度 経度 新宿アルタ 東京都新宿区新宿3丁目24-3 139.7012913 35.6926208 札幌市時計台 北海道札幌市中央区 北1条西2丁目1-1 141.3540735 43.0631485 東大寺 奈良県奈良市雑司町406-1 135.8392526 34.6869178 首里城 沖縄県那覇市首里当蔵町3丁目1 127.7179785 26.2172938 XY情報をもとに GIS上にプロット X Y 23
- 24. 何が⼤変か？ 1. データの扱いが特殊 2. 加⼯が⾯倒 3.データがなかなか⼿に⼊らない、⾼い
- 25.
- 26.
- 27. AGENDA 2727 • ロケーションデータとは • めっちゃ助かるPythonライブラリ •ロケーションデータ解析事例 • 今後どうなっていく？
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35. AGENDA 3535 • ロケーションデータとは • めっちゃ助かるPythonライブラリ •ロケーションデータ解析事例 • 今後どうなっていく？
- 36.
- 37.
- 38.
- 39. 空間的⾃⼰相関 モランI統計量 Moran's I( -1.0 < I < 1.0) 空間的な連続性を定義するために空間的位置関係の 隣接性から地区間の連結性⾏列w（空間重み付け⾏ 列）を作成し、隣接地区間で属性の共変動関係を定 義 Xは属性値 Anselin (1988), LeSage and Pace (2009) 39
- 40. 空間的⾃⼰相関 install.packages("spdep") library(spdep) data(oldcol) crime <- COL.OLD$CRIME plot(COL.nb,coords = cbind(COL.OLD$X, COL.OLD$Y)) col.W <- nb2listw(COL.nb, style = "W") str(moran(crime, col.W, length(COL.nb), Szero(col.W))) moran(crime, col.W, length(COL.nb), Szero(col.W)) moran.test(crime, nb2listw(COL.nb, style = "W")) Rの例（オハイオ州） http://web.sfc.keio.ac.jp/~maunz/wiki/index.php?asakura_sp_chap05 より詳しくは、慶應義塾⼤学古⾕准教授のページが参考になります 40
- 41.
- 42. gdal_grid -zfield variable-of GTiff input_path output_path （おまけ）単純なヒートマップをつくりたいだけなら GDAL(Geospatial Data Abstraction Library)を⼊れるとら っくらく〜！！ GDALはラスターデータのメタデータの検索（gdalinfo）や 、データフォーマットの変換（gdal_gransform, gdalwarp ）などが可能なPythonライブラリ 42
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. ダウンスケーリング Hessami, M., Quarda,T.B.M.J., Gachon, P., St-Hailaire, A., Selva, F. and Bobee, B., “Evaluation of statistical downscaling method over several regions of eastern Canada”, 57th Canadian water resources association annual congress, 2004. 気象分野において、将来の気候変動をモデル化した GCMs(Global Climate Models)によって作成された データを精細化 ローカルに観測された気象デ ータからモデルを作成し、 GCMsに適⽤ http://epscorspo.nevada.edu/nsf/climate1/climate10.htmlhttps://www.ral.ucar.edu/projects/conus-downscaling 53
- 54. 擬似的に居住属性を生成 ⼈⼝を対象としたダウンスケーリング 町丁目単位 500mメッシュ単位 住居と世帯の関係を示す延床面積別 一般世帯数や世帯の家族類型別世帯数 Gallego J., Downscalingpopulation density in the European Union with a land cover map and a point survey, JRC-Ispra. ローカルスケールで取得可能 なデータ 54
- 55. 第8表 住宅の建て方（7区分）別住宅に住む主世帯数，主世帯人員及び1世帯当たり人員 −町丁・字等 平成22年国勢調査小地域集計 （総務省統計局） 1)住居選定および居住可能世帯数の推定 町丁目単位において、建物種別世帯数が取得可能。町丁目単位において統計表と整合するように、住 居となる建物・世帯数を特定。共同住宅の階数・部屋数は建物面積・用途地域をもとにランダムフォ レストで推定後、国勢調査の世帯数に一致するように部分調整 55
- 56. 平成22年国勢調査人口等基本集計（総務省統計局） 第29表 世帯の家族類型(16区分)，住居の種類・住宅の所有の関係(3区分)，延べ面積 (14区分)別一般世帯数及び一般世帯人員(3世代世帯−特掲) −人口20万以上の市 2)居住者人数および家族類型の推定 町丁目単位において部屋面積別世帯数が取得可能。さらに市区町村単位において、部屋面積別家族類 型が取得可能。先と同様、統計表と整合するように、住居となる建物・世帯数を特定 56
- 57.
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65. AGENDA 6565 • ロケーションデータとは • めっちゃ助かるPythonライブラリ •ロケーションデータ解析事例 • 今後どうなっていく？
- 66.
- 67.
- 68. まとめ ロケーションデータは、 • データクレンジングが大変。オープンソースのライブラリは充 実しているが、やや専門的知識が伴う。 • 不完全なケースが多い。学問的には補間 を行うことで、対応 してきた。完成度の高いデータを使えるようにするために 補 間 があると便利。 • スマホやセンサデバイスのように、情報取得源が劇的に増加し ているものの、まだまだ分析フレームワークが確立していない フロンティア。 • 大変だけど、がんばりましょう！！（笑） 68