Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

BADオープンデータ供養寺《一周忌》のスライド

BADオープンデータ供養寺《一周忌》のスライドです。

  • Login to see the comments

BADオープンデータ供養寺《一周忌》のスライド

  1. 1. 自己紹介 ・第一回RESASアプリ コンテスト最優秀賞受賞 ・「宮崎県の統計システムの 公募がすごい」の人間 ・ひなたGIS作者 ・マイナンバーの最初期にもがいた人 ・宮崎県職員(普通の事務屋さん) ・オープンデータ穏健派 ・泥酔プログラミングの使い手:ストロングゼロ派
  2. 2. 私が使っているツールなど 今日の発表
  3. 3. そ の 前 に 心 構 え を あ
  4. 4. バッドデータは一期一会
  5. 5. もう二度とこんなバッド データに出会えないかもし れない。 誠心誠意尽くしてもてなし ましよう。
  6. 6. 更に、これからのありかた
  7. 7. データサイエンティスト の次に来る職業
  8. 8. 「データマゾヒスト」
  9. 9. データが綺麗になっていくと 魂が浄化されるぅ
  10. 10. データマゾヒストにとって バッドデータはむしろ ご褒美
  11. 11. データ非暴力主義
  12. 12. 神は乗り越えられる 試練(バッドデータ)しか 与えない。
  13. 13. 汝の敵(バッドデータ)を 愛せよ。 「ルカの福音書 」6章 27節
  14. 14. 右の頬を打たれたら、左の頬 をも差し出しなさい 「マタイの福音書」第5章39節
  15. 15. データガンジー
  16. 16. グッドデータも暴力的 に扱いにくデータがあ る・・・
  17. 17. 戦わずにうけながそう・・ 魂の救済・・・・ 平和・・・・・・・・
  18. 18. ここから本題 グッドデータだけど扱いに くいデータの受け流し方
  19. 19. APIを叩いたらおど ろおどろしいJSON が・・・・・ 呪その1
  20. 20. {"GET_STATS_DATA":{"RESULT":{"STATUS":0,"ERROR_MSG":"¥u6B63¥u5E38¥u306B¥u7D42¥u4E86¥u3057¥u307E¥u3057¥u305F¥u3002","DATE":"201 9-09- 25T10:14:02.842+09:00"},"PARAMETER":{"LANG":"J","STATS_DATA_ID":"0000010101","NARROWING_COND":{"CODE_CAT01_SELECT":"A1101"},"DATA_F ORMAT":"J","START_POSITION":1,"LIMIT":100000,"METAGET_FLG":"N","CNT_GET_FLG":"N","SECTION_HEADER_FLG":1},"STATISTICAL_DATA":{"RESULT_INF" :{"TOTAL_NUMBER":2064,"FROM_NUMBER":1,"TO_NUMBER":2064},"TABLE_INF":{"@id":"0000010101","STAT_NAME":{"@code":"00200502","$":"¥u793E¥ u4F1A¥u30FB¥u4EBA¥u53E3¥u7D71¥u8A08¥u4F53¥u7CFB"},"GOV_ORG":{"@code":"00200","$":"¥u7DCF¥u52D9¥u7701"},"STATISTICS_NAME":"¥u90F D¥u9053¥u5E9C¥u770C¥u30C7¥u30FC¥u30BF ¥u57FA¥u790E¥u30C7¥u30FC¥u30BF","TITLE":{"@no":"0000010101","$":"¥uFF21¥u3000¥u4EBA¥u53E3¥u30FB¥u4E16¥u5E2F"},"CYCLE":"¥u5E74¥u5E A6¥u6B21","SURVEY_DATE":0,"OPEN_DATE":"2019-03- 08","SMALL_AREA":0,"COLLECT_AREA":"¥u5168¥u56FD","MAIN_CATEGORY":{"@code":"99","$":"¥u305D¥u306E¥u4ED6"},"SUB_CATEGORY":{"@code":"99" ,"$":"¥u305D¥u306E¥u4ED6"},"OVERALL_TOTAL_NUMBER":478656,"UPDATED_DATE":"2019-03- 08","STATISTICS_NAME_SPEC":{"TABULATION_CATEGORY":"¥u90FD¥u9053¥u5E9C¥u770C¥u30C7¥u30FC¥u30BF","TABULATION_SUB_CATEGORY1":" ¥u57FA¥u790E¥u30C7¥u30FC¥u30BF"},"DESCRIPTION":{"TABULATION_CATEGORY_EXPLANATION":"¥u793E¥u4F1A¥u30FB¥u4EBA¥u53E3¥u7D71¥u 8A08¥u4F53¥u7CFB¥u306E¥u90FD¥u9053¥u5E9C¥u770C¥u3054¥u3068¥u306B¥u96C6¥u8A08¥u3057¥u305F¥u30C7¥u30FC¥u30BF¥u3092¥u6 3D0¥u4F9B¥u3057¥u307E¥u3059¥u3002"},"TITLE_SPEC":{"TABLE_NAME":"¥uFF21¥u3000¥u4EBA¥u53E3¥u30FB¥u4E16¥u5E2F"}},"DATA_INF":{"NO TE":[{"@char":"***","$":"¥u8ABF¥u67FB¥u53C8¥u306F¥u96C6¥u8A08¥u3057¥u3066¥u3044¥u306A¥u3044¥u3082¥u306E"},{"@char":"- ","$":"¥u30C7¥u30FC¥u30BF¥u304C¥u5F97¥u3089¥u308C¥u306A¥u3044¥u3082¥u306E"},{"@char":"X","$":"¥u6570¥u5024¥u304C¥u79D8¥u533F¥ u3055¥u308C¥u3066¥u3044¥u308B¥u3082¥u306E"}],"VALUE":[{"@tab":"00001","@cat01":"A1101","@area":"00000","@time":"1975100000","@unit":"¥ u4EBA","$":"111939643"},{"@tab":"00001","@cat01":"A1101","@area":"00000","@time":"1976100000","@unit":"¥u4EBA","$":"113094000"},{"@tab":"00001"," @cat01":"A1101","@area":"00000","@time":"197710000 呪詛なのか・・・ オオオオォォ
  21. 21. おわかりいただけだろうか。 呪その1
  22. 22. Chromeに拡張機能を入れる。 Chromeに「JSONView」を インストールしてブラウザを 開くだけ・・・ 浄化その1
  23. 23. あら!なんと読みやす いんでしょう!
  24. 24. 呪その2 CSVが 文字化け・・・ WINえくせる
  25. 25. CSVが 文字化け・・・
  26. 26. BOMを付与する・・・。 WINエクセルはByteOrderMarkが あると文字化けしない・・・。 浄化その2
  27. 27. BOMを付与する・・・。 どうやって・・・ メモ帳で開いて上書き するだけ・・・
  28. 28. あら!不思議! 読めるわ!書けるわ! 避難所データだわ!
  29. 29. 巨大な GEOJSON・・ 呪その3 ハァ ハァ
  30. 30. 国土数値情報から 行政区域データの GEOJSONを取得 呪その3
  31. 31. QGIS
  32. 32. 細かいポリゴンはあ りがたい・・・ でもWEB用途はつら 呪その3
  33. 33. Mapshaper で超ダイエット https://mapshaper.org 浄化その3
  34. 34. 浄化その3 ポリゴンを超簡略化=byteが減る!
  35. 35. あら!不思議! データ量が減ったわ! 家計(web的)にやさしいわ!
  36. 36. やっかいなデータは おそらくなくならない。 ならば、各種ツールを駆使して バッドデータすら楽しむ 「データマゾヒスト」になろう! まとめ

×