オープンデータ

1,057 views

Published on

2013/7/16 プログラマーズカフェ10分LT資料

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,057
On SlideShare
0
From Embeds
0
Number of Embeds
402
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

オープンデータ

  1. 1. オープンデータ・ビッグ データ ほんとうに怖い日本の
  2. 2. 世界最先端IT国家創造  平成25年6月14日 閣議決定されました  日本は最先端のIT国家になるんだぞ おーーーー!という宣言で、微に入り細 に入りかかれています。  http://www.kantei.go.jp/jp/singi/it2/kettei/pdf /20130614/siryou1.pdf
  3. 3. しかし、つっこみどころ満載 IT農業で、このご時世にバリュー チェーンとかいっちゃってるし、市販 の次世代テレビはスマートテレビで 4K,8Kにするんだとかはりきっ ちゃってるし。あげくIT人材の育成の 評価方法は研修実施人数だ!なんて ありさま。
  4. 4. 読んだ感想  タグ:おもしろ  すっげダメそう・・・(悲観)  パブコメ募集してたので盛大につっこん だけど決定された本文をみたら変更あま りなかった…
  5. 5.  でも、評価できるところもあって、その 中でも「オープンデータ・ビッグデータ の活用の推進」というのがあってこれは とてもよい  データ構造についてガイドラインが設定 されているのだけど、このガイドライン をつくったひとからは技術の匂いを感じ る。  少しだけ未来が見えてきたぞ!(希望)
  6. 6.  数値(表)、文章、地理空間情報のデー タ作成に当たっての留意事項(ガイドラ イン別添)(案)  http://www.kantei.go.jp/jp/singi/it2/info/h250 524-g2.pdf  紙で配布するための印刷のためのレイア ウトから集計しやすいデータフォーマッ トに変更!これかいた人偉い!!
  7. 7. ちなみに自民党案 新たなICT戦略に関する提言 デジタル・ニッポン2013 -ICTで、日本を取り戻す。-  https://www.jimin.jp/policy/policy_topics/121208 .html
  8. 8. ICTによる国土強靭化と経済成長 コンクリートに ICTを  おい、誰か止めろ!!(懇願)
  9. 9. で、ようやく本題!!  「独立行政法人 統計センター」(nstac) がオープンデータのためのAPIを公開した ぞ!!  「独立行政法人 統計センター」というな んかいかにもな独立行政法人。  http://www.nstac.go.jp/  「オープンデータ流通推進コンソーシア ム」というなんかいかにもな業界団体。  http://www.opendata.gr.jp/
  10. 10. 日経オープンデータ情報ポータル  このAPIをつかって日経さんががんばって 実験サイトをつくっていてすごくよくで きてます。  オープンデータ、データジャーナリズム に関する情報と実験のサイトです。  http://opendata.nikkei.co.jp/  d3.jsとBootstrap これは楽しそうだ!
  11. 11. さっそくnstacにいってみよう!  アプリケーションIDとかを発行してもら うために、ユーザ登録が必要まあ、しょ うがないよね。ふむふむ。  でAPI仕様とにらめっこ。  API仕様  http://statdb.nstac.go.jp/wp/wp- content/uploads/2013/06/API-spec.pdf
  12. 12. USAGEが一本もない
  13. 13.  なんのデータがあるのか分類コードとか もドキュメントにない。  検索キーに発行団体のコードが必要だが これも何を指定してよいかわからない。
  14. 14. 必須項目だけ埋めて投げてみるか・・・ ↓ 帰ってこない ↓ 必須項目以外の仕様を確認する・・・
  15. 15. 「データの取得行数を指定して下さ い。省略時は10万件です。」
  16. 16. 省略時は 10万件です
  17. 17.  殺す気かっ・・・!というか死んだ。う さ毛が一本も生えてない理由がわかった。 レスポンス重いのに、なにこの実行した ら止まらない感。これが伝説の官僚モー ドかッ  ちなみにデフォでxmlなので、データ容量 がたいしたことなくてもメタ部分が大量 にあって猛烈に重たいです。
  18. 18. ちょっとしたブラクラ…  良い子のためにたった50行に絞ったusage をあげておこう。  統計表ID(statsDataId)を直指定したもの (全国物価統計調査のデータ)  http://statdb.nstac.go.jp/api/1.0b/app/getStat sData?appId=6da587c6e6c8cfbf4ecadc9cfbb d49da5aad074c&lang=J&statsDataId=000010 0080&limit=50
  19. 19.  ちなみにjsonモード appのあとにjsonを入 れるだけ  http://statdb.nstac.go.jp/api/1.0b/app/json/ge tStatsData?appId=6da587c6e6c8cfbf4ecadc9 cfbbd49da5aad074c&lang=J&statsDataId=00 00100080&limit=50
  20. 20.  これで呼び出すとこうなります。
  21. 21.  {"GET_STATS_DATA":{"RESULT":{"STATUS":3 04,"ERROR_MSG":"抽出件数が100000件 を超えるため、JSON形式では取得でき ません。絞り込み条件を見直すか、XML 形式で取得して下さい。","DATE":"2013-07- 12T18:48:42.447+09:00"},"PARAMETER":{"LA NG":"J","STATS_DATA_ID":"0000100080","D ATA_FORMAT":"J","START_POSITION":1,"LI MIT":50,"METAGET_FLG":"Y"}}}
  22. 22.  いや、おかしいだろ・・・。  なんでIDで呼び出しデータ指定してるの に10万件以上なんだよ。  誰かレコードセット全部取得しなくても limit句つかえばいいよと教えてあげてく ださい。
  23. 23. というわけで日本の未来は明るい やることがいっぱいあるのはいいことだ (楽観)
  24. 24. おまけ  APIにもいろいろ種類があるのでほかの USAGEかいておくよ。あと、データコードが ないと使えないので少しみつけておいたよ。  政府統計一覧  http://www.stat.go.jp/info/guide/public/keikaku/ pdf/beshi1.pdf  政府統計コード  http://www.stat.go.jp/info/guide/public/code/pdf /code.pdf
  25. 25. USAG 統計表情報取得  http://statdb.nstac.go.jp/api/1.0b/app/getStatsLi st?appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5 aad074c&lang=J&surveyYears=200501-201212  http://statdb.nstac.go.jp/api/1.0b/app/getStatsLi st?appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5 aad074c&lang=J&surveyYears=200701- 200912&stasField=00200&statsCode=00200572
  26. 26. メタ情報取得  http://statdb.nstac.go.jp/api/1.0b/app/getMet aInfo?appId=6da587c6e6c8cfbf4ecadc9cfbbd 49da5aad074c&lang=J&statsDataId=XXXX
  27. 27. 統計データ取得 (死亡注意)  http://statdb.nstac.go.jp/api/1.0b/app/getStatsData? appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074 c&lang=J&statsDataId=0000100080&limit=500  http://statdb.nstac.go.jp/api/1.0b/app/getStatsList?a ppId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074c &lang=J&surveyYears=200701- 200912&stasField=00200&statsCode=00200572  http://statdb.nstac.go.jp/api/1.0b/app/getMetaInfo? appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074 c&lang=J&statsDataId=0000100080
  28. 28. ちなみに日経さんは  Api直接コール&集計ではなくて  http://opendata.nikkei.co.jp/demo/statdb/jap an_topo_with_properties.json  こんな感じで自前で集計済みのものをス タックしてました。

×