オープンデータ・ビッグ
データ
ほんとうに怖い日本の
世界最先端IT国家創造
 平成25年6月14日 閣議決定されました
 日本は最先端のIT国家になるんだぞ
おーーーー!という宣言で、微に入り細
に入りかかれています。
 http://www.kantei.go.jp/jp/singi/it2/kettei/pdf
/20130614/siryou1.pdf
しかし、つっこみどころ満載
IT農業で、このご時世にバリュー
チェーンとかいっちゃってるし、市販
の次世代テレビはスマートテレビで
4K,8Kにするんだとかはりきっ
ちゃってるし。あげくIT人材の育成の
評価方法は研修実施人数だ!なんて
ありさま。
読んだ感想
 タグ:おもしろ
 すっげダメそう・・・(悲観)
 パブコメ募集してたので盛大につっこん
だけど決定された本文をみたら変更あま
りなかった…
 でも、評価できるところもあって、その
中でも「オープンデータ・ビッグデータ
の活用の推進」というのがあってこれは
とてもよい
 データ構造についてガイドラインが設定
されているのだけど、このガイドライン
をつくったひとからは技術の匂いを感じ
る。
 少しだけ未来が見えてきたぞ!(希望)
 数値(表)、文章、地理空間情報のデー
タ作成に当たっての留意事項(ガイドラ
イン別添)(案)
 http://www.kantei.go.jp/jp/singi/it2/info/h250
524-g2.pdf
 紙で配布するための印刷のためのレイア
ウトから集計しやすいデータフォーマッ
トに変更!これかいた人偉い!!
ちなみに自民党案
新たなICT戦略に関する提言
デジタル・ニッポン2013
-ICTで、日本を取り戻す。-
 https://www.jimin.jp/policy/policy_topics/121208
.html
ICTによる国土強靭化と経済成長
コンクリートに
ICTを
 おい、誰か止めろ!!(懇願)
で、ようやく本題!!
 「独立行政法人 統計センター」(nstac)
がオープンデータのためのAPIを公開した
ぞ!!
 「独立行政法人 統計センター」というな
んかいかにもな独立行政法人。
 http://www.nstac.go.jp/
 「オープンデータ流通推進コンソーシア
ム」というなんかいかにもな業界団体。
 http://www.opendata.gr.jp/
日経オープンデータ情報ポータル
 このAPIをつかって日経さんががんばって
実験サイトをつくっていてすごくよくで
きてます。
 オープンデータ、データジャーナリズム
に関する情報と実験のサイトです。
 http://opendata.nikkei.co.jp/
 d3.jsとBootstrap これは楽しそうだ!
さっそくnstacにいってみよう!
 アプリケーションIDとかを発行してもら
うために、ユーザ登録が必要まあ、しょ
うがないよね。ふむふむ。
 でAPI仕様とにらめっこ。
 API仕様
 http://statdb.nstac.go.jp/wp/wp-
content/uploads/2013/06/API-spec.pdf
USAGEが一本もない
 なんのデータがあるのか分類コードとか
もドキュメントにない。
 検索キーに発行団体のコードが必要だが
これも何を指定してよいかわからない。
必須項目だけ埋めて投げてみるか・・・
↓
帰ってこない
↓
必須項目以外の仕様を確認する・・・
「データの取得行数を指定して下さ
い。省略時は10万件です。」
省略時は
10万件です
 殺す気かっ・・・!というか死んだ。う
さ毛が一本も生えてない理由がわかった。
レスポンス重いのに、なにこの実行した
ら止まらない感。これが伝説の官僚モー
ドかッ
 ちなみにデフォでxmlなので、データ容量
がたいしたことなくてもメタ部分が大量
にあって猛烈に重たいです。
ちょっとしたブラクラ…
 良い子のためにたった50行に絞ったusage
をあげておこう。
 統計表ID(statsDataId)を直指定したもの
(全国物価統計調査のデータ)
 http://statdb.nstac.go.jp/api/1.0b/app/getStat
sData?appId=6da587c6e6c8cfbf4ecadc9cfbb
d49da5aad074c&lang=J&statsDataId=000010
0080&limit=50
 ちなみにjsonモード appのあとにjsonを入
れるだけ
 http://statdb.nstac.go.jp/api/1.0b/app/json/ge
tStatsData?appId=6da587c6e6c8cfbf4ecadc9
cfbbd49da5aad074c&lang=J&statsDataId=00
00100080&limit=50
 これで呼び出すとこうなります。
 {"GET_STATS_DATA":{"RESULT":{"STATUS":3
04,"ERROR_MSG":"抽出件数が100000件
を超えるため、JSON形式では取得でき
ません。絞り込み条件を見直すか、XML
形式で取得して下さい。","DATE":"2013-07-
12T18:48:42.447+09:00"},"PARAMETER":{"LA
NG":"J","STATS_DATA_ID":"0000100080","D
ATA_FORMAT":"J","START_POSITION":1,"LI
MIT":50,"METAGET_FLG":"Y"}}}
 いや、おかしいだろ・・・。
 なんでIDで呼び出しデータ指定してるの
に10万件以上なんだよ。
 誰かレコードセット全部取得しなくても
limit句つかえばいいよと教えてあげてく
ださい。
というわけで日本の未来は明るい
やることがいっぱいあるのはいいことだ
(楽観)
おまけ
 APIにもいろいろ種類があるのでほかの
USAGEかいておくよ。あと、データコードが
ないと使えないので少しみつけておいたよ。
 政府統計一覧
 http://www.stat.go.jp/info/guide/public/keikaku/
pdf/beshi1.pdf
 政府統計コード
 http://www.stat.go.jp/info/guide/public/code/pdf
/code.pdf
USAG 統計表情報取得
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsLi
st?appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5
aad074c&lang=J&surveyYears=200501-201212
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsLi
st?appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5
aad074c&lang=J&surveyYears=200701-
200912&stasField=00200&statsCode=00200572
メタ情報取得
 http://statdb.nstac.go.jp/api/1.0b/app/getMet
aInfo?appId=6da587c6e6c8cfbf4ecadc9cfbbd
49da5aad074c&lang=J&statsDataId=XXXX
統計データ取得 (死亡注意)
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsData?
appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074
c&lang=J&statsDataId=0000100080&limit=500
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsList?a
ppId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074c
&lang=J&surveyYears=200701-
200912&stasField=00200&statsCode=00200572
 http://statdb.nstac.go.jp/api/1.0b/app/getMetaInfo?
appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074
c&lang=J&statsDataId=0000100080
ちなみに日経さんは
 Api直接コール&集計ではなくて
 http://opendata.nikkei.co.jp/demo/statdb/jap
an_topo_with_properties.json
 こんな感じで自前で集計済みのものをス
タックしてました。

本当は怖いオープンデータ・ビッグデータ