SlideShare a Scribd company logo
1 of 25
Download to read offline
http://codefor.tokyo/
データのありか
e-Stat
政府統計の総合窓口
http://www.e-stat.go.jp/SG1/estat/
eStatTopPortal.do
data.go.jp
データカタログサイト
http://www.data.go.jp/
e-Gov
e-Gov ¦ 白書、年次報告書等
http://www.e-gov.go.jp/link/
white_papers.html
e-Gov
e-Gov ¦ 統計調査結果
http://www.e-gov.go.jp/link/
statistics.html
統計関係リンク集
都道府県のページ
http://www.e-stat.go.jp/SG1/estat/
statisticsLinkView.do?method=
%E9%83%BD%E9%81%93%E5%BA%9C
%E7%9C%8C%E3%81%AE%E3%83%9A
%E3%83%BC%E3%82%B8
東京都の統計
http://www.toukei.metro.tokyo.jp/
Open Data Universe
http://codefor.tokyo/odd/
Tabula
PDFファイル内の表組から
データを取り出すツール
http://tabula.technology/
データの整形
扱い方のポイント
ExcelやPDFで公開されているファ
イルの作り方は、印刷やディスプレ
イ表示をした際に人が認識しやすい
書式で作られている。
!
一方データとして扱う場合には不要
な書式、不要な情報が多く含まれて
いる。これを取り除く必要がある。
行政の提供する統計データファイルはShift JISであることが多い。
1.文字コード
ExcelやAdobe Illustrator日本語版ではShift JISという文字
コードを採用している。
Shift JISは日本語のみの文字コードで、現在はUTF-8という
多様な言語体系を含んだ文字コードが標準的に使用されている。
扱い方のポイント
ウェブで使用するファイル、様々なアプリで使用するファイルは
UTF-8へ変換する必要がある。
MultiTextConverter
1.文字コード扱い方のポイント
http://www.rk-k.com/software/mtc
nkf
http://dev.classmethod.jp/tool/
exchange-file-encode-by-nkf/
mi
http://www.mimikaki.net/
※Excelで作業する前提です。
2.不 いな書式を える
実データの表記とExcelが適用する
表記法を切り分ける。
→Excelが適用する表記法をリセッ
トし、実データの表記のみが表示さ
れるようにする。
扱い方のポイント
Mac: 「書式」→「セル」
Windows: リボンメニュー「ホーム」
「表示形式」タブで標準(特定の形
式を指定しない)を選ぶ。
例:
数値における3桁ごとのカンマ区切り
を取り除く
例:
値が入る欄に単位も含まれている場
合があるので取り除く
例:
データとして使わない部分は取り除く
2.不 いな書式を える扱い方のポイント
Excel1シートに含まれるデータ 1グラフに必要なデータ
3.一シートに含まれる情報量扱い方のポイント
テキストエディタ → Excel という移動
4.アプリ間のデータ移動扱い方のポイント
CSV/TSVファイル
「ファイルを開く」
機能で開く
エディタからExcelへ
コピー&ペースト
1 2a
2b
csv, tsv…OK
csv…NG, tsv…OK
UTF-8…文字化けする
UTF-8…文字化けしない
Excel → テキストエディタ という移動
4.アプリ間のデータ移動扱い方のポイント
Excelファイル
CSV/TSVで保存し
たものを「ファイル
を開く」機能で開く
Excelからエディタへ
コピー&ペースト
1 2a
2b
4.アプリ間のデータ移動扱い方のポイント
Excel ←→ テキストエディタ間のデータの移動は
「TSV形式(タブ区切り形式)をコピペする」のが最も楽!
ベストプラクティス
•コラムごとのデータ形式の変換
•データ形式が間違っているものを検出(数値のコラムに
文字列がある、など)
•データの重複を探し出す
•表記揺れの解消
•エラー値の検出と処理
•空白の検出と処理
•使うアプリやプログラム言語に合わせた書式への変更
5.データのクレンジング扱い方のポイント
http://openrefine.org/
5.データのクレンジング扱い方のポイント
https://github.com/
DataVisualizationJapan/
OpenRefine/tree/
localization-to-ja
日本語版を
配布しています
※Javaのインストール
が必要です
データの組み合わせ方
東京 他の海外の都市を比較
東京のみ
地理的な範囲
東京 他の都道府県を比較
構成……パイチャート
関係性…散布図
分布……バブルチャート
比較……棒グラフ
変化……折れ線グラフ
グラフで何を表現するか?
変数の数
1つ
2つ
3∼4つ
1つ
1つ
地図で何を表現するか?
http://www.slideshare.net/yuichy/csis-map-140514
余談
http://www.data.go.jp/about-data-go-jp/

More Related Content

Viewers also liked

Viewers also liked (6)

Editorial e artigo de opinião
Editorial e artigo de opiniãoEditorial e artigo de opinião
Editorial e artigo de opinião
 
Leaflet tb paru risa
Leaflet tb paru risaLeaflet tb paru risa
Leaflet tb paru risa
 
federal reserve
federal reservefederal reserve
federal reserve
 
Discover Pydio
Discover Pydio Discover Pydio
Discover Pydio
 
Ekspose Kunjungan Dprd April 2008
Ekspose Kunjungan Dprd April 2008Ekspose Kunjungan Dprd April 2008
Ekspose Kunjungan Dprd April 2008
 
Resume_Navneet
Resume_NavneetResume_Navneet
Resume_Navneet
 

More from CodeForTokyo

Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016
Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016
Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016CodeForTokyo
 
わたしのシビックテックとは
わたしのシビックテックとはわたしのシビックテックとは
わたしのシビックテックとはCodeForTokyo
 
シビックテックとデザイン
シビックテックとデザインシビックテックとデザイン
シビックテックとデザインCodeForTokyo
 
シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」
シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」 シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」
シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」 CodeForTokyo
 
CfT「地域」「まち」を見る視点
CfT「地域」「まち」を見る視点CfT「地域」「まち」を見る視点
CfT「地域」「まち」を見る視点CodeForTokyo
 
TWDW SETAGAYA:住みたい街をつくる方法
TWDW SETAGAYA:住みたい街をつくる方法TWDW SETAGAYA:住みたい街をつくる方法
TWDW SETAGAYA:住みたい街をつくる方法CodeForTokyo
 
Open Data Day report for Brigade meeting
Open Data Day report for Brigade meetingOpen Data Day report for Brigade meeting
Open Data Day report for Brigade meetingCodeForTokyo
 
「データでみえるTokyoガイドブック」 をつくろう
「データでみえるTokyoガイドブック」 をつくろう「データでみえるTokyoガイドブック」 をつくろう
「データでみえるTokyoガイドブック」 をつくろうCodeForTokyo
 
ゼロからわかるシビックテック
ゼロからわかるシビックテック ゼロからわかるシビックテック
ゼロからわかるシビックテック CodeForTokyo
 
Code for Tokyoとは
Code for TokyoとはCode for Tokyoとは
Code for TokyoとはCodeForTokyo
 

More from CodeForTokyo (11)

Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016
Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016
Emotional Experience City: KOBE × BARCELONA WORLD DATA VIZ CHALLENGE 2016
 
IODD 2016
IODD 2016IODD 2016
IODD 2016
 
わたしのシビックテックとは
わたしのシビックテックとはわたしのシビックテックとは
わたしのシビックテックとは
 
シビックテックとデザイン
シビックテックとデザインシビックテックとデザイン
シビックテックとデザイン
 
シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」
シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」 シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」
シブヤ大学「ITを使った参加型まちづくりって何?アイディアで街を変えよう!」
 
CfT「地域」「まち」を見る視点
CfT「地域」「まち」を見る視点CfT「地域」「まち」を見る視点
CfT「地域」「まち」を見る視点
 
TWDW SETAGAYA:住みたい街をつくる方法
TWDW SETAGAYA:住みたい街をつくる方法TWDW SETAGAYA:住みたい街をつくる方法
TWDW SETAGAYA:住みたい街をつくる方法
 
Open Data Day report for Brigade meeting
Open Data Day report for Brigade meetingOpen Data Day report for Brigade meeting
Open Data Day report for Brigade meeting
 
「データでみえるTokyoガイドブック」 をつくろう
「データでみえるTokyoガイドブック」 をつくろう「データでみえるTokyoガイドブック」 をつくろう
「データでみえるTokyoガイドブック」 をつくろう
 
ゼロからわかるシビックテック
ゼロからわかるシビックテック ゼロからわかるシビックテック
ゼロからわかるシビックテック
 
Code for Tokyoとは
Code for TokyoとはCode for Tokyoとは
Code for Tokyoとは
 

「データでみえるTokyoガイドブック」 をつくろう | データ