SlideShare a Scribd company logo
CSVならいいのか?
ちょっと立ち止まろう
(研)農研機構
大澤 剛士<arosawa@affrc.go.jp>
2017/12/19 GLOCOM オープンデータトークLT
オープンデータ!
機械判読可能な形で!
官民データ活用推進基本法制定の背景
http://www.kantei.go.jp/jp/singi/it2/senmon/dai9/siryou1.pdf
PDF
OCR不可
※イメージです
官民データ活用推進基本法制定の背景
http://www.kantei.go.jp/jp/singi/it2/senmon/dai9/siryou1.pdf
PDF
OCR不可
※イメージです
ち-が-う-だ-ろ!
この●●ー!
CSV/XML/RDF
(`・ω´・)+
機械判読可能なCSVファイルにしました。
これでお手元のパソコン等でご利用いただけます
C・S・V!C・S・V!
comma-separated values/variables
いくつかのフィールド(項目)を区切り文字である
カンマ「 , 」で区切ったテキストデータおよびテキストファイル。
ある意味定番化
(´・ω・`)
でもさ・・・
機械判読の意味わかってる?
こんな例
たくさんありそう!
「農林水産省では、農林業・農山村の現
状と変化を的確に捉え、きめ細かな農林
行政を推進するために、5年ごとに農林
業を営んでいるすべての農家、林家や法
人を対象に調査を実施しております。
http://www.maff.go.jp/j/tokei/census/afc/
数百~数千回クリックして
エクセルファイル(.xls)を保存
THE ネ申請エクセル!
https://www.e-stat.go.jp/SG1/estat/eStatTopPortal.do
天下り 関連団体が
CSV化して県単位で販売
一般社団法人 農業統計協会
http://www.aafs.or.jp/
(`・ω´・)+
機械判読可能なCSVファイルにしました。
これでお手元のパソコン等でご利用いただけます
44,000円/県
高いか安いか・・・
さあ購入
中身を見てみると
( ゚д゚)
生データみても意味不明
半角と全角が混在
( ゚д゚)
※ 回ごとに変わる仕様
謎のフラグが各レコードに
(# ゚д゚) メタデータがpdf
(70ページ)
機械判読=プログラム処理
そこまでまだまだ遠い!
ダ鳥獣ギ画
http://www.chojugiga.com/whats/
でもこれ、どっかの地下で
泣きながら河童さんが作ってる
ダ鳥獣ギ画
http://www.chojugiga.com/whats/
先を見る前に
CSVならいいって空気を
何とかしたほうがいいかも!
●●ならいいってレベルで
標準化XMLとかRDFが
普及するなら大歓迎
違ったら大惨事
(ex. ボキャブラリーのない
オリジナルXMLの乱立( ;゚Д゚))
先を見るのは重要。
でも社会の現状も
ちゃんと見てみようね
http://agrimeshopen.web.fc2.com/index.html
地域メッシュ化して規格化
CSV化してオープン化
※ 2005年まで。2010年、2015年はこれから(たぶん)やります
弊社のカタログサイトからも
取れます
https://niaesvic.dc.affrc.go.jp/

More Related Content

Similar to Csvならいいのか?

俺とホットキー
俺とホットキー俺とホットキー
俺とホットキー
Masayuki KaToH
 
ネットワークOS野郎 ~ インフラ野郎Night 20160414
ネットワークOS野郎 ~ インフラ野郎Night 20160414ネットワークOS野郎 ~ インフラ野郎Night 20160414
ネットワークOS野郎 ~ インフラ野郎Night 20160414
Kentaro Ebisawa
 
AWS IoT Eventsで遊んでみた
AWS IoT Eventsで遊んでみたAWS IoT Eventsで遊んでみた
AWS IoT Eventsで遊んでみた
Ken'ichirou Kimura
 
利益はデータベースの中にあった!
利益はデータベースの中にあった!利益はデータベースの中にあった!
利益はデータベースの中にあった!
infinite_loop
 
金沢ハッカソン2013~オープンガバメント~
金沢ハッカソン2013~オープンガバメント~金沢ハッカソン2013~オープンガバメント~
金沢ハッカソン2013~オープンガバメント~
Taisuke Fukuno
 
「八日市にGoogleがやってくる」shig apps様セミナー
「八日市にGoogleがやってくる」shig apps様セミナー「八日市にGoogleがやってくる」shig apps様セミナー
「八日市にGoogleがやってくる」shig apps様セミナー
Kenji Tomooka
 
わかりやすい資料作成の基本(文章編)
わかりやすい資料作成の基本(文章編)わかりやすい資料作成の基本(文章編)
わかりやすい資料作成の基本(文章編)
juntoku_yoshizawa
 
CSVファイルをLODとして公開するデータソン
CSVファイルをLODとして公開するデータソンCSVファイルをLODとして公開するデータソン
CSVファイルをLODとして公開するデータソン
Kouji Kozaki
 

Similar to Csvならいいのか? (8)

俺とホットキー
俺とホットキー俺とホットキー
俺とホットキー
 
ネットワークOS野郎 ~ インフラ野郎Night 20160414
ネットワークOS野郎 ~ インフラ野郎Night 20160414ネットワークOS野郎 ~ インフラ野郎Night 20160414
ネットワークOS野郎 ~ インフラ野郎Night 20160414
 
AWS IoT Eventsで遊んでみた
AWS IoT Eventsで遊んでみたAWS IoT Eventsで遊んでみた
AWS IoT Eventsで遊んでみた
 
利益はデータベースの中にあった!
利益はデータベースの中にあった!利益はデータベースの中にあった!
利益はデータベースの中にあった!
 
金沢ハッカソン2013~オープンガバメント~
金沢ハッカソン2013~オープンガバメント~金沢ハッカソン2013~オープンガバメント~
金沢ハッカソン2013~オープンガバメント~
 
「八日市にGoogleがやってくる」shig apps様セミナー
「八日市にGoogleがやってくる」shig apps様セミナー「八日市にGoogleがやってくる」shig apps様セミナー
「八日市にGoogleがやってくる」shig apps様セミナー
 
わかりやすい資料作成の基本(文章編)
わかりやすい資料作成の基本(文章編)わかりやすい資料作成の基本(文章編)
わかりやすい資料作成の基本(文章編)
 
CSVファイルをLODとして公開するデータソン
CSVファイルをLODとして公開するデータソンCSVファイルをLODとして公開するデータソン
CSVファイルをLODとして公開するデータソン
 

More from arosawa

2023/2/22推進費2G-2201オンラインシンポジウム
2023/2/22推進費2G-2201オンラインシンポジウム2023/2/22推進費2G-2201オンラインシンポジウム
2023/2/22推進費2G-2201オンラインシンポジウム
arosawa
 
クビアカツヤカミキリの 分布拡大予測シミュレーション
クビアカツヤカミキリの分布拡大予測シミュレーションクビアカツヤカミキリの分布拡大予測シミュレーション
クビアカツヤカミキリの 分布拡大予測シミュレーション
arosawa
 
ESJ69 S26 生物多様性情報学の目指すもの
ESJ69 S26 生物多様性情報学の目指すものESJ69 S26 生物多様性情報学の目指すもの
ESJ69 S26 生物多様性情報学の目指すもの
arosawa
 
20210922応用生態工学会データベース自由集会
20210922応用生態工学会データベース自由集会20210922応用生態工学会データベース自由集会
20210922応用生態工学会データベース自由集会
arosawa
 
20210903横国セミナー(水田Eco-DRR)
20210903横国セミナー(水田Eco-DRR)20210903横国セミナー(水田Eco-DRR)
20210903横国セミナー(水田Eco-DRR)
arosawa
 
2021/3/19 ESJ68シンポジウムS12
2021/3/19 ESJ68シンポジウムS122021/3/19 ESJ68シンポジウムS12
2021/3/19 ESJ68シンポジウムS12
arosawa
 
20201125バイオロギング研究会ワークショップ【オープンデータ】
20201125バイオロギング研究会ワークショップ【オープンデータ】20201125バイオロギング研究会ワークショップ【オープンデータ】
20201125バイオロギング研究会ワークショップ【オープンデータ】
arosawa
 
20201003生物多様性情報を使い倒す~GBIF入門~
20201003生物多様性情報を使い倒す~GBIF入門~20201003生物多様性情報を使い倒す~GBIF入門~
20201003生物多様性情報を使い倒す~GBIF入門~
arosawa
 
20200925兵庫県大土居研セミナー
20200925兵庫県大土居研セミナー20200925兵庫県大土居研セミナー
20200925兵庫県大土居研セミナー
arosawa
 
20200918京大生態研セミナー
20200918京大生態研セミナー20200918京大生態研セミナー
20200918京大生態研セミナー
arosawa
 
標本レコード修正のためのOpen refine(ド基礎編)
標本レコード修正のためのOpen refine(ド基礎編)標本レコード修正のためのOpen refine(ド基礎編)
標本レコード修正のためのOpen refine(ド基礎編)
arosawa
 
20191113国環研琵琶湖分室セミナー
20191113国環研琵琶湖分室セミナー20191113国環研琵琶湖分室セミナー
20191113国環研琵琶湖分室セミナー
arosawa
 
人が繋ぐ研究と実践
人が繋ぐ研究と実践人が繋ぐ研究と実践
人が繋ぐ研究と実践
arosawa
 
アカスジカスミカメの分布拡大メカニズム
アカスジカスミカメの分布拡大メカニズムアカスジカスミカメの分布拡大メカニズム
アカスジカスミカメの分布拡大メカニズム
arosawa
 
20181021 gi sg
20181021 gi sg20181021 gi sg
20181021 gi sg
arosawa
 
Joss2018osawa
Joss2018osawaJoss2018osawa
Joss2018osawa
arosawa
 
生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"
生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"
生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"
arosawa
 
環境科学の研究者から見たオープンデータの利点と現状
環境科学の研究者から見たオープンデータの利点と現状環境科学の研究者から見たオープンデータの利点と現状
環境科学の研究者から見たオープンデータの利点と現状
arosawa
 
2016/12/21NISTEPホライズン・セミナースライド
2016/12/21NISTEPホライズン・セミナースライド2016/12/21NISTEPホライズン・セミナースライド
2016/12/21NISTEPホライズン・セミナースライド
arosawa
 
20160610
2016061020160610
20160610
arosawa
 

More from arosawa (20)

2023/2/22推進費2G-2201オンラインシンポジウム
2023/2/22推進費2G-2201オンラインシンポジウム2023/2/22推進費2G-2201オンラインシンポジウム
2023/2/22推進費2G-2201オンラインシンポジウム
 
クビアカツヤカミキリの 分布拡大予測シミュレーション
クビアカツヤカミキリの分布拡大予測シミュレーションクビアカツヤカミキリの分布拡大予測シミュレーション
クビアカツヤカミキリの 分布拡大予測シミュレーション
 
ESJ69 S26 生物多様性情報学の目指すもの
ESJ69 S26 生物多様性情報学の目指すものESJ69 S26 生物多様性情報学の目指すもの
ESJ69 S26 生物多様性情報学の目指すもの
 
20210922応用生態工学会データベース自由集会
20210922応用生態工学会データベース自由集会20210922応用生態工学会データベース自由集会
20210922応用生態工学会データベース自由集会
 
20210903横国セミナー(水田Eco-DRR)
20210903横国セミナー(水田Eco-DRR)20210903横国セミナー(水田Eco-DRR)
20210903横国セミナー(水田Eco-DRR)
 
2021/3/19 ESJ68シンポジウムS12
2021/3/19 ESJ68シンポジウムS122021/3/19 ESJ68シンポジウムS12
2021/3/19 ESJ68シンポジウムS12
 
20201125バイオロギング研究会ワークショップ【オープンデータ】
20201125バイオロギング研究会ワークショップ【オープンデータ】20201125バイオロギング研究会ワークショップ【オープンデータ】
20201125バイオロギング研究会ワークショップ【オープンデータ】
 
20201003生物多様性情報を使い倒す~GBIF入門~
20201003生物多様性情報を使い倒す~GBIF入門~20201003生物多様性情報を使い倒す~GBIF入門~
20201003生物多様性情報を使い倒す~GBIF入門~
 
20200925兵庫県大土居研セミナー
20200925兵庫県大土居研セミナー20200925兵庫県大土居研セミナー
20200925兵庫県大土居研セミナー
 
20200918京大生態研セミナー
20200918京大生態研セミナー20200918京大生態研セミナー
20200918京大生態研セミナー
 
標本レコード修正のためのOpen refine(ド基礎編)
標本レコード修正のためのOpen refine(ド基礎編)標本レコード修正のためのOpen refine(ド基礎編)
標本レコード修正のためのOpen refine(ド基礎編)
 
20191113国環研琵琶湖分室セミナー
20191113国環研琵琶湖分室セミナー20191113国環研琵琶湖分室セミナー
20191113国環研琵琶湖分室セミナー
 
人が繋ぐ研究と実践
人が繋ぐ研究と実践人が繋ぐ研究と実践
人が繋ぐ研究と実践
 
アカスジカスミカメの分布拡大メカニズム
アカスジカスミカメの分布拡大メカニズムアカスジカスミカメの分布拡大メカニズム
アカスジカスミカメの分布拡大メカニズム
 
20181021 gi sg
20181021 gi sg20181021 gi sg
20181021 gi sg
 
Joss2018osawa
Joss2018osawaJoss2018osawa
Joss2018osawa
 
生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"
生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"
生物多様性情報の標準データフォーマットDarwin Core Archiveと生態学データに適合させる拡張形式"Sample-based Data"
 
環境科学の研究者から見たオープンデータの利点と現状
環境科学の研究者から見たオープンデータの利点と現状環境科学の研究者から見たオープンデータの利点と現状
環境科学の研究者から見たオープンデータの利点と現状
 
2016/12/21NISTEPホライズン・セミナースライド
2016/12/21NISTEPホライズン・セミナースライド2016/12/21NISTEPホライズン・セミナースライド
2016/12/21NISTEPホライズン・セミナースライド
 
20160610
2016061020160610
20160610
 

Csvならいいのか?