オープンデータの技術よりな話
Upcoming SlideShare
Loading in...5
×
 

オープンデータの技術よりな話

on

  • 1,326 views

2013-06-20に行われた第二回オープンデータ京都勉強会の資料

2013-06-20に行われた第二回オープンデータ京都勉強会の資料

Statistics

Views

Total Views
1,326
Views on SlideShare
1,313
Embed Views
13

Actions

Likes
3
Downloads
16
Comments
0

1 Embed 13

https://twitter.com 13

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

CC Attribution License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

オープンデータの技術よりな話 オープンデータの技術よりな話 Presentation Transcript

  • オープンデータの技術よりな話ROIS&LODI 加藤文彦2013-06-20第2回オープンデータ京都勉強会1
  • 加藤 文彦 (かとうふみひろ)• 情報・システム研究機構 特任研究員• LODACプロジェクト• DBpedia Japanese• リンクト・オープン・データ・イニシアティブ 理事• CKAN• Open DATA METI• コミュニティ• Linked Data勉強会• Linked Open Data チャレンジ Japan• CKAN日本語2
  • 第一回のこれ前提詳しくはslideshareで!3
  • http://5stardata.info/ja/4
  • 5
  • Web Data6
  • Webのどこかにファイル置けばおk7
  • 専用のWebサイト作ればなお良し8
  • 9
  • 10
  • 11
  • CKAN• FLOSSのデータポータルソフトウェア• AGPL v3.0• http://github.com/okfn/ckan• Open Knowledge Foundation• 約50の国や地方自治体等で採用• Python+JavaScript• PostgreSQL+SOLR• API提供• 豊富な拡張12
  • 13
  • 14
  • 15
  • Open License16
  • データやコンテンツがオープンであるというのは,クレジット表示と/またはライセンスの継承をするくらいの条件で,誰もが自由に利用,再利用,再配布できるということである.The  Open  Defini+on  -­‐  h.p://opendefini+on.org17
  • ⃝ ☓18
  • CC0/PDDL最強19
  • 大体BYくらい20
  • 21
  • 22
  • 23
  • (machine) REdable24
  • 構造化データ25
  • プログラムから扱えるほうが嬉しい26
  • 27
  • 28
  • Open Format29
  • ベンダー非依存の標準化されたデータ形式30
  • 仕様読めるライブラリ書ける特定のツール等に縛られない...31
  • CSV, XML, JSON, ...32
  • 33
  • http://www.w3.org/2013/04/odw/report34
  • http://www.w3.org/2013/04/odw/report35
  • http://data.okfn.org/standards36
  • 37
  • Uniform Resource Identifier38
  • http://data.linkedopendata.jp/dataset/sabae-shisetsu39
  • 40
  • <http://www3.city.sabae.fukui.jp/xml/public/001><http://linkdata.org/property/rdf1s131i#name> "市役所"@ja ;<http://linkdata.org/property/rdf1s131i#tel> "0778-51-2200"@ja ;<http://linkdata.org/property/rdf1s131i#zipcode> "916-8666"@ja ;<http://linkdata.org/property/rdf1s131i#address> " 江市西山町13番1号"@ja ;<http://www.w3.org/2003/01/geo/wgs84_pos#lat> "35.956509"^^xsd:float ;<http://www.w3.org/2003/01/geo/wgs84_pos#long> "136.184193"^^xsd:float .41
  • <http://www3.city.sabae.fukui.jp/xml/public/001><http://linkdata.org/property/rdf1s131i#name> "市役所"@ja ;<http://linkdata.org/property/rdf1s131i#tel> "0778-51-2200"@ja ;<http://linkdata.org/property/rdf1s131i#zipcode> "916-8666"@ja ;<http://linkdata.org/property/rdf1s131i#address> " 江市西山町13番1号"@ja ;<http://www.w3.org/2003/01/geo/wgs84_pos#lat> "35.956509"^^xsd:float ;<http://www.w3.org/2003/01/geo/wgs84_pos#long> "136.184193"^^xsd:float .ID name tel zipcode address lat long001 市役所 0778-51-2200 916-8666江市西山町13番1号35.956509 136.18419342
  • <http://www3.city.sabae.fukui.jp/xml/public/001><http://linkdata.org/property/rdf1s131i#name> "市役所"@ja ;<http://linkdata.org/property/rdf1s131i#tel> "0778-51-2200"@ja ;<http://linkdata.org/property/rdf1s131i#zipcode> "916-8666"@ja ;<http://linkdata.org/property/rdf1s131i#address> " 江市西山町13番1号"@ja ;<http://www.w3.org/2003/01/geo/wgs84_pos#lat> "35.956509"^^xsd:float ;<http://www.w3.org/2003/01/geo/wgs84_pos#long> "136.184193"^^xsd:float .IDをURIにすると世界でユニークなIDになるID name tel zipcode address lat long001 市役所 0778-51-2200 916-8666江市西山町13番1号35.956509 136.18419343
  • 2644
  • 26ISO3166-2:JP京都府工業統計コード生産用機械器具製造業FC東京阿部 巧45
  • 26ISO3166-2:JP京都府工業統計コード生産用機械器具製造業FC東京阿部 巧http://www.iso.org/3166-2/jp/26http://www.fctokyo.co.jp/players/2013/26http://www.meti.go.jp/industrial-code/2646
  • 47
  • Linked Data48
  • Linked Data•Web技術でデータを公開・共有・統合するためのベストプラクティス•"データのWeb"•HTTP, URI/IRI, リンク, グラフモデル, 構造化データ49
  • ID name tel zipcode prefecture001 市役所 0778-51-2200 916-8666 福井県50
  • ID name population18 福井県 79582426 京都府 2623924ID name tel zipcode prefecture001 市役所 0778-51-2200 916-8666 1851
  • URI name populationhttp://.../3166/jp/18 福井県 795824http://.../3166/jp/26 京都府 2623924ID name tel zipcode prefecture001 市役所 0778-51-2200 916-8666 http://.../3166/jp/18IDをURIにすることで外部から参照される52
  • OpenRefine• Freebase Gridworks, GoogleRefine• データと遊ぶためのツール (一部要拡張)• インポート形式: *SV, Excel, JSON, XML, RDF/XMLGoogle Data(Spreadsheet, Fusion Table)• エクスポート形式: *SV, HTML, Excel, ODFSpreadsheet, MQL, RDF/XML, RDF/Turtle• アップロード: Freebase, CKAN• ビュアー: ファセット, フィルター,フラグ• 編集履歴• スクリプト: GREL• データ変換• データ公開• 様々な拡張• Reconciliation53
  • Reconciliation• ラベル(と付加情報)にマッチする潜在的なエンティティリストを推薦• Apple社 vs フルーツのapple vs New York City• pathやURI• サービス• Freebase• Reconciliation API• SPARQL (要RDFRefine)54
  • 55
  • Webの原則1. IRIをHTML文書の識別子として使う2. IRIにはhttpスキームを使う3. IRIを見るとHTML文書が返ってくる4. HTML文書には他のIRIへのリンクがある56
  • Linked Dataの原則1. URIをモノ(Thing)の識別子として使う2. URIにはhttpスキームを使う3. URIを見るとモノのデータが返ってくる4. データには他のURIへの型付リンクがある子供執筆発行日誕生日出版社所在地"Things,  not  Strings"  by  Google57
  • 子供執筆発行日誕生日出版社所在地58
  • 子供執筆発行日誕生日出版社所在地59
  • グラフのシリアライズ形式• Turtle (N3)• JSON-LD• RDFa• Microdata• RDF/XML• TriX• TriG• ......60
  • http://www.w3.org/TR/turtle/61
  • http://json-ld.org/62
  • 63
  • https://developers.google.com/gmail/schemas/reference/formats/json-ld64
  • As of September 2011MusicBrainz(zitgist)P20TurismodeZaragozayovistoYahoo!GeoPlanetYAGOWorldFact-bookElViajeroTourismWordNet(W3C)WordNet(VUA)VIVO UFVIVOIndianaVIVOCornellVIAFURIBurnerSussexReadingListsPlymouthReadingListsUniRefUniProtUMBELUK Post-codeslegislationdata.gov.ukUberblicUBMann-heimTWC LOGDTwarqltransportdata.gov.ukTrafficScotlandtheses.frThesau-rus Wtotl.netTele-graphisTCMGeneDITTaxonConceptOpenLibrary(Talis)tags2condelicioust4gminfoSwedishOpenCulturalHeritageSurgeRadioSudocSTWRAMEAUSHstatisticsdata.gov.ukSt.AndrewsResourceListsECSSouth-amptonEPrintsSSWThesaurusSmartLinkSlideshare2RDFsemanticweb.orgSemanticTweetSemanticXBRLSWDogFoodSource CodeEcosystemLinked DataUS SEC(rdfabout)SearsScotlandGeo-graphyScotlandPupils &ExamsScholaro-meterWordNet(RKBExplorer)WikiUN/LOCODEUlmECS(RKBExplorer)RomaRISKSRESEXRAE2001PisaOSOAINSFNew-castleLAASKISTIJISCIRITIEEEIBMEurécomERAePrints dotACDEPLOYDBLP(RKBExplorer)CrimeReportsUKCourse-wareCORDIS(RKBExplorer)CiteSeerBudapestACMrieseRevyuresearchdata.gov.ukRen.EnergyGenera-torsreferencedata.gov.ukRecht-spraak.nlRDFohlohLast.FM(rdfize)RDFBookMashupRådatanå!PSHProductTypesOntologyProductDBPBACPoké-pédiapatentsdata.gov.ukOxPointsOrd-nanceSurveyOpenlyLocalOpenLibraryOpenCycOpenCorpo-ratesOpenCalaisOpenEIOpenElectionDataProjectOpenDataThesau-rusOntosNewsPortalOGOLODJanusAMPOceanDrillingCodicesNewYorkTimesNVDntnuscNTUResourceListsNorwe-gianMeSHNDLsubjectsndlnamyExperi-mentItalianMuseumsmedu-catorMARCCodesListMan-chesterReadingListsLoticoWeatherStationsLondonGazetteLOIUSLinkedOpenColorslobidResourceslobidOrgani-sationsLEMLinkedMDBLinkedLCCNLinkedGeoDataLinkedCTLinkedUserFeedbackLOVLinkedOpenNumbersLODEEurostat(OntologyCentral)LinkedEDGAR(OntologyCentral)LinkedCrunch-baselingvojLichfieldSpen-dingLIBRISLexvoLCSHDBLP(L3S)LinkedSensor Data(Kno.e.sis)Klapp-stuhl-clubGood-winFamilyNationalRadio-activityJPJamendo(DBtune)ItalianpublicschoolsISTATImmi-grationiServeIdRefSudocNSZLCatalogHellenicPDHellenicFBDPiedmontAccomo-dationsGovTrackGovWILDGoogleArtwrappergnossGESISGeoWordNetGeoSpeciesGeoNamesGeoLinkedDataGEMETGTAASTITCHSIDERProjectGuten-bergMediCareEuro-stat(FUB)EURESDrugBankDisea-someDBLP(FUBerlin)DailyMedCORDIS(FUB)FreebaseflickrwrapprFishesof TexasFinnishMunici-palitiesChEMBLFanHubzEventMediaEUTCProduc-tionsEurostatEuropeanaEUNISEUInsti-tutionsESDstan-dardsEARThEnipediaPopula-tion (En-AKTing)NHS(En-AKTing) Mortality(En-AKTing)Energy(En-AKTing)Crime(En-AKTing)CO2Emission(En-AKTing)EEASISVUeducation.data.gov.ukECSSouth-amptonECCO-TCPGNDDidactaliaDDC DeutscheBio-graphiedatadcsMusicBrainz(DBTune)Magna-tuneJohnPeel(DBTune)Classical(DBTune)AudioScrobbler(DBTune)Last.FMartists(DBTune)DBTropesPortu-gueseDBpediadbpedialiteGreekDBpediaDBpediadata-open-ac-ukSMCJournalsPokedexAirportsNASA(DataIncu-bator)MusicBrainz(DataIncubator)MoseleyFolkMetofficeWeatherForecastsDiscogs(DataIncubator)Climbingdata.gov.ukintervalsDataGov.iedatabnf.frCornettoreegleChronic-lingAmericaChem2Bio2RDFCalamesbusinessdata.gov.ukBricklinkBrazilianPoli-ticiansBNBUniSTSUniPathwayUniParcTaxonomyUniProt(Bio2RDF)SGDReactomePubMedPubChemPRO-SITEProDomPfamPDBOMIMMGIKEGGReactionKEGGPathwayKEGGGlycanKEGGEnzymeKEGGDrugKEGGCom-poundInterProHomoloGeneHGNCGeneOntologyGeneIDAffy-metrixbibleontologyBibBaseFTSBBCWildlifeFinderBBCProgrammes BBCMusicAlpineSkiAustriaLOCAHAmster-damMuseumAGROVOCAEMETUS Census(rdfabout)MediaGeographicPublicationsGovernmentCross-domainLife sciencesUser-generated contentLinking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/65
  • http://dbpedia.org66
  • http://dbpedia.org/resource/Kyoto67
  • http://wiki.dbpedia.org/Internationalization/Chapters68
  • http://ja.dbpedia.org69
  • http://ja.dbpedia.org/resource/京都市70
  • 71
  • http://linkedgeodata.org72
  • http://linkedgeodata.org/triplify/node35584525773
  • 74
  • クエリ言語• データの検索や操作を行うための言語• データモデルやDBシステムに合わせて設計• 例: SQL– データモデル: 関係モデル– DBシステム: RDBMS• LODのデータモデル: グラフモデル75
  • SPARQL• LOD用クエリ言語– データモデル: RDF (ラベル付き有向グラフ)– プロトコル: HTTP• W3C仕様– 1.0: Recommendations– 1.1: Working Drafts76
  • SPARQLエンドポイント• SPARQLクエリを受け付ける場所– SPARQLエンドポイントURI• プログラムからSPARQLを使うときに指定– 入力フォームがある場合77
  • Twitter: @fumi1Email: fumi@fumi.me78
  • 79