オープンデータの技術よりな話

1,335 views
1,223 views

Published on

2013-06-20に行われた第二回オープンデータ京都勉強会の資料

Published in: Technology
0 Comments
6 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,335
On SlideShare
0
From Embeds
0
Number of Embeds
23
Actions
Shares
0
Downloads
22
Comments
0
Likes
6
Embeds 0
No embeds

No notes for slide

オープンデータの技術よりな話

  1. 1. オープンデータの技術よりな話ROIS&LODI 加藤文彦2013-06-20第2回オープンデータ京都勉強会1
  2. 2. 加藤 文彦 (かとうふみひろ)• 情報・システム研究機構 特任研究員• LODACプロジェクト• DBpedia Japanese• リンクト・オープン・データ・イニシアティブ 理事• CKAN• Open DATA METI• コミュニティ• Linked Data勉強会• Linked Open Data チャレンジ Japan• CKAN日本語2
  3. 3. 第一回のこれ前提詳しくはslideshareで!3
  4. 4. http://5stardata.info/ja/4
  5. 5. 5
  6. 6. Web Data6
  7. 7. Webのどこかにファイル置けばおk7
  8. 8. 専用のWebサイト作ればなお良し8
  9. 9. 9
  10. 10. 10
  11. 11. 11
  12. 12. CKAN• FLOSSのデータポータルソフトウェア• AGPL v3.0• http://github.com/okfn/ckan• Open Knowledge Foundation• 約50の国や地方自治体等で採用• Python+JavaScript• PostgreSQL+SOLR• API提供• 豊富な拡張12
  13. 13. 13
  14. 14. 14
  15. 15. 15
  16. 16. Open License16
  17. 17. データやコンテンツがオープンであるというのは,クレジット表示と/またはライセンスの継承をするくらいの条件で,誰もが自由に利用,再利用,再配布できるということである.The  Open  Defini+on  -­‐  h.p://opendefini+on.org17
  18. 18. ⃝ ☓18
  19. 19. CC0/PDDL最強19
  20. 20. 大体BYくらい20
  21. 21. 21
  22. 22. 22
  23. 23. 23
  24. 24. (machine) REdable24
  25. 25. 構造化データ25
  26. 26. プログラムから扱えるほうが嬉しい26
  27. 27. 27
  28. 28. 28
  29. 29. Open Format29
  30. 30. ベンダー非依存の標準化されたデータ形式30
  31. 31. 仕様読めるライブラリ書ける特定のツール等に縛られない...31
  32. 32. CSV, XML, JSON, ...32
  33. 33. 33
  34. 34. http://www.w3.org/2013/04/odw/report34
  35. 35. http://www.w3.org/2013/04/odw/report35
  36. 36. http://data.okfn.org/standards36
  37. 37. 37
  38. 38. Uniform Resource Identifier38
  39. 39. http://data.linkedopendata.jp/dataset/sabae-shisetsu39
  40. 40. 40
  41. 41. <http://www3.city.sabae.fukui.jp/xml/public/001><http://linkdata.org/property/rdf1s131i#name> "市役所"@ja ;<http://linkdata.org/property/rdf1s131i#tel> "0778-51-2200"@ja ;<http://linkdata.org/property/rdf1s131i#zipcode> "916-8666"@ja ;<http://linkdata.org/property/rdf1s131i#address> " 江市西山町13番1号"@ja ;<http://www.w3.org/2003/01/geo/wgs84_pos#lat> "35.956509"^^xsd:float ;<http://www.w3.org/2003/01/geo/wgs84_pos#long> "136.184193"^^xsd:float .41
  42. 42. <http://www3.city.sabae.fukui.jp/xml/public/001><http://linkdata.org/property/rdf1s131i#name> "市役所"@ja ;<http://linkdata.org/property/rdf1s131i#tel> "0778-51-2200"@ja ;<http://linkdata.org/property/rdf1s131i#zipcode> "916-8666"@ja ;<http://linkdata.org/property/rdf1s131i#address> " 江市西山町13番1号"@ja ;<http://www.w3.org/2003/01/geo/wgs84_pos#lat> "35.956509"^^xsd:float ;<http://www.w3.org/2003/01/geo/wgs84_pos#long> "136.184193"^^xsd:float .ID name tel zipcode address lat long001 市役所 0778-51-2200 916-8666江市西山町13番1号35.956509 136.18419342
  43. 43. <http://www3.city.sabae.fukui.jp/xml/public/001><http://linkdata.org/property/rdf1s131i#name> "市役所"@ja ;<http://linkdata.org/property/rdf1s131i#tel> "0778-51-2200"@ja ;<http://linkdata.org/property/rdf1s131i#zipcode> "916-8666"@ja ;<http://linkdata.org/property/rdf1s131i#address> " 江市西山町13番1号"@ja ;<http://www.w3.org/2003/01/geo/wgs84_pos#lat> "35.956509"^^xsd:float ;<http://www.w3.org/2003/01/geo/wgs84_pos#long> "136.184193"^^xsd:float .IDをURIにすると世界でユニークなIDになるID name tel zipcode address lat long001 市役所 0778-51-2200 916-8666江市西山町13番1号35.956509 136.18419343
  44. 44. 2644
  45. 45. 26ISO3166-2:JP京都府工業統計コード生産用機械器具製造業FC東京阿部 巧45
  46. 46. 26ISO3166-2:JP京都府工業統計コード生産用機械器具製造業FC東京阿部 巧http://www.iso.org/3166-2/jp/26http://www.fctokyo.co.jp/players/2013/26http://www.meti.go.jp/industrial-code/2646
  47. 47. 47
  48. 48. Linked Data48
  49. 49. Linked Data•Web技術でデータを公開・共有・統合するためのベストプラクティス•"データのWeb"•HTTP, URI/IRI, リンク, グラフモデル, 構造化データ49
  50. 50. ID name tel zipcode prefecture001 市役所 0778-51-2200 916-8666 福井県50
  51. 51. ID name population18 福井県 79582426 京都府 2623924ID name tel zipcode prefecture001 市役所 0778-51-2200 916-8666 1851
  52. 52. URI name populationhttp://.../3166/jp/18 福井県 795824http://.../3166/jp/26 京都府 2623924ID name tel zipcode prefecture001 市役所 0778-51-2200 916-8666 http://.../3166/jp/18IDをURIにすることで外部から参照される52
  53. 53. OpenRefine• Freebase Gridworks, GoogleRefine• データと遊ぶためのツール (一部要拡張)• インポート形式: *SV, Excel, JSON, XML, RDF/XMLGoogle Data(Spreadsheet, Fusion Table)• エクスポート形式: *SV, HTML, Excel, ODFSpreadsheet, MQL, RDF/XML, RDF/Turtle• アップロード: Freebase, CKAN• ビュアー: ファセット, フィルター,フラグ• 編集履歴• スクリプト: GREL• データ変換• データ公開• 様々な拡張• Reconciliation53
  54. 54. Reconciliation• ラベル(と付加情報)にマッチする潜在的なエンティティリストを推薦• Apple社 vs フルーツのapple vs New York City• pathやURI• サービス• Freebase• Reconciliation API• SPARQL (要RDFRefine)54
  55. 55. 55
  56. 56. Webの原則1. IRIをHTML文書の識別子として使う2. IRIにはhttpスキームを使う3. IRIを見るとHTML文書が返ってくる4. HTML文書には他のIRIへのリンクがある56
  57. 57. Linked Dataの原則1. URIをモノ(Thing)の識別子として使う2. URIにはhttpスキームを使う3. URIを見るとモノのデータが返ってくる4. データには他のURIへの型付リンクがある子供執筆発行日誕生日出版社所在地"Things,  not  Strings"  by  Google57
  58. 58. 子供執筆発行日誕生日出版社所在地58
  59. 59. 子供執筆発行日誕生日出版社所在地59
  60. 60. グラフのシリアライズ形式• Turtle (N3)• JSON-LD• RDFa• Microdata• RDF/XML• TriX• TriG• ......60
  61. 61. http://www.w3.org/TR/turtle/61
  62. 62. http://json-ld.org/62
  63. 63. 63
  64. 64. https://developers.google.com/gmail/schemas/reference/formats/json-ld64
  65. 65. As of September 2011MusicBrainz(zitgist)P20TurismodeZaragozayovistoYahoo!GeoPlanetYAGOWorldFact-bookElViajeroTourismWordNet(W3C)WordNet(VUA)VIVO UFVIVOIndianaVIVOCornellVIAFURIBurnerSussexReadingListsPlymouthReadingListsUniRefUniProtUMBELUK Post-codeslegislationdata.gov.ukUberblicUBMann-heimTWC LOGDTwarqltransportdata.gov.ukTrafficScotlandtheses.frThesau-rus Wtotl.netTele-graphisTCMGeneDITTaxonConceptOpenLibrary(Talis)tags2condelicioust4gminfoSwedishOpenCulturalHeritageSurgeRadioSudocSTWRAMEAUSHstatisticsdata.gov.ukSt.AndrewsResourceListsECSSouth-amptonEPrintsSSWThesaurusSmartLinkSlideshare2RDFsemanticweb.orgSemanticTweetSemanticXBRLSWDogFoodSource CodeEcosystemLinked DataUS SEC(rdfabout)SearsScotlandGeo-graphyScotlandPupils &ExamsScholaro-meterWordNet(RKBExplorer)WikiUN/LOCODEUlmECS(RKBExplorer)RomaRISKSRESEXRAE2001PisaOSOAINSFNew-castleLAASKISTIJISCIRITIEEEIBMEurécomERAePrints dotACDEPLOYDBLP(RKBExplorer)CrimeReportsUKCourse-wareCORDIS(RKBExplorer)CiteSeerBudapestACMrieseRevyuresearchdata.gov.ukRen.EnergyGenera-torsreferencedata.gov.ukRecht-spraak.nlRDFohlohLast.FM(rdfize)RDFBookMashupRådatanå!PSHProductTypesOntologyProductDBPBACPoké-pédiapatentsdata.gov.ukOxPointsOrd-nanceSurveyOpenlyLocalOpenLibraryOpenCycOpenCorpo-ratesOpenCalaisOpenEIOpenElectionDataProjectOpenDataThesau-rusOntosNewsPortalOGOLODJanusAMPOceanDrillingCodicesNewYorkTimesNVDntnuscNTUResourceListsNorwe-gianMeSHNDLsubjectsndlnamyExperi-mentItalianMuseumsmedu-catorMARCCodesListMan-chesterReadingListsLoticoWeatherStationsLondonGazetteLOIUSLinkedOpenColorslobidResourceslobidOrgani-sationsLEMLinkedMDBLinkedLCCNLinkedGeoDataLinkedCTLinkedUserFeedbackLOVLinkedOpenNumbersLODEEurostat(OntologyCentral)LinkedEDGAR(OntologyCentral)LinkedCrunch-baselingvojLichfieldSpen-dingLIBRISLexvoLCSHDBLP(L3S)LinkedSensor Data(Kno.e.sis)Klapp-stuhl-clubGood-winFamilyNationalRadio-activityJPJamendo(DBtune)ItalianpublicschoolsISTATImmi-grationiServeIdRefSudocNSZLCatalogHellenicPDHellenicFBDPiedmontAccomo-dationsGovTrackGovWILDGoogleArtwrappergnossGESISGeoWordNetGeoSpeciesGeoNamesGeoLinkedDataGEMETGTAASTITCHSIDERProjectGuten-bergMediCareEuro-stat(FUB)EURESDrugBankDisea-someDBLP(FUBerlin)DailyMedCORDIS(FUB)FreebaseflickrwrapprFishesof TexasFinnishMunici-palitiesChEMBLFanHubzEventMediaEUTCProduc-tionsEurostatEuropeanaEUNISEUInsti-tutionsESDstan-dardsEARThEnipediaPopula-tion (En-AKTing)NHS(En-AKTing) Mortality(En-AKTing)Energy(En-AKTing)Crime(En-AKTing)CO2Emission(En-AKTing)EEASISVUeducation.data.gov.ukECSSouth-amptonECCO-TCPGNDDidactaliaDDC DeutscheBio-graphiedatadcsMusicBrainz(DBTune)Magna-tuneJohnPeel(DBTune)Classical(DBTune)AudioScrobbler(DBTune)Last.FMartists(DBTune)DBTropesPortu-gueseDBpediadbpedialiteGreekDBpediaDBpediadata-open-ac-ukSMCJournalsPokedexAirportsNASA(DataIncu-bator)MusicBrainz(DataIncubator)MoseleyFolkMetofficeWeatherForecastsDiscogs(DataIncubator)Climbingdata.gov.ukintervalsDataGov.iedatabnf.frCornettoreegleChronic-lingAmericaChem2Bio2RDFCalamesbusinessdata.gov.ukBricklinkBrazilianPoli-ticiansBNBUniSTSUniPathwayUniParcTaxonomyUniProt(Bio2RDF)SGDReactomePubMedPubChemPRO-SITEProDomPfamPDBOMIMMGIKEGGReactionKEGGPathwayKEGGGlycanKEGGEnzymeKEGGDrugKEGGCom-poundInterProHomoloGeneHGNCGeneOntologyGeneIDAffy-metrixbibleontologyBibBaseFTSBBCWildlifeFinderBBCProgrammes BBCMusicAlpineSkiAustriaLOCAHAmster-damMuseumAGROVOCAEMETUS Census(rdfabout)MediaGeographicPublicationsGovernmentCross-domainLife sciencesUser-generated contentLinking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/65
  66. 66. http://dbpedia.org66
  67. 67. http://dbpedia.org/resource/Kyoto67
  68. 68. http://wiki.dbpedia.org/Internationalization/Chapters68
  69. 69. http://ja.dbpedia.org69
  70. 70. http://ja.dbpedia.org/resource/京都市70
  71. 71. 71
  72. 72. http://linkedgeodata.org72
  73. 73. http://linkedgeodata.org/triplify/node35584525773
  74. 74. 74
  75. 75. クエリ言語• データの検索や操作を行うための言語• データモデルやDBシステムに合わせて設計• 例: SQL– データモデル: 関係モデル– DBシステム: RDBMS• LODのデータモデル: グラフモデル75
  76. 76. SPARQL• LOD用クエリ言語– データモデル: RDF (ラベル付き有向グラフ)– プロトコル: HTTP• W3C仕様– 1.0: Recommendations– 1.1: Working Drafts76
  77. 77. SPARQLエンドポイント• SPARQLクエリを受け付ける場所– SPARQLエンドポイントURI• プログラムからSPARQLを使うときに指定– 入力フォームがある場合77
  78. 78. Twitter: @fumi1Email: fumi@fumi.me78
  79. 79. 79

×