Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Linked Open Data(LOD)の基本理念と基盤となる技術

2,761 views

Published on

第25回 大図研オープンカレッジ(DOC)
Linked Open Data を体験
書誌・所蔵データは宝の山! 2017年6月18日@大阪

Published in: Technology
  • Very nice tips on this. In case you need help on any kind of academic writing visit website ⇒ www.HelpWriting.net ⇐ and place your order
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Linked Open Data(LOD)の基本理念と基盤となる技術

  1. 1. Linked Open Data(LOD)の 基本理念と基盤となる技術 大阪大学産業科学研究所 古崎 晃司 kozaki@ei.sanken.osaka-u.ac.jp 第25回 大図研オープンカレッジ(DOC) Linked Open Data を体験 書誌・所蔵データは宝の山! 2017年6月18日@大阪
  2. 2. 自己紹介  コミュニティ活動  古崎(こざき)晃司 @koujikozaki  本職: 大阪大学・准教授  専門: オントロジー工学,セマンティックWeb  研究方針:基礎理論に基づいたツール開発と, それを用いた応用研究の実践. 22017/6/18 2011より 毎年開催している コンテスト 関西を中心とした LODの普及活動 大阪をITの力でよくしよ うと活動している団体 http://code4.osaka/about/ 研究成果として 公開中のソフト
  3. 3. 2017/6/18 3 LODチャレンジ (2011年~) ※自由課題型 http://lodc.jp/ キックオフシンポジウム 2017年9月28日(木) 重複応募可能 アーバンデータチャレンジ (2013年~) ※課題解決型 http://urbandata‐challenge.jp/ キックオフシンポジウム 2017年7月3日(月)
  4. 4. 2017/6/18 4 http://www.kansai- u.ac.jp/Keiseiken/news/2017/06/2- 1.html
  5. 5. 講演概要  講演のねらい  Linked Data/Linked Open Data(LOD)の基本 的な考え方と,基礎的な技術について理解する.  LODの現状を知り,“どれくらい”使えそうか?を 感じる.  講演内容  Linked Dataの基盤技術  Linked Data/LODの構築事例  Linked Data/LODの利用例  まとめ 2017/6/18 5
  6. 6. はじめに,質問  以下の用語をご存知の方?  オントロジー  セマンティック・ウェブ  Linked Data/Linked Open Data(LOD)  ナレッジグラフ  SPARQL  DBpedia  Wikidata  ティム・バーナーズ・リー(人名) 2017/6/18 6 知識をグラフ構造で表したもの (Linked Data・オントロジーの 両方を含む) 今後の,イチ押しのキーワード
  7. 7. Linked Dataの基盤技術 Linked Data: =Webの仕組みを用いて相互に“リンクされた”データ Linked Open Data (LOD) =Linked Data + Open Data(オープンデータ) =Linked Dataとして公開されたOpen Data 72017/6/18
  8. 8. Linked Data  Linked Data:Web上のデータを,つなぐ(linkする)ことで,新しい価値 を生み出そうとする取り組み.Webの創始者Tim Berners-Lee氏が提唱 ※ Linked Open Data(LOD):オープンな形で公開されたLinked Data http://linkeddata.org/ “Webの仕組み”に基づいてデータを公開することで, Web上に公開された膨大なデータを 統合した1つの知識ベースとして利用可能にする. 2017/6/18 8
  9. 9. Webの仕組み  URLを指定することで,Webページにアクセス  例)https://sites.google.com/site/dtkosakaweb/h ome/reikai/dtkdoc2017 「第25回DOC」のページ  URLは,世界中“すべて”のWebページの場所(ID) を一意に特定できる仕組み  ハイパーリンクにより,Webページを“つなげる”  リンク先のURLを指定することで,好きなWebページ と自由に“リンク”できる  リンクを辿って,様々な情報にたどり着ける  リンクを解析による様々なビジネス  例)Googleなどの検索エンジン 92017/6/18
  10. 10. Webの仕組み→Linked Data  URLを指定することで,Webページにアクセス  例)https://sites.google.com/site/dtkosakaweb/h ome/reikai/dtkdoc2017 「第25回DOC」のページ  URLは,世界中“すべて”のWebページの場所(ID) を一意に特定できる仕組み  ハイパーリンクにより,Webページを“つなげる”  リンク先のURLを指定することで,好きなWebページ と自由に“リンク”できる  リンクを辿って,様々な情報にたどり着ける  リンクを解析による様々なビジネス  例)Googleなどの検索エンジン 102017/6/18 データ データ Linked Data Webと同じ仕組みでデータを“公開”し, 相互に“つなぐ”(リンクする) URI・IRI データ(モノ・コト) データ(モノ・コト)
  11. 11. Linked Data (RDF)の例 日本 大阪大学 国 おおさかだいがく読み仮名 吹田市 00296951 (VIAF) 国立国会図書館典拠ID 本部所在地 http://www.wikidata.org/entity/Q651233 というIRIから得られる 情報の一部(Wikidataより) 00296951 (Web NDL Authorities) skos:exactMatch 大阪大学標目 リソース: IRIで表される事物 プロパティ: リソース間(もしくはリ ソースとリテラル間)の 関係を表す リテラル :文字列 主語 述語 目的語 トリプル(3つ組み) ①RDFは「トリプルの組み合わせ」 で表される ②目的語が他のリソースのとき,トリプル を辿って更なる情報が得られる 注:この図中においてリソースとプロパティは名前を示しているが,正確には すべてのリソースおよびプロパティがIRI用いて表されている.2017/6/18 11
  12. 12. Linked Data (RDF)の例 http://www.wikidata. org/entity/Q17 http://www.wikidata. org/entity/Q651233 https://www.wikidata.org/entry/P17 おおさかだいがく https://www.wikidata.org/entry/P1814 http://www.wikidata. org/entity/Q653510 http://viaf.org/ viaf/136860286 https://www.wikidata.org/entry/P349 https://www.wikidata.org/entry/P159 http://id.ndl.go.jp/auth /ndlna/00296951 http://www.w3.org/2004/02/skos/core#exactMatch 大阪大学 http://www.w3.org/2008/05/skos-xl#prefLabel すべてのリソースおよび プロパティはIRI用いて 表される 2017/6/18 12
  13. 13. データを「つなげる」仕組み  「3つ組(トリプル)」により様々な構造のデータの “つながりを柔軟に表現”できる  Webサイトのリンクを辿るのと同様に,プロパティ(リンク)を辿る ことで関連するデータの情報を辿ることが出来る.  RDFのプロパティは,“関係の意味”を定義できる.  cf. Webのハイパーリンクは単に“つながり”を表すのみ  データ(リソース)をIRIで表すことで,“外部のデータとつ なげる”ことができる.  URIは,グローバルに一意のIDを表す.  WebサイトのURLと同じ仕組み.  cf.単なる数字をIDとすると,異なるDBが同じIDを使っている可能性 がある  Linked Data = 外部のデータとつながったデータ ≠ RDFフォーマットのデータ 2017/6/18 13
  14. 14. Linked Dataの基本原則 1. Use URIs as names for things 全てのモノやコトにURIをつけましょう 2. Use HTTP URIs so that people can look up those names. それらのURIをhttp(Webブラウザと同じ方法) で参照(アクセス)できるようにしましょう 3. When someone looks up a URI, provide useful information, using the standards (RDF, SPARQL) そのURIを参照したら,標準の技術(RDFやSPARQL)を使用し て,役に立つ情報を提供するように 4. Include links to other URIs. so that they can discover more things. 多くのモノ・コトを発見できるように,外部へのリンクを含めよう. 原文引用元 http://www.w3.org/DesignIssues/LinkedData.html 日本語訳参考 http://www.slideshare.net/takeda/lod-5163454 2017/6/18 14
  15. 15. Linked Dataの基本原則 1. Use URIs as names for things 全てのモノやコトにURIをつけましょう 2. Use HTTP URIs so that people can look up those names. それらのURIをhttp(Webブラウザと同じ方法) で参照(アクセス)できるようにしましょう 3. When someone looks up a URI, provide useful information, using the standards (RDF, SPARQL) そのURIを参照したら,標準の技術(RDFやSPARQL)を使用し て,役に立つ情報を提供するように 4. Include links to other URIs. so that they can discover more things. 多くのモノ・コトを発見できるように,外部へのリンクを含めよう. 原文引用元 http://www.w3.org/DesignIssues/LinkedData.html 日本語訳参考 http://www.slideshare.net/takeda/lod-5163454 2017/6/18 15 Linked Data の公開方法について
  16. 16. LODの公開方法  参照解決可能なhttp IRIs(URL,URI)を用いた公開  IRIでデータにアクセスが可能  通常のWebページと同様に,データのURIを用いて 「つながり」を辿ることが出来る =システムによる処理(リンク解析等)が可能  SPARQLエンドポイントの公開  RDF用のクエリ言語SPARQLにより検索可能なAPIを公開  クエリによるデータ検索・抽出が可能  RDFファイルのダンプの公開  全データをダウンロードできる形で公開  ダウロードしたファイルをRDFパーサー,RDF-DBなどの ツールを用いて処理可能 2017/6/18 16
  17. 17. 参照解決可能IRIによる公開  参照解決可能なhttp IRIs(URL,URI)を用いた公開  IRIでデータにアクセスが可能 =システムによる処理(リンク解析等)が可能  コンテンツネゴシエーションに対応していると,アクセス するツールに応じた形式での取得が可能  例)Webブラウザでアクセス → HTML Linked Dataブラウザでアクセス → RDF/XML など  拡張子を変えることで,取得形式を変えることも可能  例).rdf→RDF/XML, .ttl→Turtle,.json→JSON/LD など  LODブラウザの例  (Yet Another) Linked Data Browser http://www.kanzaki.com/works/2014/pub/ld-browser 2017/6/18 17
  18. 18. IRIによるLODへのアクセス例 2017/6/18 18 https://id.ndl.go.jp/auth/ndlna/00296951
  19. 19. IRIによるLODへのアクセス例 2017/6/18 19 https://id.ndl.go.jp/auth/ndlna/00296951 https://id.ndl.go.jp/auth/ndlna/00296951.ttl
  20. 20. Linked Dataブラウザによる LODへのアクセス例 2017/6/18 20 (Yet Another) Linked Data Browser http://www.kanzaki.com/work s/2014/pub/ld-browser を利用した閲覧例 →URIの欄に閲覧したいデータ のIRI(URI)を入力する この例では, http://id.ndl.go.jp/auth/ndlna/ 00296951
  21. 21. SPARQLによるRDFの検索  SPARQL  RDFデータに対するクエリ言語  「指定したグラフ構造」に一致するトリプルを検索する  最も基本的な検索 select ?s ?p ?o where { ?s ?p ?o . } LIMIT 100 ←取得する数の制限 ←検索するグラフのパターン ←返す要素 (*は全て) この例では「任意のトリプルの組み合わせ」 このパターンを変 えることで,欲しい データを取得する 212017/6/18
  22. 22. SPARQLによるRDFの検索例 2017/6/18 22 Web NDL Authoritiesの SPARQL Endpoint http://id.ndl.go.jp/auth/ndla 使い方説明 http://id.ndl.go.jp/information/sparql/
  23. 23. SPARQLクエリの例 2017/6/18 23  ラベルが”大阪大学”と一致するデータを取得 prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> select ?s where { ?s rdfs:label "大阪大学" . }LIMIT 100  ラベルに”大阪大学”を含むデータを取得 prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> select ?s ?l where { ?s rdfs:label ?l . FILTER(regex(str(?l), "大阪大学" )) . }LIMIT 100
  24. 24. SPARQLクエリの結果例 2017/6/18 24 Web NDL Authorities http://id.ndl.go.jp/information/sparql/ での検索結果の例
  25. 25. まとめ: Linked Dataの基盤技術  Linked Dataは,Web上で公開されたデータを 「つなぐ」仕組み  URL(IRI)を用いたグローバルに一意なデータの識別  データ間の“リンク”  Webと同じ仕組みを用いたデータのアクセス  IRIによる直接アクセス  SPARQLエンドポイント(API)によるアクセス  これらの仕組みが標準化されているため, データの共有が容易に行える.  公開されているLinked Data(LOD)を利用することで, -データ構築コストの削減, -データへのセマンティクスの付与 が可能に! 2017/6/18 25
  26. 26. Linked Dataの構築事例 262017/6/18
  27. 27. 既に公開・リンクされているLOD ~LODクラウド~ 2007/5/1 2007/10/82008/9/182009/7/14 2010/9/222011/9/19時点 Linking Open Data cloud diagram 2014, by Max Schmachtenberg, Christian Bizer, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/ 1つの丸が個別に公開 されたDBを表す. 2014/08/30時点 2017/6/18 27 DBpedia
  28. 28. 既に公開・リンクされているLOD ~LODクラウド~ 28 Domains # of dataset % Government 183 18.05 Publications 96 9.47 Life sciences 83 8.19 User-generated content 48 4.73 Cross-domain 41 4.04 Media 22 2.17 Geographic 21 2.07 Social web 520 51.28 Total 1014 2017/6/18
  29. 29. LODクラウドの最新版 Linking Open Data cloud diagram 2017, by Andrejs Abele, John P. McCrae, Paul Buitelaar, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/ 2017-02-20時点 データセット数 :1,139 2017/6/18 29
  30. 30. DBPedia Wikipediaの各記事のインフォボックスの情報を抽出して自動 生成されるLOD 様々なデータをつなぐLODのハブ的な存在となっている. http://dbpedia.org/ 日本語版のDBPediaは http://jp.dbpedia.org/ 2017/6/18 30 インフォボックスの例
  31. 31. DBpediaのデータ例(大阪市) 2017/6/18 31 すべてのWikipediaの記事が http://ja.dbpedia.org/resource/大阪市 のようなURL(IRI)でデータ化されている 生データの取得 検索API プログラムからの データ取得も可能
  32. 32. Wikidata(http://wikidata.org/) • ウィキメディア財団が運営する Wikipediaの「データ版」 • Wikipediaと同じようにデータを コミュニティで編集,公開できる • Wikipediaの「多言語リソース」 の相互リンクのために整備 • SPARQLエンドポイントや各種検 索ツールなども提供 2017/6/18 32
  33. 33. 日本語で使えるLODの例 法人インフォ(経済産業省) eStat 統計LOD 国立国会図書館LOD 大阪市オープンデータポータル DBpedia(WikipediaのLOD) Wikidata 2017/6/18 33
  34. 34. 日本語LODクラウド 2017/6/18 34 日本語Linked Data Cloud図 2015-11-18版 https://github.com/lodinit iative/JLDC
  35. 35. 図書館関係のLOD/Linked Dataの例 Web NDL Authorities 2017/6/18 35 https://id.ndl.go.jp/auth/ndla/ ・SPARQLエンドポイントあり ・参照解決可能 .rdf .ttl .json
  36. 36. 図書館関係のLOD/Linked Dataの例 CiNii(メタデータAPI) 2017/6/18 36 http://ci.nii.ac.jp/ https://support.nii.ac.jp/ja/cia/api/a_rdf https://support.nii.ac.jp/ja/cia/api/a_json ・参照解決可能 rdf .json
  37. 37. 図書館関係のLOD/Linked Dataの例 図書館施設データポータル 2017/6/18 37 http://uedayou.net/ld/library/ ・参照解決可能 .json .xml .ttl .nt .jsonld
  38. 38. Linked Data/LODの利用例 382017/6/18
  39. 39. Linked Dataの利用形態  Linked Dataから知識を検索/抽出  事実情報の取得  解析に用いるデータ(一覧)の取得  複数のLinked Dataの統合(マッシュアップ)  Linked Dataを用いたメタデータの付与  文献等のメタデータとして利用  自然言語文へのアノテーションでの利用 2017/6/18 39
  40. 40. 例)LODからの事実情報の取得 2017/6/18 40  DBpediaを百科事典的な “知識”(事実情報)を取得する ための汎用情報源として利用 医療分野での利用例 http://lodc.med-ontology.jp/ 生物分野での利用例 http://biomimetics.hozo.jp/ 多言語対応も可能!
  41. 41. 例)Bpedia/Wikidataからの解析用 のデータ取得 2017/6/18 41  簡単なランキングデータの取得  例)都道府県毎の「〇〇」の数  政治家(出生地)...1位は東京  「??」 ...1位は大阪  簡単な場所情報の取得  位置情報データの一覧  例:大阪市内の位置情報 http://lodosaka.jp/tool/wikidataMap/  例:東京都内の位置情報 http://lodosaka.jp/tool/wikidataMapTokyo/ (解説)Qiita:DBpediaを使った都道府県別ランキング http://qiita.com/koujikozaki/items/439fa7ce3e28b738fe10
  42. 42. DBpedia Japaneseの検索例  「各都道府県で生まれた政治家の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Politician; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c 42 (解説)Qiita:DBpediaを使った都道府県別ランキング http://qiita.com/koujikozaki/items/439fa7ce3e28b738fe10 2017/6/18
  43. 43. DBpedia Japaneseの検索例  「各都道府県で生まれた芸人の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Comedian; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c ここを, Politician→Comedian に変えるだけ! 432017/6/18
  44. 44. 複数データの統合例 2017/6/18 44 LODチャレンジ2014 ビジュアライゼーション部門 優秀賞 「警察署・交番から距離 が遠いエリア」と犯罪発 生地点を重ね合わせ
  45. 45. ナレッジグラフ (Knowledge Graph) • さまざまな「知識」の関係(つながり)をグラフ 構造で表したもの. • 知的システム開発の基盤となるデータベース (知識ベース)として用いられる. 2017/6/18 45 参考情報
  46. 46. Google Knowledge Graph 2017/6/18 • Knowledge Graph (知識グラフ) と呼ばれる,知識の“つながり”を 活用した様々なサービスの開発が, Google,Yahoo!,Facebookなど多 くのネット企業で進められている. →Google Knowledge Graphは 2012年サービス開始 https://www.google.com/intl/es419/insidesearch/features/search/knowledge.html 46
  47. 47. Knowledge Graphの検索例 2017/6/18 47
  48. 48. まとめ: Linked Dataの構築事例  LODクラウド  Linked Open Data(LOD)として公開されているデータセット の“つながり”を可視化した図  2017年2月20日時点で,1,139のデータセットが登録.  日本でのLinked Data/LOD  DBpedia,Wikidataのような汎用のものに加えて,政府デー タのLOD化も一部,進められている.  図書館/学術情報分野において,様々なデータセットの Linked Data/LOD化が進められている  Linked Data/LODの利用  様々な知識を得るための情報源として用いる  メタデータを付与に用いる 2017/6/18 48
  49. 49. まとめ  Linked Data  Webの仕組みをデータを公開する仕組み  IRIによるグローバルなID  データ間の“リンク”  Linked Open Data  Linked Dataとして公開されたオープンデータ  この10年で多くのデータがLinked Data/LOD として公開されている. 2017/6/18 49
  50. 50. 参考資料  リンクト・オープン・データ連続講座(東京) 「LODの基本から応用最新情報まで」 http://linkedopendata.jp/?cat=17  LODI(リンクト・オープン・データ・イニシアティブ)による LODに関する講座  関西地方での開催も計画中!  講座内容(過去の資料が一部公開されている)  第1回 「オープンデータからLinked Open Dataへ」  第2回 「情報の構造化」  第3回 「RDF入門」  第4回 「スキーマとURI」  第5回 「LODの作り方・使い方」  第6回 「LODシステム実践紹介」 2017/6/18 50
  51. 51. 参考資料  LODハッカソン関西のWebサイト  http://lodosaka.jp 各種技術情報もまとめています.  関連書籍  Linked Data: Webをグローバルなデータ空間にす る仕組み  トム ヒース (著), クリスチャン バイツァー (著), 武田 英明 (翻訳)  オープンデータ時代の標準Web API SPARQL  加藤 文彦 (著), 川島 秀一 (著), 岡別府 陽子 (著), 山本 泰 智 (著), 片山 俊明 (著)  セマンティックWebとリンクトデータ  兼岩 憲 (著) 2017/6/18 51

×