Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
takemikamiʼs note ‒ http://takemikami.com/
RDFのチェックツール「rdflint」と
コミュニティによるオープンデータの作成
Copyright (C) Takeshi Mikami. All rig...
takemikamiʼs note ‒ http://takemikami.com/
⾃⼰紹介
• 三上威 (@takemikami)
• データエンジニア・サイエンティスト
• タスク: 分析・予測モデル開発・基盤構築 etc
• 対象: マ...
takemikamiʼs note ‒ http://takemikami.com/
im@sparqlとそのデータ作成の運⽤
Copyright (C) Takeshi Mikami. All rights reserved. 3
im@sp...
takemikamiʼs note ‒ http://takemikami.com/
コミュニティによるデータ作成の全体像
Copyright (C) Takeshi Mikami. All rights reserved. 4
コミュニティに...
takemikamiʼs note ‒ http://takemikami.com/
コミュニティによるデータ作成の課題意識
• ⽬標:
誰でもデータの追加・修正のリクエストをすることが出来る
• 障害:
確認作業(サーバを⽴ち上げて、修正デー...
takemikamiʼs note ‒ http://takemikami.com/
rdflintで出来ること① 〜RDFファイルとして正しいか〜
Copyright (C) Takeshi Mikami. All rights reserv...
takemikamiʼs note ‒ http://takemikami.com/
rdflintで出来ること② 〜主語の存在チェック〜
Copyright (C) Takeshi Mikami. All rights reserved. 7...
takemikamiʼs note ‒ http://takemikami.com/
検査の実⾏イメージ
Copyright (C) Takeshi Mikami. All rights reserved. 8
検査の実⾏イメージを⽰します
$...
takemikamiʼs note ‒ http://takemikami.com/
SPARQLのテスト実⾏環境 実⾏イメージ
Copyright (C) Takeshi Mikami. All rights reserved. 9
SPAR...
takemikamiʼs note ‒ http://takemikami.com/
rdflintで出来ること 〜その他の機能と実装予定〜
• RDFファイルとして正しいか
• 主語の存在チェック
• SPARQLのテスト実⾏機能
• SPA...
takemikamiʼs note ‒ http://takemikami.com/
まとめ
• コミュニティでのデータセット作成を運⽤すると、
データ作成者・チェック者に、⼿間のかかる確認作業が発⽣
• ⼿間がかかる上に、システムの知識も必要...
Upcoming SlideShare
Loading in …5
×

of

RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 1 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 2 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 3 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 4 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 5 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 6 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 7 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 8 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 9 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 10 RDFのチェックツール「rdflint」とコミュニティによるオープンデータの作成 Slide 11
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

0 Likes

Share

Download to read offline

RDFのチェックツール「rdflint」と コミュニティによるオープンデータの作成

Download to read offline

コミュニティによるオープンデータ作成の課題意識
RDFのチェックツール「rdflint」の紹介

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to like this

RDFのチェックツール「rdflint」と コミュニティによるオープンデータの作成

  1. 1. takemikamiʼs note ‒ http://takemikami.com/ RDFのチェックツール「rdflint」と コミュニティによるオープンデータの作成 Copyright (C) Takeshi Mikami. All rights reserved. 1 三上 威 - @takemikami アーリース情報技術株式会社 代表取締役 社⻑ LODチャレンジ2019ミートアップ (キックオフイベント) 2019.7.5 @国⽴情報学研究所 12階 1208・1210会議室
  2. 2. takemikamiʼs note ‒ http://takemikami.com/ ⾃⼰紹介 • 三上威 (@takemikami) • データエンジニア・サイエンティスト • タスク: 分析・予測モデル開発・基盤構築 etc • 対象: マーケティングデータ etc • 略歴 • 甲南⼤学理学部応⽤数学科 卒 • EC, CRM等のシステム構築 @ NEC系SIer • ECサイトのマーケティングデータ分析 @ DeNA • データ分析・予測モデル開発・基盤構築 @アーリース情報技術(株) Copyright (C) Takeshi Mikami. All rights reserved. 2 発表者のプロフィールを紹介します ※フリーランスの法⼈成り
  3. 3. takemikamiʼs note ‒ http://takemikami.com/ im@sparqlとそのデータ作成の運⽤ Copyright (C) Takeshi Mikami. All rights reserved. 3 im@sparqlとそのデータ作成の運⽤について紹介をします im@s + sparql = im@sparql • 「アイドルマスター」作品世界のデータセットを持つ、 SPARQLでアクセス可能なエンドポイント • GitHubというソースコードの管理システムを使⽤、誰でもデー タの追加・修正のリクエストをすることが出来る ※im@sparqlは、 LODチャレンジ2018 データセット部⾨ 受賞作品です
  4. 4. takemikamiʼs note ‒ http://takemikami.com/ コミュニティによるデータ作成の全体像 Copyright (C) Takeshi Mikami. All rights reserved. 4 コミュニティによるデータ作成の全体像を⽰します マスターデータ チェックプロセス チェックする⼈ 追加・修正リクエストする⼈達 サーバ ①修正依頼を送る ②依頼内容をチェック ③マスターに反映 ④サーバに反映 チェックに⼿間のかかる &システムの知識も必要 チェックに⼿間のかかる &システムの知識も必要
  5. 5. takemikamiʼs note ‒ http://takemikami.com/ コミュニティによるデータ作成の課題意識 • ⽬標: 誰でもデータの追加・修正のリクエストをすることが出来る • 障害: 確認作業(サーバを⽴ち上げて、修正データをロード) に⼿間と知識が必要になる =「誰でも」リクエスト出来る状態ではない Copyright (C) Takeshi Mikami. All rights reserved. 5 コミュニティによるデータ作成の課題意識を説明します →確認作業を簡単にできるチェックツールを整備する RDFチェックツール「rdflint」の開発・導⼊
  6. 6. takemikamiʼs note ‒ http://takemikami.com/ rdflintで出来ること① 〜RDFファイルとして正しいか〜 Copyright (C) Takeshi Mikami. All rights reserved. 6 rdflintで出来ること: RDFファイルとして正しいかのチェック のイメージを⽰します <rdf:Description rdf:about="detail/Hakozaki_Serika"> <imas:nameKana xml:lang="ja">はこざきせりか</imas:nameKana> <schema:name xml:lang="ja">箱崎星梨花</schema:name> <foaf:age rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">13</foaf:age> <rdf:type rdf:resource="https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol"/> <imas:cv rdf:resource="http://ja.dbpedia.org/resource/⿇倉もも"/> </rdf:Description> detail/Hakozaki_Serika http://ja.dbpedia.org/resource/⿇倉もも はこざきせりか imasrdf/URIs/imas-schema.ttl#Idol 箱崎星梨花 13 imas:nameKana imas:name foaf:age rdf:type imas:cv RDFファイルとして 正しいかチェック リソースのURI リテラル 凡例:
  7. 7. takemikamiʼs note ‒ http://takemikami.com/ rdflintで出来ること② 〜主語の存在チェック〜 Copyright (C) Takeshi Mikami. All rights reserved. 7 rdflintで出来ること: 主語の存在チェック のイメージを⽰します <rdf:Description rdf:about="detail/Hakozaki_Serika"> <imas:nameKana xml:lang="ja">はこざきせりか</imas:nameKana> <schema:name xml:lang="ja">箱崎星梨花</schema:name> <foaf:age rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">13</foaf:age> <rdf:type rdf:resource="https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol"/> <imas:cv rdf:resource="http://ja.dbpedia.org/resource/⿇倉もも"/> </rdf:Description> detail/Hakozaki_Serika http://ja.dbpedia.org/resource/⿇倉もも はこざきせりか imasrdf/URIs/imas-schema.ttl#Idol 箱崎星梨花 13 imas:nameKana imas:name foaf:age rdf:type imas:cv im@sparqlのデータセットで 管理されている主語の 存在チェック im@sparqlのデータセットで 管理されている主語の 存在チェック im@sparqlのデータセットで 管理されている主語の 存在チェック im@sparqlのデータセットで 管理されている主語の 存在チェック 要するに リンク切れチェック
  8. 8. takemikamiʼs note ‒ http://takemikami.com/ 検査の実⾏イメージ Copyright (C) Takeshi Mikami. All rights reserved. 8 検査の実⾏イメージを⽰します $ wget https://jitpack.io/com/github/imas/rdflint/0.0.6/rdflint-0.0.6-all.jar rdflintのダウンロード $ java -jar rdflint-0.0.6-all.jar -config .circleci/rdflint-config.yml RDFs/Event.rdf warn Undefined URI: https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_serika (Triple: https://sparql.crssnky.xyz/imasrdf/RDFs/detail/765Caravan_2 - http://schema.org/actor - https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_serika) rdflint検査の実⾏ 対象ファイル エラー理由 ※Hakozaki_serika → Hakozaki_Serika (⼤⽂字・⼩⽂字の誤り)
  9. 9. takemikamiʼs note ‒ http://takemikami.com/ SPARQLのテスト実⾏環境 実⾏イメージ Copyright (C) Takeshi Mikami. All rights reserved. 9 SPARQLのテスト実⾏環境(インタラクティブモード)の実⾏イメージを⽰す $ java -jar rdflint-0.0.6-all.jar -i -config .circleci/rdflint-config.yml sparql > PREFIX schema: <http://schema.org/> > PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> > PREFIX imas: <https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#> > SELECT ?星梨花の主語 > WHERE { > ?星梨花の主語 rdf:type imas:Idol; > schema:name ?アイドル名. > filter(contains(?アイドル名,"箱崎星梨花")) > } > -------------------------------------------------------------------- | 星梨花の主語 | ==================================================================== | <https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_Serika> | -------------------------------------------------------------------- rdflintインタラクティブモードでのクエリ実⾏ クエリ 実⾏結果
  10. 10. takemikamiʼs note ‒ http://takemikami.com/ rdflintで出来ること 〜その他の機能と実装予定〜 • RDFファイルとして正しいか • 主語の存在チェック • SPARQLのテスト実⾏機能 • SPARQLクエリによるカスタムチェック • 主語・トリプルが削除されていないかチェック • RDFファイルの⽣成機能 • ⽂字コード、改⾏コードのチェック • 数値・⽂字列などのデータ型チェック • 外れ値のチェック Copyright (C) Takeshi Mikami. All rights reserved. 10 rdflintで出来る紹介した以外の機能、今後実装予定の機能を紹介します 紹介済み 実装予定
  11. 11. takemikamiʼs note ‒ http://takemikami.com/ まとめ • コミュニティでのデータセット作成を運⽤すると、 データ作成者・チェック者に、⼿間のかかる確認作業が発⽣ • ⼿間がかかる上に、システムの知識も必要 • 確認作業は「rdflint」で⽀援・⾃動化出来る • 機械的にチェック出来ることはたくさんあるので機能強化中 • まだまだ成⻑途中なんです!です! • 「rdflint」は「LOCチャレンジ2019 基盤部⾨」に応募 Copyright (C) Takeshi Mikami. All rights reserved. 11 本Lightning Talkのまとめです

コミュニティによるオープンデータ作成の課題意識 RDFのチェックツール「rdflint」の紹介

Views

Total views

663

On Slideshare

0

From embeds

0

Number of embeds

9

Actions

Downloads

1

Shares

0

Comments

0

Likes

0

×