Successfully reported this slideshow.

第3回ナレッジグラフ推論チャレンジ2020の紹介

0

Share

1 of 32
1 of 32

第3回ナレッジグラフ推論チャレンジ2020の紹介

0

Share

Download to read offline

Description

続き https://www.slideshare.net/TakanoriUgai/lodc-kgrc-2020-meeting

LODチャレンジ2020&ナレッジグラフ推論チャレンジ2020合同キックオフ
https://peatix.com/event/1546462/

ナレッジグラフ推論チャレンジ
https://challenge.knowledge-graph.jp/

Transcript

  1. 1. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第3回ナレッジグラフ推論チャレンジ2020の紹介 1
  2. 2. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 本日の発表 第3回ナレッジグラフ推論チャレンジ2020の開催概要 (大阪電気通信大学 古崎) 公開するナレッジグラフ (電子航法研究所 江上) 第2回推論チャレンジ2019の応募作品紹介 (富士通研究所 鵜飼) 2
  3. 3. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ推論チャレンジ ナレッジグラフ推論チャレンジ(2018~)  シャーロック・ホームズのような“推理”(推論)ができるAIシステムの開発 を目指した技術コンテスト チャレンジのねらい  説明可能性(解釈可能性)を有するAI技術に関する最新技術の促進・ 共有と,その分析・評価,体系化を行う. チャレンジの概要 3 ホームズ の推理小説 ナレッジグラフ(知識グラフ) としてデータ化 2020/7/15 さまざまな知識/手法を用いて 事件の真相を推理し,理由を 説明するAIシステムの開発 捜査 手法 動機 DB …. 犯人はXX! なぜなら… 動機は… トリックは…
  4. 4. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第3回ナレッジグラフ推論チャレンジ2020 コロナの影響で国際版チャレンジ併催を企画していたJISTが延期 … 6/9より、第3回国内版推論チャレンジ2020の作品応募を開始!  既存の5つのナレッジグラフの洗練化版 まだらのひも、踊る人形、背中の曲がった男、悪魔の足、花婿失踪事件  新規に3つのナレッジグラフを追加(9月公開予定) 僧坊荘園、入院患者、白銀号殺人事件  スケジュール 2020/06/09 応募開始 2020/09/xx 追加KG公開予定 2020/10/31 チャレンジ応募〆切 2020/12/末 最終審査会・授賞式(状況を見てオンライン開催を検討) 新審査基準:可能な限り複数の作品に共通的に適用できる手法を 高く評価します! 4
  5. 5. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 5 各イベントへの参加者の皆様に感謝申し上げます https://challenge.knowledge-graph.jp/2020/
  6. 6. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 公開するナレッジグラフ 6
  7. 7. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ 知識グラフ(Knowledge Graph: ナレッジグラフ)とは “知識グラフとは,グラフ構造で表現された知識. 知識グラフには,オントロジーとインスタンスの双方が含まれる” https://github.com/KnowledgeGraphJapan/Tutorial/blob/master/What_Is_KG.md 7 "Example Wikidata Query knowledge graph showing Portrait of Madame X" © Fuzheado (Licensed under CC BY 4.0)
  8. 8. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ ナレッジグラフの要求仕様  犯人を推論(推理)するのに必要な知識を提供する  「推理小説」で描かれる様々な状況を,できるだけ統一的な形式で 計算機処理(検索・推論・etc.)可能にする ⇒標準形式であるResource Description Framework (RDF)で提供 ナレッジグラフ化の基本方針  「推理小説」の内容を,最小単位の場面(シーン)に分割 →場面ごとにID(IRI)を付与  各場面の記述内容および場面間の関係をグラフ化 →グラフ化に必要なクラス・プロパティを定義 8 場面1 場面2 場面3 場面4 場面5
  9. 9. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 場面(シーン)スキーマ 場面ID 原文 主語 述語 目的語 subject hasPredicate source その他 他の場面 場面間 場面を表現するプロパティ  subject:その場面の記述において主語となる人や物  hasPredicate:その場面の内容を表す述語  場面の詳細を表す目的語:whom(だれに), where(どこで), when(いつ), what (何を), how(どのように), …etc.  場面間の関係:then,if, because, …etc.  time:その場面が起こった絶対時間(xsd:DateTime)  source:その場面の原文(英語/日本語のリテラル) 主語 目的語 述語 9 場面ID 主語 目的語述語
  10. 10. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 場面(シーン)スキーマ 記述例 10 原文(英語/日本語) 絶対時間※小説内に基準日 時を設定している 主語・述語・目的語は全て 「リソース」として定義 →他の場面で同じ目的語を 参照可能 述語 主語 他の場面 場面の種類(クラス)分け Scene:上位クラス -Situation:事実・状況の描写 -Statement:Aの発言 -Talk:AのBへの発言 -Thought:Aの考え
  11. 11. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 kgc:Propertyタイプ 11 「性質」を表す 任意のリソースを 導入する 性質・状態(hasProperty)の例
  12. 12. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係を表す プロパティ 12 シーン間の関係
  13. 13. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係を表す プロパティ 13 シーン間の関係
  14. 14. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 公開するナレッジグラフ シャーロック・ホームズ短編集から下記作品のナレッジグラフを提供 データ(GitHub),SPARQLエンドポイント,可視化ツールを公開  https://challenge.knowledge-graph.jp/2020/rdf.html 14 作品名 タスク まだらの紐 ヘレンを殺したのは誰か?(犯人+説明) 踊る人形 暗号を解け(暗号の解読) 同一事件(花婿失踪事件) 花婿はなぜ消えたか?(説明) 悪魔の足 各人物を殺したのは誰か?(犯人+説明) 背中の曲がった男(曲がれる者) バークリはなぜ死んだのか?(説明) 僧坊荘園 (追加予定) 入院患者 (追加予定) 白銀号事件 (追加予定)
  15. 15. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL検索例:述語一覧 ここで言う「述語」とはRDFトリプルにおけるPredicate全般のことでは なく、何かのシーン(Situation/Statement/Talk/Thought)に関する 述語の意味 15 PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#> SELECT DISTINCT ?o WHERE { ?s kgc:hasPredicate ?o . } 今回用意したKGのプロパティやクラスについてはこの接頭辞を使う。 このURIにアクセスするとOWL※1ファイルを参照可能。 kgc:hasPredicateはシーンが述語を持っていることの意味。 ?sにはシーンが入り、?oにはそのシーンの述語が入る。 ※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式
  16. 16. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL検索例:have “have”という述語の主語と目的語について取得(まだらの紐) 16 PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#> SELECT ?id ?s ?o FROM <http://kgc.knowledge-graph.jp/data/SpeckledBand> WHERE { ?id kgc:hasPredicate ?p; kgc:subject ?s; kgc:what ?o . ?p rdfs:label "have"@en . } ※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式 結果(JSON) https://tinyurl.com/ya88lflt
  17. 17. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL Editor SPARQLエンドポイント  http://kg.hozo.jp/fuseki/kgrc/sparql  APIとして使う場合はこちら  パラメータ  query = SPARQLクエリのURLエンコード  format = データフォーマット(json, xml, csv, …) SPARQLエディター  http://knowledge-graph.jp/sparql.html  ブラウザでSPARQLを試したい場合はこちら 17
  18. 18. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 可視化ツール http://knowledge-graph.jp/visualization/ 18 ナレッジグラフ(RDF形式) クエリー言語SPARQLによる検索 グラフDB(キーワード検索も可)
  19. 19. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 前年のチャレンジとの違い 語彙の統制  述語の時制統一  Predicate/Propertyの整理  Objectの整理  「A is B」パターンの整理  キャピタライゼーションの統一  ノイズ除去  S,P,O誤分解の修正  etc. 作品の追加(9月を予定)  僧坊荘園  入院患者  白銀号事件 19 https://github.com/KnowledgeGraphJapan/KGRC- RDF/commits/master 更新履歴を確認可能
  20. 20. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 2019年の応募作品紹介 人工知能学会全国大会で紹介したもの+α(別紙) 20
  21. 21. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回ナレッジグラフ推論チャレンジ2019 応募結果と受賞作品 合計9作品の応募があり,最終審査会にて受賞作品を決定 本部門  田村光太郎,角田充弘,外園康智(株式会社野村総合研究所)  黒川茂莉(株式会社KDDI総合研究所)  伊鍋貴宏,石暁沂(株式会社サキヨミAIラボ)  上小田中 411(鵜飼孝典,岡嶋成司)(富士通研究所) ツール部門  勝島修平(東京都市大学知識工学部経営システム工学科)  中川豪(法政大学理工学部応用情報工学科)  佐藤壮, 西山慶一郎(大阪電気通信大学) アイデア部門  AKK/村上勝彦(富士通研究所),高松邦彦(神戸常盤大学),杉浦 あおい(神戸市立西神戸医療センター)  村嶋 義隆 21 ベストアイデア賞 学生奨励賞 全国大会発表 最優秀賞 優秀賞 +α(別紙)
  22. 22. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 昨年は、「推理」を述語論理によるSAT問題として扱った  推理・推論のプロセスが明瞭  ストーリーとは別の解があることを提示 技術的に残った課題  汎用的なルールの構築  証言の真偽の取り扱い  答えの分岐の条件 22
  23. 23. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 今年のチャレンジにあたっての課題 23 仮説推論 充足可能解 ASP BERT 類似文判定 画像処理 暗号解読 ホームズの鋭い観察による推理を、真似できるか? ナレッジグラフを介さず日本語文のみで処理できるか? 原著の手書き人形図の暗号文解読ができるか? 登場人物の発言の嘘を見抜けるか? ホームズ解決の“不完全さ”を補うことができるか?
  24. 24. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 深層学習BERTとルールベースの仮説推論・SAT問題の融合 24 External Knowledge dataKG Sentence ① BERT 類似文判定 ② 仮説推論 ③ SAT SAT問題の充足解 = 可能な犯行状況 INPUT OUTPUT Model 本文から推理に必要な部分の抽出 仮説をたてる 仮説を含めた論理式の検証 解の提示と分岐条件
  25. 25. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ アプローチの一つ。OpenDavidによる機械的な仮説の立案 論理式による仮説推論の過程:  継父とホズマは同一人物。継父が結婚詐欺をはたらいた。 25
  26. 26. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフの要素(ホームス、ワトソン、被害者、凶器、犯行 場所等)を特徴空間に埋め込み、特徴空間上のベクトル演算 に基づいて犯人を推論 【KDDI総合研究所】 推論方法 open holmes window holmes helen ? kill julia come 共通項(holmes, watson)のベクトルが同 じベクトルになるように制約[1] ?+kill~julia 犯人の推論 特徴空間に埋め込み mortimer window brenda kill open mislead ? kill watson mislead ? julia helen kill come support watson meet holmes holmes 共通項 まだらの紐ナレッジグラフ 悪魔の足ナレッジグラフ [1] Zhu, H. et al., Iterative Entity Alignment via Joint Knowledge Embeddings, In IJCAI 2017. 26
  27. 27. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 【KDDI総合研究所】 推論結果 特徴ベクトル演算に基づく犯人の推論 5つのナレッジグラフすべてを用いた場合 悪魔の足(case2) 犯人当て ? + kill ~ mortimer まだらの紐 犯人当て ? + kill ~ julia 1位: standale (正解) 1位: helen 2位: roylott (正解) 27
  28. 28. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 利用するナレッジグラフの数を増やすと(1KG→2KG→5KG)、 犯人の順位が上昇➡他のナレッジグラフからの知識流入により、 犯人推論の精度向上が可能 事後フィルタ 1. ランキングで人間でない要素が出てきた場合は、除外する 2. ランキングでholmes、watsonが出てきた場合は、除外する  悪魔の足の1KGや2KGの場合は、これらの事後フィルタなしでは当てること は難しい 【KDDI総合研究所】推論結果の分析 ~利用するナレッジグラフの数 ※括弧内は事後フィルタ前の順位 PTransE IPTransE 1KG 2KG 5KG 悪魔の足(case2) 5(71) 4(229) 1(1) まだらの紐 - - 2(2) 2(2) 28
  29. 29. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 特徴空間は事件の構造を捉えられているか? IPTransE (5KG) の特徴空間の2D可視化 (t-SNE) 【KDDI総合研究所】推論結果の分析 ~特徴空間の可視化 犯行現場 被害者 犯人 凶器 𝑘𝑖𝑙𝑙 • 犯行場所は被害者に近い領域にある • 凶器は犯人に近い領域にある • ホームス、ワトソン(とくにホームス)は犯人に近い • 𝑘𝑖𝑙𝑙は犯人と被害者をつなぐノルム、方向を持って いるように見える 29
  30. 30. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(1/3) [2] Gusmão, A.C. et al., Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach, ICML 2018 Workshop (WHI 2018). 手法:特徴空間上の三つ組のスコアをパスの有無で当てられるか? *ナレッジグラフ埋め込みの説明法(XKE[2])を改変  正例作成:killを含む三つ組に対し、特徴量=ヘッドとテイルを結ぶパスの 有無を表すマルチホットベクトル、ラベル=softmax(− ℎ + 𝑟 − 𝑡 )とする  負例作成:killを含まない三つ組に対し、リレーションをkillで置き換え。特 徴量、ラベルの生成方法は正例と同様  以上の正例、負例集合をもとに線形回帰を実行し、回帰係数を導出 mortimer brenda kill パス1 (回帰係数=0.5) パス2 (回帰係数=0.2) XKEの結果イメージ ※_が付いたものは逆向きリンクを意味 kill は何を表しているか? パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) 30
  31. 31. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(2/3) abe_slaney qubit kill shoot 原文: キュービットはエイブ・スレイニを撃った (キュービットの弾はエイブ・スレイニを外れた) →直接の死因ではないが、怨恨を感じさせる (「悪魔の足」と同様の状況を学習) パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) kill は何を表しているか? 31
  32. 32. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(3/3) パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) 原文: 「スタンデールは部屋の中を観察した」 「事件1と事件2において、部屋の中でものが燃えていた」 →事件1の状況証拠を見ている→動機を示唆 「スタンデールは何年もブレンダを愛してきた」 →愛憎を示唆 case_1 brenda kill thing in_the_room standale observe i_have_loved it_was_burningit_was_burning kill は何を表しているか? 32

Editor's Notes

  • @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> . @prefix owl: <http://www.w3.org/2002/07/owl#> . @prefix cc: <http://creativecommons.org/ns#> . @prefix xsd: <http://www.w3.org/2001/XMLSchema#> . @prefix kgcc: <http://challenge.knowledge-graph.jp/ontology/kgcc.owl#> . @prefix kgd: <http://challenge.knowledge-graph.jp/data/dataset1/> . <http://challenge.knowledge-graph.jp/data/dataset1/163> rdf:type kgcc:Situation; kgcc:source "屋敷の中央部は手入れ不足。"@ja ; kgcc:source "The central part of the mansion is inadequate."@en ; kgcc:hasProperty <http://challenge.knowledge-graph.jp/data/dataset1/broken> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/central_part_of__mansion_of_Roylott>. <http://challenge.knowledge-graph.jp/data/dataset1/broken> rdf:type kgcc:Property; rdfs:label "broken"@en.
  • @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> . @prefix owl: <http://www.w3.org/2002/07/owl#> . @prefix cc: <http://creativecommons.org/ns#> . @prefix xsd: <http://www.w3.org/2001/XMLSchema#> . @prefix kgcc: <http://challenge.knowledge-graph.jp/ontology/kgcc.owl#> . @prefix kgd: <http://challenge.knowledge-graph.jp/data/dataset1/> . <http://challenge.knowledge-graph.jp/data/dataset1/155> rdf:type kgcc:Situation; kgcc:source "ホームズはそれをヘレンに説明した。"@ja ; kgcc:source "Holmes explained to Helen."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/talk> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Holmes> ; kgcc:whom <http://challenge.knowledge-graph.jp/data/dataset1/Helen> ; kgcc:what <http://challenge.knowledge-graph.jp/data/dataset1/138> ; kgcc:then <http://challenge.knowledge-graph.jp/data/dataset1/156>. <http://challenge.knowledge-graph.jp/data/dataset1/156> rdf:type kgcc:Situation; kgcc:source "ヘレンは真っ青になった。"@ja ; kgcc:source "Helen turned pale."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/beScared> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Helen>.
  • @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> . @prefix owl: <http://www.w3.org/2002/07/owl#> . @prefix cc: <http://creativecommons.org/ns#> . @prefix xsd: <http://www.w3.org/2001/XMLSchema#> . @prefix kgcc: <http://challenge.knowledge-graph.jp/ontology/kgcc.owl#> . @prefix kgd: <http://challenge.knowledge-graph.jp/data/dataset1/> . <http://challenge.knowledge-graph.jp/data/dataset1/155> rdf:type kgcc:Situation; kgcc:source "ホームズはそれをヘレンに説明した。"@ja ; kgcc:source "Holmes explained to Helen."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/talk> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Holmes> ; kgcc:whom <http://challenge.knowledge-graph.jp/data/dataset1/Helen> ; kgcc:what <http://challenge.knowledge-graph.jp/data/dataset1/138> ; kgcc:then <http://challenge.knowledge-graph.jp/data/dataset1/156>. <http://challenge.knowledge-graph.jp/data/dataset1/156> rdf:type kgcc:Situation; kgcc:source "ヘレンは真っ青になった。"@ja ; kgcc:source "Helen turned pale."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/beScared> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Helen>.
  • Description

    続き https://www.slideshare.net/TakanoriUgai/lodc-kgrc-2020-meeting

    LODチャレンジ2020&ナレッジグラフ推論チャレンジ2020合同キックオフ
    https://peatix.com/event/1546462/

    ナレッジグラフ推論チャレンジ
    https://challenge.knowledge-graph.jp/

    Transcript

    1. 1. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第3回ナレッジグラフ推論チャレンジ2020の紹介 1
    2. 2. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 本日の発表 第3回ナレッジグラフ推論チャレンジ2020の開催概要 (大阪電気通信大学 古崎) 公開するナレッジグラフ (電子航法研究所 江上) 第2回推論チャレンジ2019の応募作品紹介 (富士通研究所 鵜飼) 2
    3. 3. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ推論チャレンジ ナレッジグラフ推論チャレンジ(2018~)  シャーロック・ホームズのような“推理”(推論)ができるAIシステムの開発 を目指した技術コンテスト チャレンジのねらい  説明可能性(解釈可能性)を有するAI技術に関する最新技術の促進・ 共有と,その分析・評価,体系化を行う. チャレンジの概要 3 ホームズ の推理小説 ナレッジグラフ(知識グラフ) としてデータ化 2020/7/15 さまざまな知識/手法を用いて 事件の真相を推理し,理由を 説明するAIシステムの開発 捜査 手法 動機 DB …. 犯人はXX! なぜなら… 動機は… トリックは…
    4. 4. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第3回ナレッジグラフ推論チャレンジ2020 コロナの影響で国際版チャレンジ併催を企画していたJISTが延期 … 6/9より、第3回国内版推論チャレンジ2020の作品応募を開始!  既存の5つのナレッジグラフの洗練化版 まだらのひも、踊る人形、背中の曲がった男、悪魔の足、花婿失踪事件  新規に3つのナレッジグラフを追加(9月公開予定) 僧坊荘園、入院患者、白銀号殺人事件  スケジュール 2020/06/09 応募開始 2020/09/xx 追加KG公開予定 2020/10/31 チャレンジ応募〆切 2020/12/末 最終審査会・授賞式(状況を見てオンライン開催を検討) 新審査基準:可能な限り複数の作品に共通的に適用できる手法を 高く評価します! 4
    5. 5. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 5 各イベントへの参加者の皆様に感謝申し上げます https://challenge.knowledge-graph.jp/2020/
    6. 6. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 公開するナレッジグラフ 6
    7. 7. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ 知識グラフ(Knowledge Graph: ナレッジグラフ)とは “知識グラフとは,グラフ構造で表現された知識. 知識グラフには,オントロジーとインスタンスの双方が含まれる” https://github.com/KnowledgeGraphJapan/Tutorial/blob/master/What_Is_KG.md 7 "Example Wikidata Query knowledge graph showing Portrait of Madame X" © Fuzheado (Licensed under CC BY 4.0)
    8. 8. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ ナレッジグラフの要求仕様  犯人を推論(推理)するのに必要な知識を提供する  「推理小説」で描かれる様々な状況を,できるだけ統一的な形式で 計算機処理(検索・推論・etc.)可能にする ⇒標準形式であるResource Description Framework (RDF)で提供 ナレッジグラフ化の基本方針  「推理小説」の内容を,最小単位の場面(シーン)に分割 →場面ごとにID(IRI)を付与  各場面の記述内容および場面間の関係をグラフ化 →グラフ化に必要なクラス・プロパティを定義 8 場面1 場面2 場面3 場面4 場面5
    9. 9. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 場面(シーン)スキーマ 場面ID 原文 主語 述語 目的語 subject hasPredicate source その他 他の場面 場面間 場面を表現するプロパティ  subject:その場面の記述において主語となる人や物  hasPredicate:その場面の内容を表す述語  場面の詳細を表す目的語:whom(だれに), where(どこで), when(いつ), what (何を), how(どのように), …etc.  場面間の関係:then,if, because, …etc.  time:その場面が起こった絶対時間(xsd:DateTime)  source:その場面の原文(英語/日本語のリテラル) 主語 目的語 述語 9 場面ID 主語 目的語述語
    10. 10. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 場面(シーン)スキーマ 記述例 10 原文(英語/日本語) 絶対時間※小説内に基準日 時を設定している 主語・述語・目的語は全て 「リソース」として定義 →他の場面で同じ目的語を 参照可能 述語 主語 他の場面 場面の種類(クラス)分け Scene:上位クラス -Situation:事実・状況の描写 -Statement:Aの発言 -Talk:AのBへの発言 -Thought:Aの考え
    11. 11. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 kgc:Propertyタイプ 11 「性質」を表す 任意のリソースを 導入する 性質・状態(hasProperty)の例
    12. 12. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係を表す プロパティ 12 シーン間の関係
    13. 13. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係を表す プロパティ 13 シーン間の関係
    14. 14. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 公開するナレッジグラフ シャーロック・ホームズ短編集から下記作品のナレッジグラフを提供 データ(GitHub),SPARQLエンドポイント,可視化ツールを公開  https://challenge.knowledge-graph.jp/2020/rdf.html 14 作品名 タスク まだらの紐 ヘレンを殺したのは誰か?(犯人+説明) 踊る人形 暗号を解け(暗号の解読) 同一事件(花婿失踪事件) 花婿はなぜ消えたか?(説明) 悪魔の足 各人物を殺したのは誰か?(犯人+説明) 背中の曲がった男(曲がれる者) バークリはなぜ死んだのか?(説明) 僧坊荘園 (追加予定) 入院患者 (追加予定) 白銀号事件 (追加予定)
    15. 15. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL検索例:述語一覧 ここで言う「述語」とはRDFトリプルにおけるPredicate全般のことでは なく、何かのシーン(Situation/Statement/Talk/Thought)に関する 述語の意味 15 PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#> SELECT DISTINCT ?o WHERE { ?s kgc:hasPredicate ?o . } 今回用意したKGのプロパティやクラスについてはこの接頭辞を使う。 このURIにアクセスするとOWL※1ファイルを参照可能。 kgc:hasPredicateはシーンが述語を持っていることの意味。 ?sにはシーンが入り、?oにはそのシーンの述語が入る。 ※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式
    16. 16. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL検索例:have “have”という述語の主語と目的語について取得(まだらの紐) 16 PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#> SELECT ?id ?s ?o FROM <http://kgc.knowledge-graph.jp/data/SpeckledBand> WHERE { ?id kgc:hasPredicate ?p; kgc:subject ?s; kgc:what ?o . ?p rdfs:label "have"@en . } ※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式 結果(JSON) https://tinyurl.com/ya88lflt
    17. 17. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL Editor SPARQLエンドポイント  http://kg.hozo.jp/fuseki/kgrc/sparql  APIとして使う場合はこちら  パラメータ  query = SPARQLクエリのURLエンコード  format = データフォーマット(json, xml, csv, …) SPARQLエディター  http://knowledge-graph.jp/sparql.html  ブラウザでSPARQLを試したい場合はこちら 17
    18. 18. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 可視化ツール http://knowledge-graph.jp/visualization/ 18 ナレッジグラフ(RDF形式) クエリー言語SPARQLによる検索 グラフDB(キーワード検索も可)
    19. 19. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 前年のチャレンジとの違い 語彙の統制  述語の時制統一  Predicate/Propertyの整理  Objectの整理  「A is B」パターンの整理  キャピタライゼーションの統一  ノイズ除去  S,P,O誤分解の修正  etc. 作品の追加(9月を予定)  僧坊荘園  入院患者  白銀号事件 19 https://github.com/KnowledgeGraphJapan/KGRC- RDF/commits/master 更新履歴を確認可能
    20. 20. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 2019年の応募作品紹介 人工知能学会全国大会で紹介したもの+α(別紙) 20
    21. 21. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回ナレッジグラフ推論チャレンジ2019 応募結果と受賞作品 合計9作品の応募があり,最終審査会にて受賞作品を決定 本部門  田村光太郎,角田充弘,外園康智(株式会社野村総合研究所)  黒川茂莉(株式会社KDDI総合研究所)  伊鍋貴宏,石暁沂(株式会社サキヨミAIラボ)  上小田中 411(鵜飼孝典,岡嶋成司)(富士通研究所) ツール部門  勝島修平(東京都市大学知識工学部経営システム工学科)  中川豪(法政大学理工学部応用情報工学科)  佐藤壮, 西山慶一郎(大阪電気通信大学) アイデア部門  AKK/村上勝彦(富士通研究所),高松邦彦(神戸常盤大学),杉浦 あおい(神戸市立西神戸医療センター)  村嶋 義隆 21 ベストアイデア賞 学生奨励賞 全国大会発表 最優秀賞 優秀賞 +α(別紙)
    22. 22. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 昨年は、「推理」を述語論理によるSAT問題として扱った  推理・推論のプロセスが明瞭  ストーリーとは別の解があることを提示 技術的に残った課題  汎用的なルールの構築  証言の真偽の取り扱い  答えの分岐の条件 22
    23. 23. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 今年のチャレンジにあたっての課題 23 仮説推論 充足可能解 ASP BERT 類似文判定 画像処理 暗号解読 ホームズの鋭い観察による推理を、真似できるか? ナレッジグラフを介さず日本語文のみで処理できるか? 原著の手書き人形図の暗号文解読ができるか? 登場人物の発言の嘘を見抜けるか? ホームズ解決の“不完全さ”を補うことができるか?
    24. 24. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 深層学習BERTとルールベースの仮説推論・SAT問題の融合 24 External Knowledge dataKG Sentence ① BERT 類似文判定 ② 仮説推論 ③ SAT SAT問題の充足解 = 可能な犯行状況 INPUT OUTPUT Model 本文から推理に必要な部分の抽出 仮説をたてる 仮説を含めた論理式の検証 解の提示と分岐条件
    25. 25. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ アプローチの一つ。OpenDavidによる機械的な仮説の立案 論理式による仮説推論の過程:  継父とホズマは同一人物。継父が結婚詐欺をはたらいた。 25
    26. 26. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフの要素(ホームス、ワトソン、被害者、凶器、犯行 場所等)を特徴空間に埋め込み、特徴空間上のベクトル演算 に基づいて犯人を推論 【KDDI総合研究所】 推論方法 open holmes window holmes helen ? kill julia come 共通項(holmes, watson)のベクトルが同 じベクトルになるように制約[1] ?+kill~julia 犯人の推論 特徴空間に埋め込み mortimer window brenda kill open mislead ? kill watson mislead ? julia helen kill come support watson meet holmes holmes 共通項 まだらの紐ナレッジグラフ 悪魔の足ナレッジグラフ [1] Zhu, H. et al., Iterative Entity Alignment via Joint Knowledge Embeddings, In IJCAI 2017. 26
    27. 27. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 【KDDI総合研究所】 推論結果 特徴ベクトル演算に基づく犯人の推論 5つのナレッジグラフすべてを用いた場合 悪魔の足(case2) 犯人当て ? + kill ~ mortimer まだらの紐 犯人当て ? + kill ~ julia 1位: standale (正解) 1位: helen 2位: roylott (正解) 27
    28. 28. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 利用するナレッジグラフの数を増やすと(1KG→2KG→5KG)、 犯人の順位が上昇➡他のナレッジグラフからの知識流入により、 犯人推論の精度向上が可能 事後フィルタ 1. ランキングで人間でない要素が出てきた場合は、除外する 2. ランキングでholmes、watsonが出てきた場合は、除外する  悪魔の足の1KGや2KGの場合は、これらの事後フィルタなしでは当てること は難しい 【KDDI総合研究所】推論結果の分析 ~利用するナレッジグラフの数 ※括弧内は事後フィルタ前の順位 PTransE IPTransE 1KG 2KG 5KG 悪魔の足(case2) 5(71) 4(229) 1(1) まだらの紐 - - 2(2) 2(2) 28
    29. 29. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 特徴空間は事件の構造を捉えられているか? IPTransE (5KG) の特徴空間の2D可視化 (t-SNE) 【KDDI総合研究所】推論結果の分析 ~特徴空間の可視化 犯行現場 被害者 犯人 凶器 𝑘𝑖𝑙𝑙 • 犯行場所は被害者に近い領域にある • 凶器は犯人に近い領域にある • ホームス、ワトソン(とくにホームス)は犯人に近い • 𝑘𝑖𝑙𝑙は犯人と被害者をつなぐノルム、方向を持って いるように見える 29
    30. 30. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(1/3) [2] Gusmão, A.C. et al., Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach, ICML 2018 Workshop (WHI 2018). 手法:特徴空間上の三つ組のスコアをパスの有無で当てられるか? *ナレッジグラフ埋め込みの説明法(XKE[2])を改変  正例作成:killを含む三つ組に対し、特徴量=ヘッドとテイルを結ぶパスの 有無を表すマルチホットベクトル、ラベル=softmax(− ℎ + 𝑟 − 𝑡 )とする  負例作成:killを含まない三つ組に対し、リレーションをkillで置き換え。特 徴量、ラベルの生成方法は正例と同様  以上の正例、負例集合をもとに線形回帰を実行し、回帰係数を導出 mortimer brenda kill パス1 (回帰係数=0.5) パス2 (回帰係数=0.2) XKEの結果イメージ ※_が付いたものは逆向きリンクを意味 kill は何を表しているか? パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) 30
    31. 31. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(2/3) abe_slaney qubit kill shoot 原文: キュービットはエイブ・スレイニを撃った (キュービットの弾はエイブ・スレイニを外れた) →直接の死因ではないが、怨恨を感じさせる (「悪魔の足」と同様の状況を学習) パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) kill は何を表しているか? 31
    32. 32. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(3/3) パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) 原文: 「スタンデールは部屋の中を観察した」 「事件1と事件2において、部屋の中でものが燃えていた」 →事件1の状況証拠を見ている→動機を示唆 「スタンデールは何年もブレンダを愛してきた」 →愛憎を示唆 case_1 brenda kill thing in_the_room standale observe i_have_loved it_was_burningit_was_burning kill は何を表しているか? 32

    Editor's Notes

  • @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> . @prefix owl: <http://www.w3.org/2002/07/owl#> . @prefix cc: <http://creativecommons.org/ns#> . @prefix xsd: <http://www.w3.org/2001/XMLSchema#> . @prefix kgcc: <http://challenge.knowledge-graph.jp/ontology/kgcc.owl#> . @prefix kgd: <http://challenge.knowledge-graph.jp/data/dataset1/> . <http://challenge.knowledge-graph.jp/data/dataset1/163> rdf:type kgcc:Situation; kgcc:source "屋敷の中央部は手入れ不足。"@ja ; kgcc:source "The central part of the mansion is inadequate."@en ; kgcc:hasProperty <http://challenge.knowledge-graph.jp/data/dataset1/broken> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/central_part_of__mansion_of_Roylott>. <http://challenge.knowledge-graph.jp/data/dataset1/broken> rdf:type kgcc:Property; rdfs:label "broken"@en.
  • @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> . @prefix owl: <http://www.w3.org/2002/07/owl#> . @prefix cc: <http://creativecommons.org/ns#> . @prefix xsd: <http://www.w3.org/2001/XMLSchema#> . @prefix kgcc: <http://challenge.knowledge-graph.jp/ontology/kgcc.owl#> . @prefix kgd: <http://challenge.knowledge-graph.jp/data/dataset1/> . <http://challenge.knowledge-graph.jp/data/dataset1/155> rdf:type kgcc:Situation; kgcc:source "ホームズはそれをヘレンに説明した。"@ja ; kgcc:source "Holmes explained to Helen."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/talk> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Holmes> ; kgcc:whom <http://challenge.knowledge-graph.jp/data/dataset1/Helen> ; kgcc:what <http://challenge.knowledge-graph.jp/data/dataset1/138> ; kgcc:then <http://challenge.knowledge-graph.jp/data/dataset1/156>. <http://challenge.knowledge-graph.jp/data/dataset1/156> rdf:type kgcc:Situation; kgcc:source "ヘレンは真っ青になった。"@ja ; kgcc:source "Helen turned pale."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/beScared> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Helen>.
  • @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> . @prefix owl: <http://www.w3.org/2002/07/owl#> . @prefix cc: <http://creativecommons.org/ns#> . @prefix xsd: <http://www.w3.org/2001/XMLSchema#> . @prefix kgcc: <http://challenge.knowledge-graph.jp/ontology/kgcc.owl#> . @prefix kgd: <http://challenge.knowledge-graph.jp/data/dataset1/> . <http://challenge.knowledge-graph.jp/data/dataset1/155> rdf:type kgcc:Situation; kgcc:source "ホームズはそれをヘレンに説明した。"@ja ; kgcc:source "Holmes explained to Helen."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/talk> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Holmes> ; kgcc:whom <http://challenge.knowledge-graph.jp/data/dataset1/Helen> ; kgcc:what <http://challenge.knowledge-graph.jp/data/dataset1/138> ; kgcc:then <http://challenge.knowledge-graph.jp/data/dataset1/156>. <http://challenge.knowledge-graph.jp/data/dataset1/156> rdf:type kgcc:Situation; kgcc:source "ヘレンは真っ青になった。"@ja ; kgcc:source "Helen turned pale."@en ; kgcc:hasPredicate <http://challenge.knowledge-graph.jp/data/dataset1/beScared> ; kgcc:subject <http://challenge.knowledge-graph.jp/data/dataset1/Helen>.
  • More Related Content

    Related Books

    Free with a 30 day trial from Scribd

    See all

    ×