Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

第3回ナレッジグラフ推論チャレンジ2020の紹介

続き https://www.slideshare.net/TakanoriUgai/lodc-kgrc-2020-meeting

LODチャレンジ2020&ナレッジグラフ推論チャレンジ2020合同キックオフ
https://peatix.com/event/1546462/

ナレッジグラフ推論チャレンジ
https://challenge.knowledge-graph.jp/

  • Be the first to comment

  • Be the first to like this

第3回ナレッジグラフ推論チャレンジ2020の紹介

  1. 1. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第3回ナレッジグラフ推論チャレンジ2020の紹介 1
  2. 2. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 本日の発表 第3回ナレッジグラフ推論チャレンジ2020の開催概要 (大阪電気通信大学 古崎) 公開するナレッジグラフ (電子航法研究所 江上) 第2回推論チャレンジ2019の応募作品紹介 (富士通研究所 鵜飼) 2
  3. 3. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ推論チャレンジ ナレッジグラフ推論チャレンジ(2018~)  シャーロック・ホームズのような“推理”(推論)ができるAIシステムの開発 を目指した技術コンテスト チャレンジのねらい  説明可能性(解釈可能性)を有するAI技術に関する最新技術の促進・ 共有と,その分析・評価,体系化を行う. チャレンジの概要 3 ホームズ の推理小説 ナレッジグラフ(知識グラフ) としてデータ化 2020/7/15 さまざまな知識/手法を用いて 事件の真相を推理し,理由を 説明するAIシステムの開発 捜査 手法 動機 DB …. 犯人はXX! なぜなら… 動機は… トリックは…
  4. 4. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第3回ナレッジグラフ推論チャレンジ2020 コロナの影響で国際版チャレンジ併催を企画していたJISTが延期 … 6/9より、第3回国内版推論チャレンジ2020の作品応募を開始!  既存の5つのナレッジグラフの洗練化版 まだらのひも、踊る人形、背中の曲がった男、悪魔の足、花婿失踪事件  新規に3つのナレッジグラフを追加(9月公開予定) 僧坊荘園、入院患者、白銀号殺人事件  スケジュール 2020/06/09 応募開始 2020/09/xx 追加KG公開予定 2020/10/31 チャレンジ応募〆切 2020/12/末 最終審査会・授賞式(状況を見てオンライン開催を検討) 新審査基準:可能な限り複数の作品に共通的に適用できる手法を 高く評価します! 4
  5. 5. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 5 各イベントへの参加者の皆様に感謝申し上げます https://challenge.knowledge-graph.jp/2020/
  6. 6. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 公開するナレッジグラフ 6
  7. 7. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ 知識グラフ(Knowledge Graph: ナレッジグラフ)とは “知識グラフとは,グラフ構造で表現された知識. 知識グラフには,オントロジーとインスタンスの双方が含まれる” https://github.com/KnowledgeGraphJapan/Tutorial/blob/master/What_Is_KG.md 7 "Example Wikidata Query knowledge graph showing Portrait of Madame X" © Fuzheado (Licensed under CC BY 4.0)
  8. 8. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ ナレッジグラフの要求仕様  犯人を推論(推理)するのに必要な知識を提供する  「推理小説」で描かれる様々な状況を,できるだけ統一的な形式で 計算機処理(検索・推論・etc.)可能にする ⇒標準形式であるResource Description Framework (RDF)で提供 ナレッジグラフ化の基本方針  「推理小説」の内容を,最小単位の場面(シーン)に分割 →場面ごとにID(IRI)を付与  各場面の記述内容および場面間の関係をグラフ化 →グラフ化に必要なクラス・プロパティを定義 8 場面1 場面2 場面3 場面4 場面5
  9. 9. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 場面(シーン)スキーマ 場面ID 原文 主語 述語 目的語 subject hasPredicate source その他 他の場面 場面間 場面を表現するプロパティ  subject:その場面の記述において主語となる人や物  hasPredicate:その場面の内容を表す述語  場面の詳細を表す目的語:whom(だれに), where(どこで), when(いつ), what (何を), how(どのように), …etc.  場面間の関係:then,if, because, …etc.  time:その場面が起こった絶対時間(xsd:DateTime)  source:その場面の原文(英語/日本語のリテラル) 主語 目的語 述語 9 場面ID 主語 目的語述語
  10. 10. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 場面(シーン)スキーマ 記述例 10 原文(英語/日本語) 絶対時間※小説内に基準日 時を設定している 主語・述語・目的語は全て 「リソース」として定義 →他の場面で同じ目的語を 参照可能 述語 主語 他の場面 場面の種類(クラス)分け Scene:上位クラス -Situation:事実・状況の描写 -Statement:Aの発言 -Talk:AのBへの発言 -Thought:Aの考え
  11. 11. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 kgc:Propertyタイプ 11 「性質」を表す 任意のリソースを 導入する 性質・状態(hasProperty)の例
  12. 12. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係を表す プロパティ 12 シーン間の関係
  13. 13. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係を表す プロパティ 13 シーン間の関係
  14. 14. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 公開するナレッジグラフ シャーロック・ホームズ短編集から下記作品のナレッジグラフを提供 データ(GitHub),SPARQLエンドポイント,可視化ツールを公開  https://challenge.knowledge-graph.jp/2020/rdf.html 14 作品名 タスク まだらの紐 ヘレンを殺したのは誰か?(犯人+説明) 踊る人形 暗号を解け(暗号の解読) 同一事件(花婿失踪事件) 花婿はなぜ消えたか?(説明) 悪魔の足 各人物を殺したのは誰か?(犯人+説明) 背中の曲がった男(曲がれる者) バークリはなぜ死んだのか?(説明) 僧坊荘園 (追加予定) 入院患者 (追加予定) 白銀号事件 (追加予定)
  15. 15. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL検索例:述語一覧 ここで言う「述語」とはRDFトリプルにおけるPredicate全般のことでは なく、何かのシーン(Situation/Statement/Talk/Thought)に関する 述語の意味 15 PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#> SELECT DISTINCT ?o WHERE { ?s kgc:hasPredicate ?o . } 今回用意したKGのプロパティやクラスについてはこの接頭辞を使う。 このURIにアクセスするとOWL※1ファイルを参照可能。 kgc:hasPredicateはシーンが述語を持っていることの意味。 ?sにはシーンが入り、?oにはそのシーンの述語が入る。 ※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式
  16. 16. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL検索例:have “have”という述語の主語と目的語について取得(まだらの紐) 16 PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#> SELECT ?id ?s ?o FROM <http://kgc.knowledge-graph.jp/data/SpeckledBand> WHERE { ?id kgc:hasPredicate ?p; kgc:subject ?s; kgc:what ?o . ?p rdfs:label "have"@en . } ※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式 結果(JSON) https://tinyurl.com/ya88lflt
  17. 17. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 SPARQL Editor SPARQLエンドポイント  http://kg.hozo.jp/fuseki/kgrc/sparql  APIとして使う場合はこちら  パラメータ  query = SPARQLクエリのURLエンコード  format = データフォーマット(json, xml, csv, …) SPARQLエディター  http://knowledge-graph.jp/sparql.html  ブラウザでSPARQLを試したい場合はこちら 17
  18. 18. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 可視化ツール http://knowledge-graph.jp/visualization/ 18 ナレッジグラフ(RDF形式) クエリー言語SPARQLによる検索 グラフDB(キーワード検索も可)
  19. 19. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 前年のチャレンジとの違い 語彙の統制  述語の時制統一  Predicate/Propertyの整理  Objectの整理  「A is B」パターンの整理  キャピタライゼーションの統一  ノイズ除去  S,P,O誤分解の修正  etc. 作品の追加(9月を予定)  僧坊荘園  入院患者  白銀号事件 19 https://github.com/KnowledgeGraphJapan/KGRC- RDF/commits/master 更新履歴を確認可能
  20. 20. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 2019年の応募作品紹介 人工知能学会全国大会で紹介したもの+α(別紙) 20
  21. 21. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回ナレッジグラフ推論チャレンジ2019 応募結果と受賞作品 合計9作品の応募があり,最終審査会にて受賞作品を決定 本部門  田村光太郎,角田充弘,外園康智(株式会社野村総合研究所)  黒川茂莉(株式会社KDDI総合研究所)  伊鍋貴宏,石暁沂(株式会社サキヨミAIラボ)  上小田中 411(鵜飼孝典,岡嶋成司)(富士通研究所) ツール部門  勝島修平(東京都市大学知識工学部経営システム工学科)  中川豪(法政大学理工学部応用情報工学科)  佐藤壮, 西山慶一郎(大阪電気通信大学) アイデア部門  AKK/村上勝彦(富士通研究所),高松邦彦(神戸常盤大学),杉浦 あおい(神戸市立西神戸医療センター)  村嶋 義隆 21 ベストアイデア賞 学生奨励賞 全国大会発表 最優秀賞 優秀賞 +α(別紙)
  22. 22. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 昨年は、「推理」を述語論理によるSAT問題として扱った  推理・推論のプロセスが明瞭  ストーリーとは別の解があることを提示 技術的に残った課題  汎用的なルールの構築  証言の真偽の取り扱い  答えの分岐の条件 22
  23. 23. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 今年のチャレンジにあたっての課題 23 仮説推論 充足可能解 ASP BERT 類似文判定 画像処理 暗号解読 ホームズの鋭い観察による推理を、真似できるか? ナレッジグラフを介さず日本語文のみで処理できるか? 原著の手書き人形図の暗号文解読ができるか? 登場人物の発言の嘘を見抜けるか? ホームズ解決の“不完全さ”を補うことができるか?
  24. 24. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ 深層学習BERTとルールベースの仮説推論・SAT問題の融合 24 External Knowledge dataKG Sentence ① BERT 類似文判定 ② 仮説推論 ③ SAT SAT問題の充足解 = 可能な犯行状況 INPUT OUTPUT Model 本文から推理に必要な部分の抽出 仮説をたてる 仮説を含めた論理式の検証 解の提示と分岐条件
  25. 25. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 野村総合研究所のアプローチ アプローチの一つ。OpenDavidによる機械的な仮説の立案 論理式による仮説推論の過程:  継父とホズマは同一人物。継父が結婚詐欺をはたらいた。 25
  26. 26. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフの要素(ホームス、ワトソン、被害者、凶器、犯行 場所等)を特徴空間に埋め込み、特徴空間上のベクトル演算 に基づいて犯人を推論 【KDDI総合研究所】 推論方法 open holmes window holmes helen ? kill julia come 共通項(holmes, watson)のベクトルが同 じベクトルになるように制約[1] ?+kill~julia 犯人の推論 特徴空間に埋め込み mortimer window brenda kill open mislead ? kill watson mislead ? julia helen kill come support watson meet holmes holmes 共通項 まだらの紐ナレッジグラフ 悪魔の足ナレッジグラフ [1] Zhu, H. et al., Iterative Entity Alignment via Joint Knowledge Embeddings, In IJCAI 2017. 26
  27. 27. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 【KDDI総合研究所】 推論結果 特徴ベクトル演算に基づく犯人の推論 5つのナレッジグラフすべてを用いた場合 悪魔の足(case2) 犯人当て ? + kill ~ mortimer まだらの紐 犯人当て ? + kill ~ julia 1位: standale (正解) 1位: helen 2位: roylott (正解) 27
  28. 28. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 利用するナレッジグラフの数を増やすと(1KG→2KG→5KG)、 犯人の順位が上昇➡他のナレッジグラフからの知識流入により、 犯人推論の精度向上が可能 事後フィルタ 1. ランキングで人間でない要素が出てきた場合は、除外する 2. ランキングでholmes、watsonが出てきた場合は、除外する  悪魔の足の1KGや2KGの場合は、これらの事後フィルタなしでは当てること は難しい 【KDDI総合研究所】推論結果の分析 ~利用するナレッジグラフの数 ※括弧内は事後フィルタ前の順位 PTransE IPTransE 1KG 2KG 5KG 悪魔の足(case2) 5(71) 4(229) 1(1) まだらの紐 - - 2(2) 2(2) 28
  29. 29. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会 特徴空間は事件の構造を捉えられているか? IPTransE (5KG) の特徴空間の2D可視化 (t-SNE) 【KDDI総合研究所】推論結果の分析 ~特徴空間の可視化 犯行現場 被害者 犯人 凶器 𝑘𝑖𝑙𝑙 • 犯行場所は被害者に近い領域にある • 凶器は犯人に近い領域にある • ホームス、ワトソン(とくにホームス)は犯人に近い • 𝑘𝑖𝑙𝑙は犯人と被害者をつなぐノルム、方向を持って いるように見える 29
  30. 30. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(1/3) [2] Gusmão, A.C. et al., Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach, ICML 2018 Workshop (WHI 2018). 手法:特徴空間上の三つ組のスコアをパスの有無で当てられるか? *ナレッジグラフ埋め込みの説明法(XKE[2])を改変  正例作成:killを含む三つ組に対し、特徴量=ヘッドとテイルを結ぶパスの 有無を表すマルチホットベクトル、ラベル=softmax(− ℎ + 𝑟 − 𝑡 )とする  負例作成:killを含まない三つ組に対し、リレーションをkillで置き換え。特 徴量、ラベルの生成方法は正例と同様  以上の正例、負例集合をもとに線形回帰を実行し、回帰係数を導出 mortimer brenda kill パス1 (回帰係数=0.5) パス2 (回帰係数=0.2) XKEの結果イメージ ※_が付いたものは逆向きリンクを意味 kill は何を表しているか? パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) 30
  31. 31. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(2/3) abe_slaney qubit kill shoot 原文: キュービットはエイブ・スレイニを撃った (キュービットの弾はエイブ・スレイニを外れた) →直接の死因ではないが、怨恨を感じさせる (「悪魔の足」と同様の状況を学習) パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) kill は何を表しているか? 31
  32. 32. CC-BY4.0: 人工知能学会 セマンティクWebとオントロジー(SWO)研究会  IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索 【KDDI総合研究所】推論結果の分析 ~理由説明(3/3) パス 回帰係数 由来 -shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit) -_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) -_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda) 原文: 「スタンデールは部屋の中を観察した」 「事件1と事件2において、部屋の中でものが燃えていた」 →事件1の状況証拠を見ている→動機を示唆 「スタンデールは何年もブレンダを愛してきた」 →愛憎を示唆 case_1 brenda kill thing in_the_room standale observe i_have_loved it_was_burningit_was_burning kill は何を表しているか? 32

×