第3回ナレッジグラフ推論チャレンジ2020の紹介

CC-BY4.0: 人工知能学会セマンティクWebとオントロジー（SWO）研究会
第3回ナレッジグラフ推論チャレンジ2020の紹介
1

本日の発表
第3回ナレッジグラフ推論チャレンジ2020の開催概要
（大阪電気通信大学古崎）
公開するナレッジグラフ
（電子航法研究所江上）
第2回推論チャレンジ2019の応募作品紹介
（富士通研究所鵜飼）
2

ナレッジグラフ推論チャレンジ
ナレッジグラフ推論チャレンジ（2018～）
 シャーロック・ホームズのような“推理”（推論）ができるAIシステムの開発
を目指した技術コンテスト
チャレンジのねらい
 説明可能性（解釈可能性）を有するAI技術に関する最新技術の促進・
共有と，その分析・評価，体系化を行う．
チャレンジの概要
3
ホームズ
の推理小説
ナレッジグラフ（知識グラフ）
としてデータ化 2020/7/15
さまざまな知識/手法を用いて
事件の真相を推理し，理由を
説明するAIシステムの開発
捜査
手法
動機
DB
…. 犯人はXX！
なぜなら…
動機は…
トリックは…

第3回ナレッジグラフ推論チャレンジ2020
コロナの影響で国際版チャレンジ併催を企画していたJISTが延期
…
6/9より、第３回国内版推論チャレンジ2020の作品応募を開始！
 既存の５つのナレッジグラフの洗練化版
まだらのひも、踊る人形、背中の曲がった男、悪魔の足、花婿失踪事件
 新規に３つのナレッジグラフを追加（９月公開予定）
僧坊荘園、入院患者、白銀号殺人事件
 スケジュール
2020/06/09 応募開始
2020/09/xx 追加KG公開予定
2020/10/31 チャレンジ応募〆切
2020/12/末最終審査会・授賞式（状況を見てオンライン開催を検討）
新審査基準：可能な限り複数の作品に共通的に適用できる手法を
高く評価します！
4

CC-BY4.0: 人工知能学会セマンティクWebとオントロジー（SWO）研究会 5
各イベントへの参加者の皆様に感謝申し上げます
https://challenge.knowledge-graph.jp/2020/

6

ナレッジグラフ
知識グラフ（Knowledge Graph: ナレッジグラフ）とは
“知識グラフとは，グラフ構造で表現された知識．
知識グラフには，オントロジーとインスタンスの双方が含まれる”
https://github.com/KnowledgeGraphJapan/Tutorial/blob/master/What_Is_KG.md
7
"Example Wikidata Query knowledge graph showing Portrait of Madame X" © Fuzheado (Licensed under CC BY 4.0)

ナレッジグラフ
ナレッジグラフの要求仕様
 犯人を推論（推理）するのに必要な知識を提供する
 「推理小説」で描かれる様々な状況を，できるだけ統一的な形式で
計算機処理（検索・推論・etc.）可能にする
⇒標準形式であるResource Description Framework (RDF)で提供
ナレッジグラフ化の基本方針
 「推理小説」の内容を，最小単位の場面（シーン）に分割
→場面ごとにID（IRI）を付与
 各場面の記述内容および場面間の関係をグラフ化
→グラフ化に必要なクラス・プロパティを定義
8
場面１場面２場面３
場面４
場面５

場面（シーン）スキーマ
場面ID
原文
主語
述語
目的語
subject
hasPredicate
source
その他
他の場面
場面間
場面を表現するプロパティ
 subject：その場面の記述において主語となる人や物
 hasPredicate：その場面の内容を表す述語
 場面の詳細を表す目的語：whom（だれに）, where（どこで）, when（いつ）, what
（何を）, how（どのように）, …etc.
 場面間の関係：then，if, because, …etc.
 time：その場面が起こった絶対時間（xsd:DateTime）
 source：その場面の原文（英語/日本語のリテラル）
主語目的語
述語
9
場面ID
主語目的語述語

場面（シーン）スキーマ記述例
10
原文（英語/日本語）
絶対時間※小説内に基準日
時を設定している
主語・述語・目的語は全て
「リソース」として定義
→他の場面で同じ目的語を
参照可能
述語
主語
他の場面
場面の種類（クラス）分け
Scene：上位クラス
-Situation：事実・状況の描写
-Statement：Aの発言
-Talk：AのBへの発言
-Thought：Aの考え

kgc:Propertyタイプ
11
「性質」を表す
任意のリソースを
導入する
性質・状態(hasProperty)の例

シーン間の関係を表す
プロパティ
12
シーン間の関係

シーン間の関係を表す
プロパティ
13
シーン間の関係

シャーロック・ホームズ短編集から下記作品のナレッジグラフを提供
データ（GitHub），SPARQLエンドポイント，可視化ツールを公開
 https://challenge.knowledge-graph.jp/2020/rdf.html
14
作品名タスク
まだらの紐ヘレンを殺したのは誰か？（犯人＋説明）
踊る人形暗号を解け（暗号の解読）
同一事件（花婿失踪事件）花婿はなぜ消えたか？（説明）
悪魔の足各人物を殺したのは誰か？（犯人＋説明）
背中の曲がった男（曲がれる者）バークリはなぜ死んだのか？（説明）
僧坊荘園（追加予定）
入院患者（追加予定）
白銀号事件（追加予定）

SPARQL検索例：述語一覧
ここで言う「述語」とはRDFトリプルにおけるPredicate全般のことでは
なく、何かのシーン(Situation/Statement/Talk/Thought)に関する
述語の意味
15
PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#>
SELECT DISTINCT ?o WHERE {
?s kgc:hasPredicate ?o .
}
今回用意したKGのプロパティやクラスについてはこの接頭辞を使う。
このURIにアクセスするとOWL※1ファイルを参照可能。
kgc:hasPredicateはシーンが述語を持っていることの意味。
?sにはシーンが入り、?oにはそのシーンの述語が入る。
※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式

SPARQL検索例：have
“have”という述語の主語と目的語について取得（まだらの紐）
16
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX kgc: <http://kgc.knowledge-graph.jp/ontology/kgc.owl#>
SELECT ?id ?s ?o
FROM <http://kgc.knowledge-graph.jp/data/SpeckledBand>
WHERE {
?id kgc:hasPredicate ?p;
kgc:subject ?s;
kgc:what ?o .
?p rdfs:label "have"@en .
}
※1 Web Ontology Language (OWL). オントロジー記述言語. 今回提供するOWLファイルはXML形式
結果（JSON）
https://tinyurl.com/ya88lflt

SPARQL Editor
SPARQLエンドポイント
 http://kg.hozo.jp/fuseki/kgrc/sparql
 APIとして使う場合はこちら
 パラメータ
 query = SPARQLクエリのURLエンコード
 format = データフォーマット（json, xml, csv, …）
SPARQLエディター
 http://knowledge-graph.jp/sparql.html
 ブラウザでSPARQLを試したい場合はこちら
17

可視化ツール
http://knowledge-graph.jp/visualization/
18
ナレッジグラフ（RDF形式）
クエリー言語SPARQLによる検索
グラフDB（キーワード検索も可）

前年のチャレンジとの違い
語彙の統制
 述語の時制統一
 Predicate/Propertyの整理
 Objectの整理
 「A is B」パターンの整理
 キャピタライゼーションの統一
 ノイズ除去
 S,P,O誤分解の修正
 etc.
作品の追加（9月を予定）
 僧坊荘園
 入院患者
 白銀号事件
19
https://github.com/KnowledgeGraphJapan/KGRC-
RDF/commits/master
更新履歴を確認可能

2019年の応募作品紹介
人工知能学会全国大会で紹介したもの+α(別紙)
20

第2回ナレッジグラフ推論チャレンジ2019
応募結果と受賞作品
合計9作品の応募があり，最終審査会にて受賞作品を決定
本部門
 田村光太郎,角田充弘,外園康智（株式会社野村総合研究所）
 黒川茂莉(株式会社KDDI総合研究所)
 伊鍋貴宏，石暁沂（株式会社サキヨミAIラボ）
 上小田中 411（鵜飼孝典，岡嶋成司）（富士通研究所）
ツール部門
 勝島修平（東京都市大学知識工学部経営システム工学科）
 中川豪（法政大学理工学部応用情報工学科）
 佐藤壮，西山慶一郎（大阪電気通信大学）
アイデア部門
 AKK/村上勝彦（富士通研究所），高松邦彦（神戸常盤大学），杉浦
あおい（神戸市立西神戸医療センター）
 村嶋義隆
21
ベストアイデア賞
学生奨励賞
全国大会発表
最優秀賞
優秀賞
＋α(別紙)

野村総合研究所のアプローチ
昨年は、「推理」を述語論理によるSAT問題として扱った
 推理・推論のプロセスが明瞭
 ストーリーとは別の解があることを提示
技術的に残った課題
 汎用的なルールの構築
 証言の真偽の取り扱い
 答えの分岐の条件
22

今年のチャレンジにあたっての課題
23
仮説推論
充足可能解
ASP
BERT
類似文判定
画像処理
暗号解読
ホームズの鋭い観察による推理を、真似できるか？
ナレッジグラフを介さず日本語文のみで処理できるか？
原著の手書き人形図の暗号文解読ができるか？
登場人物の発言の嘘を見抜けるか？
ホームズ解決の“不完全さ”を補うことができるか？

深層学習BERTとルールベースの仮説推論・SAT問題の融合
24
External
Knowledge
dataKG
Sentence
① BERT
類似文判定
② 仮説推論
③ SAT
SAT問題の充足解
＝
可能な犯行状況
INPUT
OUTPUT
Model
本文から推理に必要な部分の抽出
仮説をたてる
仮説を含めた論理式の検証
解の提示と分岐条件

アプローチの一つ。OpenDavidによる機械的な仮説の立案
論理式による仮説推論の過程：
 継父とホズマは同一人物。継父が結婚詐欺をはたらいた。
25

ナレッジグラフの要素（ホームス、ワトソン、被害者、凶器、犯行
場所等）を特徴空間に埋め込み、特徴空間上のベクトル演算
に基づいて犯人を推論
【KDDI総合研究所】推論方法
open
holmes
window
holmes
helen
?
kill
julia
come
共通項(holmes, watson)のベクトルが同
じベクトルになるように制約[1]
?+kill~julia
犯人の推論
特徴空間に埋め込み
mortimer
window
brenda
kill
open
mislead
?
kill
watson
mislead
? julia
helen
kill
come
support
watson
meet
holmes
holmes
共通項
まだらの紐ナレッジグラフ
悪魔の足ナレッジグラフ
[1] Zhu, H. et al., Iterative Entity Alignment via Joint Knowledge Embeddings, In IJCAI 2017.
26

【KDDI総合研究所】推論結果
特徴ベクトル演算に基づく犯人の推論
5つのナレッジグラフすべてを用いた場合
悪魔の足（case2）
犯人当て
? + kill ~ mortimer
まだらの紐
犯人当て
? + kill ~ julia
1位: standale (正解) 1位: helen
2位: roylott (正解)
27

利用するナレッジグラフの数を増やすと（1KG→2KG→5KG）、
犯人の順位が上昇➡他のナレッジグラフからの知識流入により、
犯人推論の精度向上が可能
事後フィルタ
1. ランキングで人間でない要素が出てきた場合は、除外する
2. ランキングでholmes、watsonが出てきた場合は、除外する
 悪魔の足の1KGや2KGの場合は、これらの事後フィルタなしでは当てること
は難しい
【KDDI総合研究所】推論結果の分析
～利用するナレッジグラフの数
※括弧内は事後フィルタ前の順位
PTransE IPTransE
1KG 2KG 5KG
悪魔の足(case2) 5(71) 4(229) 1(1)
まだらの紐 - - 2(2) 2(2)
28

特徴空間は事件の構造を捉えられているか？
IPTransE (5KG) の特徴空間の2D可視化 (t-SNE)
～特徴空間の可視化
犯行現場
被害者
犯人
凶器
𝑘𝑖𝑙𝑙
• 犯行場所は被害者に近い領域にある
• 凶器は犯人に近い領域にある
• ホームス、ワトソン（とくにホームス）は犯人に近い
• 𝑘𝑖𝑙𝑙は犯人と被害者をつなぐノルム、方向を持って
いるように見える
29

 IPTransE (5KG) の 𝑘𝑖𝑙𝑙 を説明する重要パスを探索
～理由説明(1/3)
[2] Gusmão, A.C. et al., Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach, ICML 2018 Workshop (WHI 2018).
手法：特徴空間上の三つ組のスコアをパスの有無で当てられるか？
*ナレッジグラフ埋め込みの説明法（XKE[2]）を改変
 正例作成：killを含む三つ組に対し、特徴量=ヘッドとテイルを結ぶパスの
有無を表すマルチホットベクトル、ラベル=softmax(− ℎ + 𝑟 − 𝑡 )とする
 負例作成：killを含まない三つ組に対し、リレーションをkillで置き換え。特
徴量、ラベルの生成方法は正例と同様
 以上の正例、負例集合をもとに線形回帰を実行し、回帰係数を導出
mortimer
brenda
kill
パス1
(回帰係数=0.5)
パス2
(回帰係数=0.2)
XKEの結果イメージ
※_が付いたものは逆向きリンクを意味
kill は何を表しているか？
パス回帰係数由来
-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit)
-shoot-_shoot-shoot- 8.48E-05 踊る人形(abe_slaney kill qubit)
-_it_was_burning-it_was_burning-_observe-_i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda)
-_it_was_burning-it_was_burning-_observe-i_have_loved- 5.46E-06 悪魔の足(case1 kill brenda)
30

abe_slaney
qubit
kill
shoot 原文：
キュービットはエイブ・スレイニを撃った
（キュービットの弾はエイブ・スレイニを外れた）
→直接の死因ではないが、怨恨を感じさせる
（「悪魔の足」と同様の状況を学習）
31

原文：
「スタンデールは部屋の中を観察した」
「事件1と事件2において、部屋の中でものが燃えていた」
→事件1の状況証拠を見ている→動機を示唆
「スタンデールは何年もブレンダを愛してきた」
→愛憎を示唆
case_1
brenda
kill
thing
in_the_room
standale
observe
i_have_loved
it_was_burningit_was_burning
32

第3回ナレッジグラフ推論チャレンジ2020の紹介

More Related Content

What's hot

Similar to 第3回ナレッジグラフ推論チャレンジ2020の紹介

More from KnowledgeGraph

第3回ナレッジグラフ推論チャレンジ2020の紹介

Editor's Notes