ナレッジグラフ推論チャレンジ2020技術勉強会

チャレンジ応募に向けた
参考アプローチの紹介
2020年9月9日
富士通研究所
★鵜飼孝典、松下京群
0 Copyright 2020 FUJITSU LABORATORIES LTD
ナレッジグラフ推論チャレンジ2020技術勉強会

本講演の目的
 ナレッジグラフ推論チャレンジへの応募のヒントを提供する
 想定する対象者
 人工知能、推論、ナレッジグラフに関する技術、知識を持っている
 ナレッジグラフ推論チャレンジにどう取り組んで、
応募すればよいかわからない
 例：ディープラーニングの技術を持っているんだけど、
 例：論理プログラムの知識を持っているんだけど、
 例：SPARQLのクェリーは書けるんだけど、
自分の持っている技術をどう適用すれば応募できるかわからない

応募までのステップ
1. 課題設定
2. 方針（方式、解き方）設定
3. KGの補完、（変換）
4. 実装
Copyright 2020 FUJITSU LABORATORIES LTD2

課題設定
 「推論チャレンジ」では課題があいまいに設定されている
⇒ 課題設定を自分で詳細化し、補う必要がある
 チャレンジタスクの設定（推論チャレンジのHPより）
 対象とするナレッジグラフを用いて、事件の真相を推論（推理）し、
真相と判断した理由の説明と共に示す。
 タスクの正解としては、ホームズと同じ結論に辿り着けること。
（ホームズが解決した事件の真相を説明する）

審査基準
１．ホームズの推理を再現できるか？
２．説明が納得できるか？
３．技術的な工夫
 - 推論の仕方
 - 拡張した知識
４．評価観点
 - すべての小説を同じ仕組みで解ける vs. 個別タスクに特化した手法の
提案？
 - 少ない知識をうまく使う vs. 多量の知識？
 - 複数の作品に共通的に適用できる手法を高く評価
５．書類審査＋プレゼンで評価

審査基準
４．評価観点
提案？
• ホームズの推理を再現するのか？
• （一般的な）事件の真相を推論する
システム（人工知能）を作るのか？

審査基準
４．評価観点
提案？
• 納得できる説明ってなに？

課題設定の例１
 全ての事件を解決する汎用AIを目指す
 小説を事件の記述と捉え、犯人をあてる
 納得できる説明を以下のように定義する
 犯罪発生の3要素に問題を分解
• 3要素：動機，機会，手段
 全ての要素を持つ人物を犯人であると結論付ける

課題設定の例２
 個別タスクを解く専用AIを目指す
 例：事件を起こす動機を持った登場人物を特定する
 例：場所の状況を入力として密室トリックを解く
 例：踊る人形の暗号を解く
 （専用AIを組み合わせて、すべての事件を解く）
番外：ナレッジグラフ構築支援ツールによる応募
 自然言語文のトリプル化
 語彙統制→オントロジー作成

課題設定の例３
 汎用の説明可能AIを目指す
 2019年にGNNExplainerというグラフニューラルネットワーク
の説明を生成するシステム(1)が提案された
 説明をサブグラフと特徴量として出力
 期待
• 登場人物に対して、動機や手段をしめすサブグラフを出力
(1) https://papers.nips.cc/paper/9123-gnnexplainer-generating-explanations-for-graph-neural-networks

1. 課題設定
4. 実装

課題設定
 全ての事件を解決する汎用AIを目指す
 小説を事件の記述と捉え、犯人をあてる
 納得できる説明を以下のように定義する
 犯罪発生の3要素に問題を分解
• 3要素：動機，機会，手段

 3要素：動機，機会，手段
 それぞれの要素を持つ人物を検索するSPARQLを作成
 運営から与えられるKGでは不十分なので，KGを追加
方針設定の例１

 それぞれの要素を持つ人物をナレッジグラフ埋め込み技術を
用いてリンク予測
方針設定の例２

 それぞれの要素を持つ人物をGCNなどのグラフニューラル
ネットワーク技術を用いて予測
方針設定の例３

 以下では、「まだらの紐」に適用した結果を使って説明
方針設定の例１の実装

動機

動機：概要と基本方針
 どのような人物が動機をもつか
 追加した知識，修正した知識
 殺人動機のオントロジ / 家族・友人関係のオントロジ /
登場人物の家族・友人関係 / 本文中から得られる知識
 期待する出力
Copyright 2020 FUJITSU LABORATORIES LTD
殺人の動機を持ってもおかしくない状況で，
対象が明確であれば殺害の動機を持つ
“犯人候補” は “動機” のために “対象” を殺す可能性がある
17

動機：追加した知識，修正した知識
 犯罪白書を参考にした殺人動機のリスト
•追加した理由：殺人動機のタグ付けのため
•ex)
kgcf:rancor a kgcf:motivation_of_murder .
 家族・友人関係のナレッジ / 登場人物の家族・友人関係
• 追加した理由：親密な関係を持つ人物を判断するため
• ex)
kd:Roylott agrelon:hasChildInlaw kd:Helen .
 本文中にある記述（オリジナルのKGになかった部分）
• 追加した理由：動機の有無を判断する上で重要な記述だと考えたため
• ex)
kdf:_023 a kgc:Situation ;
kgc:source "村の人々はすっかりおびえてしまい，"@ja ;
kgc:subject kd:villager_of_Stoke_Moran ;
kgc:hasPredicate kd:beScared;
kgc:whom kd:Roylott .

 殺人の動機ごとに「殺人の動機を持ってもおかしくない状
況」と「どのような人物が対象になるか」を定義し，
SPARQLで表現
 例：親密な人が亡くなっていて，亡くなった原因となる人物の予測がつ
いている（怨恨）
動機：推論
CONSTRUCT {
$this kgcf:hasMotivation kgcf:rancor ;
kgcf:want_to_kill ?killer .
} WHERE {
VALUES ?pred_of_think {kd:suspect} .
?subclass_of_scene rdfs:subClassOf kgc:Scene .
# 誰かが死んだシーン
?die_situation a ?subclass_of_scene ;
kgc:hasPredicate kd:die ;
kgc:subject ?dead_person .
# 死人と近い関係にあった人
?relation_of_close_person a kgcf:relation_of_family .
$this ?relation_of_close_person ?dead_person .
# 殺人犯に当たりがついているか
?think_situatoin a ?subclass_of_scene ;
kgc:hasPredicate ?pred_of_think ;
...
...
}
19

動機：実行例
$ cat output/merged.output.ttl
<http://kgc.knowledge-graph.jp/data/SpeckledBand/Roylott>
<http://kgchallenge.github.io/ontology/#hasMotivation>
<http://kgchallenge.github.io/data/#greed_for_money> ;
<http://kgchallenge.github.io/ontology/#want_to_kill>
<http://kgc.knowledge-graph.jp/data/SpeckledBand/Julia> ,
<http://kgc.knowledge-graph.jp/data/SpeckledBand/Helen> .
<http://kgc.knowledge-graph.jp/data/SpeckledBand/Helen>
<http://kgchallenge.github.io/data/#self_defence> ;
<http://kgc.knowledge-graph.jp/data/SpeckledBand/Roylott> .
<http://kgc.knowledge-graph.jp/data/SpeckledBand/villager_of_Stoke_Moran>
<http://kgchallenge.github.io/data/#self_defence> ;
<http://kgc.knowledge-graph.jp/data/SpeckledBand/Roylott> .
【実行結果】
ロイロットは “金欲” のためにジュリアとヘレンを殺す可能性がある
村人は “自己防衛” のためにロイロットを殺す可能性がある
ヘレンは “自己防衛” のためにロイロットを殺す可能性がある
【要約】
【実行時間】 1.5s
【実行コマンド】
$ sh run_inference.sh

機会

機会：概要と基本方針
 どのような人物が機会をもつか
 穴クラス / 庭に面した窓の知識 / 記述の統一・修正
事件当夜，ジュリアの部屋に移動可能な場所にいた人物は機会がある
ジュリアの部屋に行くことができた “犯人候補” は機会を持つ
22

機会：各々の初期位置取得
 事件当夜，各々がいた場所を以下の SPARQL で取得
事件当夜，各々が居た場所
23

#穴で接続している
SELECT distinct ?x ?y ?hole ?scene1 WHERE {
?scene1 kgc:hasPredicate ?predexist .
?scene1 kgc:subject ?hole .
?hole rdf:type kgcf:Hole .
{ ?scene1 kgc:from ?x . ?scene1 kgc:to ?y .
} UNION {
?scene1 kgc:where ?x . ?scene1
kgc:where ?y .
} UNION {
?scene1 kgc:where ?x . ?scene1 kgc:to ?y .
}…}
穴で繋がっている空間を列挙
機会：移動できた空間の列挙
#人が通れない
SELECT distinct ?x ?y ?hole ?being ?scene2 WHERE
{
?scene2 kgc:subject kd:man .
?scene2 kgc:hasPredicate ?prednotgo .
{ ?scene2 kgc:from ?x . ?scene2 kgc:to ?y .
… } UNION {
?scene2 kgc:where ?hole .
?hole rdf:type kgcf:Hole . }…}
”通れない”を表す述語
#穴の性質（鍵がかかっている，狭い，閉まっている）
SELECT distinct ?hole ?prop ?scene3 WHERE {
?scene3 kgc:hasProperty ?prop .
?scene3 kgc:subject ?hole .
?hole rdf:type kgcf:Hole .
filter(?prop in (kd:lock, kd:narrow, kd:close,
kd:small, kd:beSmall)) …}
#穴が障害物で塞がっている
SELECT distinct ?hole ?obstacle ?scene WHERE {
{ ?scene kgc:subject ?obstacle . ?scene
kgc:hasPredicate kd:exist . ?scene
kgc:where ?hole .
} UNION {
?scene kgc:subject ?hole . ?scene
kgc:hasPredicate kd:have . ?scene
kgc:what ?obstacle .
} ?hole rdf:type kgcf:Hole . ?obstacle
rdf:type kgc:Object . …}
穴で接続している空間を列挙移動できない空間を列挙
移動できない空間を列挙
人が移動できる空間
SELECT distinct ?x ?y ?hole ?scene WHERE {
（穴で接続している）
MINUS {移動できない空間}
}
24

機会：全体
 事件当夜の各々の位置を SPARQL 取得
 移動可能な空間を列挙
 各々がJuliaの部屋に行けたのかを推論
From <http://kgc.knowledge-graph.jp/data/SpeckledBand/bedroom_of_Helen> man can go to:
http://kgc.knowledge-graph.jp/data/SpeckledBand/corridor
http://kgc.knowledge-graph.jp/data/SpeckledBand/bedroom_of_Roylott
From <http://kgc.knowledge-graph.jp/data/SpeckledBand/bedroom_of_Roylott> man can go to:
http://kgc.knowledge-graph.jp/data/SpeckledBand/corridor
http://kgc.knowledge-graph.jp/data/SpeckledBand/bedroom_of_Helen
From <http://kgc.knowledge-graph.jp/data/SpeckledBand/garden_of_Roylott> man can go to:
<http://kgc.knowledge-graph.jp/data/SpeckledBand/bedroom_of_Helen> # Helen: Helen の寝室
<http://kgc.knowledge-graph.jp/data/SpeckledBand/bedroom_of_Roylott> # Roylott: Roylott の寝室
<http://kgc.knowledge-graph.jp/data/SpeckledBand/garden_of_Roylott> # Roma: 屋敷の庭
移動できる空間
SELECT distinct ?x ?y ?hole ?scene WHERE {
（穴で接続している）
MINUS {移動できない空間}
}
ジュリアの部屋に行くことができた “None” は機会を持つ
誰もジュリアの部屋に
行けなかった
25

手段

手段：概要と基本方針
 どのような人物が手段をもつか
 追加した知識
 殺害方法オントロジー
 殺害オントロジーのクラスと推論チャレンジKGの各オブジェクトの関
係
殺害方法を推論 → その殺害方法のための道具を持つ人は手段を持つ
ジュリアは “殺害方法” で殺害された．
“殺害方法” を行うための “道具” をもつ “犯人候補” は手段を持つ．
27

追加した知識
 殺害方法オントロジーを作成し，被害者の状況などから，殺
害方法を特定
鞭
斬殺
包丁
毒動物
殺害方法
嘔吐
毒蛇
傷跡
めまい
症状
症状症状
犯罪供用物
関連物
subClassOf
subClassOf
subClassOf
刃物
subClassOf
症状殺害方法
犯罪供用物関連物
包丁斬殺
subClassOf
犯罪供用物
毒動物殺
毒蛇殺
subClassOf
毒殺
subClassOf
犯罪供用物
犯罪供用物
症状
症状や凶器（犯罪供用物）などが含まれる
28

手段：症状から殺害方法を特定
 コマンド
 結果
 実行時間
 1秒
$ ./apache-jena-3.9.0/bin/sparql --data=data/all.ttl ¥
--query=query.txt --results=JSON
・・・
"results": {
"bindings": [
{
"situation": { "type": "uri" , "value": "http://kgc.knowledge-graph.jp/data/SpeckledBand/73" } ,
“symptom”: { “type”: “uri” , “value”: “http://kgchallenge.github.io/ontology/めまい" } ,
"symptom_status": { "type": "literal" , "value": "true" } ,
"killing": { "type": "uri" , "value": "http://kgchallenge.github.io/ontology/毒殺" }
} ,
{
"symptom": { "type": "uri" , "value": "http://kgchallenge.github.io/ontology/青白い" } ,
"symptom_status": { "type": "literal" , "value": "true" } ,
} ,
{
"symptom": { "type": "uri" , "value": "http://kgchallenge.github.io/ontology/傷跡" } ,
"symptom_status": { "type": "literal" , "value": "false" } ,
}
]
・・・
「めまい」から
「毒殺」を推論
「青白い」から
「傷跡がない」から
「症状」から「殺害方法」を推論
29

手段：殺害方法から手段を持つ人物を特定
 コマンド
 結果
 実行時間
 10秒
@prefix ns1: <http://kgchallenge.github.io/ontology/> .
@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> .
@prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> .
@prefix xml: <http://www.w3.org/XML/1998/namespace> .
@prefix xsd: <http://www.w3.org/2001/XMLSchema#> .
<http://kgc.knowledge-graph.jp/data/SpeckledBand/Roylott> ns1:has_method _:N4d22fac28dc54a74b43608c6d7d7f4b0,
_:N770af8f4248749609dca09966a72f106 .
_:N4d22fac28dc54a74b43608c6d7d7f4b0 a ns1:毒動物殺 .
_:N770af8f4248749609dca09966a72f106 a ns1:毒蛇殺 .
[] a rdf:Statement ;
ns1:has_reason [ ns1:reason_situ <http://kgc.knowledge-graph.jp/data/SpeckledBand/390> ;
ns1:related_reason <http://kgc.knowledge-graph.jp/data/SpeckledBand/whip> ] ;
rdf:object _:N770af8f4248749609dca09966a72f106 ;
rdf:predicate ns1:has_method ;
rdf:subject <http://kgc.knowledge-graph.jp/data/SpeckledBand/Roylott> .
[] a rdf:Statement ;
ns1:has_reason [ ns1:reason_situ <http://kgc.knowledge-graph.jp/data/SpeckledBand/390> ;
ns1:related_reason <http://kgc.knowledge-graph.jp/data/SpeckledBand/whip> ] ;
rdf:object _:N4d22fac28dc54a74b43608c6d7d7f4b0 ;
rdf:predicate ns1:has_method ;
rdf:subject <http://kgc.knowledge-graph.jp/data/SpeckledBand/Roylott> .
$ python person_detecter.py result.json output.ttl rule.conf
「毒蛇殺，毒動物殺」を行うための「whip」を
「ロイロット」が持っていたことを推論
「殺害方法」から「道具」をもつ「犯人候補」を推論
ジュリアは “毒動物殺，毒蛇殺” で殺害された．
30

結論

結論・まとめ
 動機
 機会
 手段
 以上から，本事件の結論を以下のように推論（人手）
ジュリアの部屋に行くことができた “None” は機会を持つ
誰もジュリアの部屋に
行けなかった
ロイロットは “金欲” のためにジュリアとヘレンを殺す可能性がある
村人は “自己防衛” のためにロイロットを殺す可能性がある
ヘレンは “自己防衛” のためにロイロットを殺す可能性がある
ロイロットが金欲のために，毒蛇を用いて，ジュリアを殺害
ジュリアは “殺害方法” で殺害された．
32

 動機オントロジー、手段オントロジーを追加
 他の小説に適用、SPARQLの拡張をおこなって、応募してみてはいかがでしょ
うか？
 まだらのひも：ジュリアの死因を探る
• 誰がどんな理由で殺したのか？
• どうやって殺したのか？
 踊る人形：キュービット氏と妻の死因を探る
 花婿失踪事件：ホズマーの失踪の原因を探る
• 誰がどんな理由で失踪させたのか？
• どうやって失踪させたのか？
 悪魔の足：ブレンダとモーティマーの死因を探る
 背中の曲がった男：ジェームズの死因を探る
応募への道筋１

むずかしさ
 SPARQLを作れば解けるわけではない
 ナレッジグラフが不完全
 例：時刻情報が欠けている
 例：もともとの小説も描写が不十分
→ github に issue や PRを送る
 ナレッジグラフが統制されていない
 語彙、Situationの表現
→ github に issue や PRを送る
 あやまった知識を入れるかどうか？
 まだらの紐
• 蛇を飼いならすことができる
• 小説に説明される蛇の毒は見つかっていない

 それぞれの要素を持つ人物をナレッジグラフ埋め込み技術を
用いてリンク予測
方針設定の例２

拡大ナレッジグラフの学習と犯人予測
Copyright 2019 FUJITSU LABORATORIES LIMITED
動機オントロジー
金銭：遺産、財産
うらみ：義憤、怨恨
手段オントロジー
毒殺：毒、毒蛇
刺殺：ナイフ、やり
小説ナレッジグラフ
全体のグラフ埋め込みを学習
登場人物 ?path1 ?motivation 動機
登場人物 ?path2 ?mean 手段各登場人物に関連する動機、手段を予測
各登場人物に関連する動機、手段に関連するシーンを根拠として出力
36

動機オントロジー、手段オントロジーの拡張
 動機辞書→動機オントロジー
 うらみ instanceOf 動機
 金銭 instannceOf 動機
 お金 relatedWith 金銭
 殺人方法辞書→手段オントロジー
 毒殺 relatedWith 蛇
 刺殺 relatedWith ナイフ
 射殺 relatedWith 銃
Copyright 2019 FUJITSU LIMITED37

全体構成図（拡大ナレッジグラフ）
Copyright 2019 FUJITSU LABORATORIES LIMITED
動機辞書
うらみ、金銭、
動機オントロジー
金銭：遺産、財産
うらみ：義憤、怨恨
Wikipediaの単語ベクトル
Wordnetのグラフベクトル
手段オントロジー
毒殺：毒、毒蛇
刺殺：ナイフ、やり
殺人方法辞書
毒殺、刺殺
Wikipediaの単語ベクトル
Wordnetのグラフベクトル
ワードネット小説ナレッジグラフ
38

小説ナレッジグラフの拡張例
 シーン２
 タイプシチュエーション
 ソース「ヘレンは怖がっている」
 ソース「Helen is scared」
 動詞（状態）恐れている
 主語ヘレン
 <http://kgc.knowledge-graph.jp/data/SpeckledBand/2>
 rdf:type kgc:Situation;
 kgc:source "ヘレンは怖がっている"@ja ;
 kgc:source "Helen is scared"@en ;
 kgc:hasPredicate <http://kgc.knowledge-graph.jp/data/SpeckledBand/beScared> ;
 kgc:subject <http://kgc.knowledge-graph.jp/data/SpeckledBand/Helen>.
Copyright 2019 FUJITSU LIMITED39

拡張グラフ
シーン2
ヘレン
怖がっている
wordnet:word-scared
動機
防衛、護身
小説ナレッジグラフ Wordnet 動機オントロジー

拡張グラフ
シーン2
ヘレン
怖がっている
wordnet:word-scared
動機
防衛、護身
リンク予測、スコア
説明

容疑者ごとに動機を予測する
 ヘレン hasMotivation ?motivation .
 うらみ (0.4)
 金銭(0.3)
 :
 ロイロット hasMotivation ?motivation .
 愛(0.6)
 うらみ(0.3)
 :
Copyright 2019 FUJITSU LABORATORIES LIMITED42

動機につながるシーンを検索する
 Select ?s ?word where {
 ?s kgc:subject ロイロット.
 ?s :relatedWith ?word .
 ?word :relatedWith 愛.
 }
 kd:113 kgc:source "ロイロット博士はヘレンとパーシィ・
アーミティッジの結婚に反対しない。"@ja , " Roylott is not
opposed to the marriage between Helen and Persie
Armitage."@en ;
kgc:relatedWith wn31instances:word-marriage
 結婚というキーワードで、愛ゆえに殺すという動機を示して
いる

容疑者ごとに手段を予測する
 ロイロット hasMean ?mean .
 毒殺(0.6)
 絞殺(0.3)
 :

手段につながるシーンを検索する
 Select ?s ?word where {
 ?s ?p ロイロット.
 ?s :relatedWith ?word .
 ?word :relatedWith 毒殺.
 }
 kd:84 kgc:source "事件当夜，ロイロットはジュリアにブ
ランデーを飲ませた"@ja , "On death day of Julia, Roylott
gave Julia a drink of brandy"@en ;
kgcf:relatedWord wn31instances:word-a , wn31instances:word-drink ,
wn31instances:word-give , wn31instances:word-brandy ,
wn31instances:word-on , wn31instances:word-death , wn31instances:word-
day .
 飲み物で毒殺を示唆する文を出力した

事件の結論：まだらのひも
 以下のような可能性が出力された（スコア順）
 ロイロットが財産目的、うらみで殺した
• 手段としては、毒殺（ブランデーに毒）、絞殺（寝室のひも）などが考えら
れる
 村人がうらみで殺した
• 手段としては、絞殺（寝室のひも）などが考えられる
 ヘレンが財産目当て、あるいは恨み、愛ゆえに殺した
• 手段としては、絞殺（寝室のひも）などが考えられる
 村人がうらみで殺したという可能性は、ロイロットが嫌われ
ていたというシーンが出力されるので、うらみを持つ相手を
学習しなかったということを意味する
 今後、動機の対象を適切に判断できるような仕組みを組み込
む必要がある

５つとも解けたのか？
 まだらのひもについては、
 容疑者としては、ロイロット、ヘレン
 手段としては、ロイロットの毒殺、ロイロット、ヘレンの寝室にあるひ
も（ロープ）による絞殺
が候補として上位に出力された
 花嫁失踪事件については、登場人物が少なく、メアリーと
ジェイムズの両方が同じように誘拐犯人として推論された。
 他の３つについても登場人物ほぼ全てが同じように低いスコ
アで推論され、動機は、愛、金銭が出力され、手段としては、
決定的なものは出力されなかった。

提案
 追加する背景知識の整備
 リンク予測を行うモデル、アルゴリズムの改良

1. 課題設定
4. 実装
ご紹介した課題設定や解き方を再利用して、ご自身の技術を適
用して、ご応募してみてはいかがでしょうか

ナレッジグラフ推論チャレンジ2020技術勉強会

Recommended

Recommended

More Related Content

More from Takanori Ugai

More from Takanori Ugai (10)

ナレッジグラフ推論チャレンジ2020技術勉強会