Written by Hiroki Shimada. 論文読み会 at scouty Inc. 2019/02/14

1. Embedding Logical Queries on Knowledge Graph
⽇本初のAIヘッドハンティングサービス
https://scouty.co.jp

2. ⾃⼰紹介

3. 島⽥ 寛基 (Hiroki Shimada)
1992年 北海道⽣まれ、仙台育ち（26歳）
2015年 京都⼤学（⽯⽥・松原研）で計算機科学の学⼠号を取得
2015年 Incubate Fund
2016年
イギリスのエディンバラ⼤学（The University of Edinburgh）⼤学院で修⼠
号「MSc in Artificial Intelligence」を取得。
2016年 ⽇本初のAIヘッドハンティングサービスを運営する株式会社scoutyを創業。
専門分野 人工知能（自然言語処理, 知識表現, 機械学習）, プロダクトマネジメント
株式会社 代表取締役

4. 4
※ 私はリサーチャー ではありません！
マサカリは弊社アルゴリズムチームまでお願いします
← こいつら

5. 5
今回紹介する論⽂について
• Hamilton, Will, et al. "Embedding logical queries on knowledge graphs." Advances in Neural
Information Processing Systems. 2018.
• NIPS 2018に採択
• William L. Hamiliton著。2018年にStanford Universityで博⼠号取得後、McGill University で 助教
に就任。Relational Dataに対するDeep Learningが主な研究分野。
• ⼀⾔で⾔うと、Graph Query Embedding (GQE)を⽤いて、グラフ上の未観測のエッジを予測する
という問題。
• http://u0u1.net/Qdlc から閲覧可能

6. 1. Introduction
3. Background and Preliminaries
2. Related Work

7. 7
Reddit におけるテレビゲームのレビュー関係
これはどんな論⽂なのか
クエリ ナレッジベース

8. 8
a. ⽣物薬学の化学反応関係 b. Reddit におけるテレビゲームのレビュー関係
ナレッジベースの例

9. 9
Conjunctive Query とは
Conjunctive Queryとは、論理積（∧）と 存在量化⼦（∃）オペレーターだけ使ったクエリのこと。
「◯◯と、△△と、□□をすべて満たすXは存在するか？」を調べるクエリのこと。
病気 と病気 と結びつくプロテイン を対象にでき
る薬性 を予測せよ。
ユーザー が upvote（Like）する投稿 が所属するコ
ミュニティ を予測せよ。

10. 10
なぜConjunctive Query が難しいのか
ナレッジベースが不完全という前提があるから。
「真のナレッジベース ≠ 観測されたナレッジベース」
正確には、
「観測されたエッジ集合 ⊆ 真のエッジ集合」
存在はしているが観測されていないエッジ（関係）が存在するという前提。
すべてのノードの組に対して、エッジの存在確率を計算しないといけないので⼤変
な時間（指数時間）がかかる。

11. 11
この論⽂の⼿法
論理式 ベクトル空間
論理式をグラフで表現し、グラフのノードを低次元空間に埋め込み、論理演算⼦をその空間上の幾何操作に
置き換えることで、Conjunctive Queryの計算を線形時間で達成した。
今までNNが踏み込めなかった論理式や論理演算の領域に、NNを適⽤するノウハウが詰まっている。
クエリ
答え
幾何操作

12. と のノードタイプがそれぞれ , のとき、
12
ノーテーション
はノードタイプ。
は枝関係（Edge Relation）。
はグラフを表す。
a. ⽣物薬学の化学反応関係
b. Reddit におけるテレビゲームのレビュー関係

13. ： を低次元空間上で表したもの。クエリの答え。
13
ノーテーション
：論理式で表されたクエリ。
：クエリの答えとなるノードの集合。
：学習におけるクエリの答え。観測されている答え。
：ノード を低次元空間上で表したもの。

14. 4. Proposed Approach

15. 15
提案⼿法の流れ
1. クエリをグラフ（DAG）で表す
2. アンカーノードの埋め込み表現を求める
3. Projectionの適⽤
4. Intersectionの適⽤
5. さらにProjectionを適⽤
6. 最近傍法でクエリを満たすノードを探す。
論理演算を幾何操作で表現し、Conjunctive Graph Query を
低次元空間に埋め込む。

16. 16
スコアについて
⾔い換えれば、下記を満たすような を求めたい。
を満たす尤度を、下記のスコアで表す。
ゴールは、クエリの答えを表す埋込表現 を求めること。

17. 17
Projection について
Projection は、関係性の推移を表現する。
枝関係 とクエリ を受け取り、新たなクエリ を返す。
は、 に対応する埋め込み表現。 は、 から枝関係 でつながるすべてのノードの集合。
は、 に対応する訓練可能なパラメーター⾏列。

18. 18
Intersection について
Intersection は、集合積を表現する。
複数のクエリ を受け取り、新たなクエリ を返す。
I({q1, · · · , qn}) = W (NNk(qi), 8i = 1, · · · , n)
I({q1, · · · , qn}) = W (NNk(qi), 8i = 1, · · · , n)
は、 に対応する埋め込み表現。
本論⽂は、 を下記で実装。
は、k層のフィードフォワードニューラルネットを⽰す。
は、平均や min/max関数などのベクトル関数を表す。
は、ノードタイプ に対応する訓練可能な遷移⾏列。

19. は、学習によって求める埋め込み⾏列。
⽣物薬学のデータでの実験では、ワンホットベクトルを⽤いている。
Reddit においては 投稿内の単語の出現を0-1で表したもの。
19
グラフのノードの埋め込みについて
ノードの埋め込みに関しては、Bag of Features というアプローチを使う 。
これに関して本⽂中で詳しい記述は無く、Embed all the things! In AAAI, 2017, L. Wu et al.を参照とのこと。
ノードタイプ のすべてのノード は、2値の特徴ベクトル をもつ。
これを⽤いて、ノード の埋め込み表現 を次のように表す。

20. 20
モデルのトレーニング
Projection とIntersection と埋め込み表現のパラメータを確率的勾配降下法（SGD）で学習する。
損失関数は以下。
は正例、 は負例。つまり
q が正例を当てると
1になる
q が負例を当てると
1になる

21. 5. Experiments

22. 22
実験のデータセット
データセットは、クエリとその答えの組である をたくさん⽤意したもの。
は を満たすノード。
ナレッジベース内の10%のエッジをランダムに削除し、訓練⽤のデータセットとした。
hoge
fuga
hoge
fuga
fugahoge
元のデータ 訓練データ
fuga
クエリ
fuga

23. 23
実験結果
ベースラインとして、Enumeration（列挙法）と⽐較。
この⽅法は計算時間がクエリ内の束縛変数の数に対して爆発するので、クエリの束縛変数の数を限定して
実験を⾏った。メトリクスはAUCを利⽤。
AUCは分類問題に使われる指標で、モデルが正例と判断した確率順にサンプルを右から並べたとき、ラン
ダムに正例と負例をひとつづつピックして正例が負例の右側に位置している確率を表す。

24. 考察

25. 将来、こういうことができたら⾯⽩いのでは？
⼭⽥さんはどんな⾷べ物が好き？
⼭⽥さんはりんごが好き りんごは⾷べ物
りんご

26. 26
今後のNLP未来予想（※素⼈によるものです）
• 「⾃然⾔語 ➝ 埋め込み表現」 でなく「⾃然⾔語 ➝ 論理（グラフ）➝ 埋め込み表現」という
ように、論理を噛ませて埋め込むことで⾃然⾔語の意味損失を無くせる？
• この⼿の研究を、Conjunctive Query のみならずいろいろな形の論理式に対応させる研究も増
えそう。
• ⾔葉の論理的意味を喪失しない対話システムが流⾏りそう？Prolog的なエキスパートシステム
は昔からあったが、そこにNNが加わることでナレッジベース上に無い知識を推論したり、論理
記号の⽰す意味を⾃動⽣成したりすることができるかも。帰納と演繹の融合。
• そんなヤバい対話システム（というより知識システム）を作りたい⼈はscoutyへ！
Head of Research 枠を募集しています。