Try to apply logical flamework to BERT such as "IF-THEN-BECAUSE".

1. 含意や推意への論理的なアプローチで
の関係把握の検討
【オンライン】はんなりPython #45 2022年
あけおめLT会
2022年1月21日(金) 21時
@usagisan2020
太田 博三

2. これまでの経歴
2022年～ 「Multi Modal」で、成長したい！
2008年 大学院：統計解析を副専攻
2011年 データマイニング
(マーケット・バスケット分析)
デ
ー
タ
ア
ナ
リ
ス
ト
(
4
.
5
年
間
)
2012年 Webマーケティング
(アクセスログ解析)
2014年 機械学習(文書分類)・
レコメンドエンジン
2016年 自然言語処理(文生成)
デ
ー
タ
サ
イ
エ
ン
テ
ィ
ス
ト
(
6
年
間
)
2019年 画像認識・
数理最適化(物体認識)
2021年 自然言語処理(常識推論)

3. 背景①
現状(AS-IS)ヒトと機械とのインタラ
クション
ToBe(目指す姿)
会話が成立する事
現状(AS-IS) 機械もヒトの文章並みに。 Whats next ?

4. 背景②
AS-IS: ここが出来ていない！ ToBe(目指す姿):
会話が成立する事
→文と文との間の関係性（文脈）を、
BERT(機械)は理解できていない！
→BERTは、基本的に<mask>の予測
をしている！

5. 背景③
既存のチャットボットの例
(NTT)：
DBに蓄積しておき、取り出
して応答する。
→ここでは、想定した中で
の処理になる。
→[課題]この想定から外れ
てしまうと、対応できな
い！
⇒より包括的なアプローチ
はないか❓
今回のLTのテーマはここ！

6. 課題克服の流れ①（ 深層学習前）
例1
T: 私は昨日、京都で晩御飯を食べた。
H: 私は昨日、京都にいた。
→判定: ？
例2
T: 川端康成は「雪国」などの作品でノーベル文学賞を
受賞した．
H: 川端康成は「雪国」の著者である．
→判定: ？
下記のような判定をさせる言語処理タスクがある。
※1 前提となる文(Text; T)
※2 仮定となる文(Hypothesis; H)

7. 課題克服の流れ②（深層学習後）
例1
T: 私は昨日、京都で晩御飯を食べた。
H: 私は昨日、京都にいた。
→判定: Yes(含意である)．
例2
T: 川端康成は「雪国」などの作品でノーベル文学賞を
受賞した．
H: 川端康成は「雪国」の著者である．
→判定: Yes(含意である)．
・BERTにより、アナロジーが求められるように
なった。
・基本的には、ラベルのマッピングした語句間
の類似度になる。

8. 課題克服の流れ③（深層学習後）
・昨年、Recognizing Multimodal Entailment (ACL‘2021)がGoogle
Researchから発表され、さらに精度が向上した。
• https://multimodal-
entailment.github.io/
テキスト（自然言語）だけに比べて、画像
を加えると向上している。
これは宇宙から見た地球
の写真です。
これは地球がどのように見
えるかを表したものです。
これは地球の実際のイ
メージではありません。
これは地球の実際のイ
メージではありません。

9. 課題克服の流れ③の背景
1. 画像からテキスト生成
2. テキストから連想画像を生成（DALL-E）
この2つの流れが、マルチモーダルの取り扱いの精度を向上させる、大きな要因になった
と思われる。
１
．
画
像
か
ら
テ
キ
ス
ト
生
成
２
．
テ
キ
ス
ト
か
ら
画
像
生
成

10. 本題: 課題克服の今後の流れ④（案）
・論理的フレームワークを用いて、相手の含意や推意を考慮する
アプローチが考えられる。
3. 緊急事態宣言での政府の依頼文
• この文言をどう、学習させるかを考えてみよう！

11. 3.4 (Multi-Hop Reasoningの)書き言葉への適用
11
→ヒトの認知機能では，論理学の対偶関係で捉えがち．
しかし，p⇒qから¬q ⇒¬pが成立するわけではない．
課題克服の今後の流れ④（案）
午後8時を過ぎてな
ければ，飲食店で食
事ができる．

12. 3.4 (Multi-Hop Reasoningの)書き言葉への適用
12
→論理学の対偶関係での捉え方．
p⇒qから¬q ⇒¬pは、含意されているわけではない！
課題克服の今後の流れ④（案）

13. 課題克服の今後の流れ④（案）
論理的なフレームワークを適用してみると…
IF-THEN-BECAUSE
IF(state) THEN(action) BECAUSE(Goal)
午後８時を過ぎているなら， 飲食店で食事はできない． コロナに感染するといけないから．
図4-4-3 IF-THEN-BECAUSEでの捕捉
13
- 夜遅くは安全ではないから。
- 急な連絡が入るから。
- ．．．
・含意をBACAUSE節で、複数・あいまいに捉える
ことができ、決め打ちしなくてもよい！

14. 課題克服の今後の流れ④（案）
会話への適用：
IF-THEN-BECAUSE
14
- 最近はコーヒー飲まないから。
- 疲れているから。
- 面倒だから etc..
・含意をBACAUSE節で、複数・あいまいに捉える
ことができ、決め打ちしなくてもよい！

15. 課題克服の今後の流れ④（案）
実現には、PrologとBERTとを融合することから始
める必要がある。。
15
参考URL:
https://qiita.com/17ec084/items/da7c81e2cae43bac0894
https://github.com/yuce/pyswip
pip install pyswip
from pyswip import Prolog
p = Prolog()
p.assertz("father(michael, john)")
p.assertz("father(michael, gina)")
for s in p.query("father(X,Y)"):
print(s["X"], "is the father of", s["Y"])
micheal is the father of john
micheal is the father of gina

16. Pythonによる実装例
・マルチモーダルな含意関係認識：
https://multimodal-entailment.github.io/
・テキストから画像生成：
DALL-E： https://github.com/openai/DALL-E
などなど、あるのですが、、、
閉世界の問題、知識の問題などから、世界モデル
(シミュレーター)の問題設定ができるのが現実的な
のかなと考えております。

17. ご清聴ありがとうございました
FB等、
ありがとう
ございました。