SCSTを用いてseq2seqモデルを学習し、Chatbotを実装した

1. Self-Critical Sequence Training
を用いたChatbotの作成

2. 概要
・対話コーパスを用いてseq2seqモデルを学習し、性能を評価し
た。
・そのモデルを、REINFORCEの発展形であるSCSTによりFine-
Tuningした。精度・汎化性能が向上したかどうかを調べた。
・学習したモデルを用いて簡単なChatBotを作った。

3. 方法
• データセット
• モデル
• 評価指標

4. データセット
• Conell Movie-Dialogs Corpus(Cornell大学)を使用
(https://www.cs.cornell.edu/~cristian/Cornell_Movie-
Dialogs_Corpus.html)
• 映画から対話を抜粋したもの。英語。
• 合計617個の映画からなる。
• 今回は時間と計算資源の都合上ジャンル: romance のみ(132個)
を用いた。

5. モデル
• seq2seqについて
図1. Seq2seq (encoder-decoder) モデル(機械翻訳の例)

6. モデル
• Seq2seqについて
目的関数はcross-entropy loss -> 微分可能！
しかし本来の目的関数は…

7. 評価指標
• (Sentence) BLEU Score [1]
- 2つの系列の類似度を測る指標(0 ~ 1)。
- 値が大きいほど類似度が高い。
- 元々は機械翻訳の分野で生まれた。
- 微分可能でない！

8. モデル
• REINFORCE
セミナーで扱ったアルゴリズム。
Policy-gradient methodの一種。

9. モデル
・強化学習としてのsequence生成
Seq2seqにおけるdecoderは、環境(投げかけられるフレーズ)と相互
作用して行動(次の単語の予測)するAgentとして解釈できる。[2],[3]
Agentが与えられたsequenceを解釈し終えると、報酬(BLEUスコア)
が得られる。[2] -> BLEUは微分可能でない！
REINFORCEによる方策勾配法(baselineを引いた形):

10. モデル
• 強化学習としてのsequence生成
Self-critical Sequence Training(SCST)
現在のモデルで生成された返答の𝑟𝑒𝑤𝑎𝑟𝑑: 𝑟(ෝ
𝑤)
で置き換える。
返答は、Decoderの出力の確率分布から、確率が
最大のtokenを選んでいくことで生成する。
(argmax)

11. 結果
• Log lossでの学習
図2. Training BLEU 図3. Test BLEU
過学習している
Best test score: 0.140

12. 結果
• Log lossでの学習
図4. 損失

13. 結果
• REINFORCE(SCST)
図6．Training BLEU 図7．Test BLEU
Colabの制約により、十分なEpoch数学習ができていないが、Test Scoreは向上した。
Training Scoreは安定して上昇している。

14. 結果
• Botの実装
- Python Telegram Bot (https://github.com/python-telegram-
bot/python-telegram-bot) を使用。

15. 結果
• Botの実装(Cross Entropy)
文として成立しているものも多いが、返答が明らか
に間違っているものもある。
映画のセリフをそのまま返しているイメージ。

16. 結果
• Botの実装(REINFORCE)
文法は正確ではないが、ユーザーの発言に対する応
答としては、的確である。(内容はさておき)

17. 結論
• SCSTでファインチューニングしたことによりテストスコアが
向上した。
• 訓練不足
• botの返答が短文のみ -> 時間とリソースの関係で最大token数
を制限したことで短文のみを学習している？
• 文法が不正確 -> 映画の対話なので、口語表現も多い。
短文のみのため、十分な文法構造まで学習し
ていない？

18. 感想
• 強化学習は他の深層学習の手法の向上にも利用できることを実
感できた。
• 有名なコーパスだったため、前処理部分で参考にできる資料が
多く、助かった。
• 想像以上に訓練に時間がかかり、実験が十分にできなかった。

19. 参考文献
[1] Papineni, K., Roukos, S., Ward, T., & Zhu, W. (2002). Bleu:
a Method for Automatic Evaluation of Machine Translation.
ACL.
[2] S. J. Rennie, E. Marcheret, Y. Mroueh, J. Ross and V. Goel,
"Self-Critical Sequence Training for Image Captioning," 2017
IEEE Conference on Computer Vision and Pattern Recognition
(CVPR), Honolulu, HI, USA, 2017, pp. 1179-1195, doi:
10.1109/CVPR.2017.131.,
[3] Maxim Lapan, “Deep Reinforcement Learning Hands-On”,
Packt, 2020