Google が 2018 年に発表した深層モデル BERT は、自然言語処理 (NLP) の多くのタスクでブレイクスルーを起こしました。性能面で進歩がある一方で、公平性に関するガイドラインが総務省から発表される等、産業界では解釈可能な AI を求める声が大きくなってきています。そこで本セッションでは、このギャップを埋めるために Microsoft Research が開発している、interpret-text と呼ばれる機械学習ライブラリをご紹介します。BERT を含む、様々な自然言語処理モデルを解釈するための 2 つの方法について解説し、簡単なデモをお見せします。
Deep Learning Digital Conference - connpass
https://dllab.connpass.com/event/178714/
Google が 2018 年に発表した深層モデル BERT は、自然言語処理 (NLP) の多くのタスクでブレイクスルーを起こしました。性能面で進歩がある一方で、公平性に関するガイドラインが総務省から発表される等、産業界では解釈可能な AI を求める声が大きくなってきています。そこで本セッションでは、このギャップを埋めるために Microsoft Research が開発している、interpret-text と呼ばれる機械学習ライブラリをご紹介します。BERT を含む、様々な自然言語処理モデルを解釈するための 2 つの方法について解説し、簡単なデモをお見せします。
Deep Learning Digital Conference - connpass
https://dllab.connpass.com/event/178714/
12. 不正確 / 未知語 / 冗長 の3つの課題
• 事実と異なる記述 → 致命的
• 未知語(OOV: Out Of Vocabulary)に対応不可能
• 要約したい文はニュースなどで、固有名詞も多い
• 同じ内容を繰り返してしまう → “要約”できていない
2.1.2 一般的なテキスト生成モデルの結果と課題
2. Related works
入力 出力
13. 先の3つの問題を解決できるような要約特化のSeq2Seqモデル
Get To The Point: Summarization with Pointer-Generator Networks
• 2017年、CNN/Daily Mail Dataset において SOTA
• ソフトに「コピペ」することで 正確かつ未知語にも対応 (Pointer-Generator)
• Coverage mechanism を導入し、まだ触れていない単語を出力しやすくし、冗長さを改善
• ExtractiveとAbstractiveの中間的なモデル
2.2 要約モデル (BERT前)
2. Related works