Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Fast Abstractive Summarization with
Reinforce-Selected Sentence Rewriting
0
三浦 泰嗣
電通国際情報サービス
(ISID)
自己紹介
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
1
• 三浦 泰嗣(Miura Yasuhide)
• 電通国...
こんなことやってます
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
2
ACLの全論文サマリ 気軽にContribut...
【宣伝】
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
3
本編
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
4
まとめ
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
5
• 文書要約を行うDeep Learningモデル
• 文章...
文書要約(Document Summarization)
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
6
• 文書中...
抽出型要約(Extractive Summarization)
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
7
• ...
生成型要約(Abstractive Summarization)
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
8
•...
近年のDLベースの生成型要約モデル
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
9
• Attention Base...
Deep Learningベーステキスト生成につきまとう課題
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
10
1....
Repetition
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
11
RNNで長いテキストを生成する際に、既に出力...
Out-of-Vocabulary(OOV)
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
12
学習データにない単語...
Non-differentiable
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
13
損失関数の計算に微分不可能な...
提案手法
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
14
提案モデルの概要
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
15
• 生成型要約モデル(抽出型要約もできるよ!)
...
Extract-Then-Rewrite?
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
16
• 人間が要約を作ると...
Extract
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
17
• Extractorモデルが担当
• Tempo...
Rewrite
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
18
• Abstractorモデルが担当
• Extr...
Training
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
19
• Maximum-Likelihood Tra...
Training
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
20
• Extractorによる文の選択処理が微分不...
(ちょっと復習)強化学習
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
21
• エージェントが文を抽出(行動 at)...
REINFORCEアルゴリズムによる方策勾配法
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
22
• 方策: Ext...
A2CアルゴリズムによるExtractorの学習
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
23
• REINFO...
提案モデルと課題への対策
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
24
1. Repetition
• ⇒Ext...
実験
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
25
CNN/Daily Mail Datasetでの実験
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
26
• Extr...
Pointer-GeneratorとのABテストのAbstractiveness
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESER...
計算時間の比較
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
28
• Abstractorによる要約生成は複数の抽出...
まとめ
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
29
• 生成型要約を行うExtract-Then-Rewrit...
参考文献
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
30
• Text summarization with Te...
参考文献
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
31
• Shiqi Shen, Yong Cheng, Zh...
APPENDIX
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
32
モデルによる要約
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
33
Upcoming SlideShare
Loading in …5
×

Fast abstractive summarization with reinforce selected sentence rewriting

3,201 views

Published on

ACL2018読み会 - Fast abstractive summarization with reinforce selected sentence rewriting

Published in: Technology
  • Be the first to comment

Fast abstractive summarization with reinforce selected sentence rewriting

  1. 1. Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting 0 三浦 泰嗣 電通国際情報サービス (ISID)
  2. 2. 自己紹介 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 1 • 三浦 泰嗣(Miura Yasuhide) • 電通国際情報サービス 開発技術部 新領域研究Gr • Twitter/GitHub: ymym3412 • 自然言語処理万事屋として生きる日々 ※株式会社アラヤさんとマグロを数えている会社です
  3. 3. こんなことやってます COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 2 ACLの全論文サマリ 気軽にContribution! GitHub: ymym3412/acl-papers
  4. 4. 【宣伝】 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 3
  5. 5. 本編 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 4
  6. 6. まとめ COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 5 • 文書要約を行うDeep Learningモデル • 文章から文の抽出を行い、それを書き直す形で要約を生成する 「Extract-Then-Rewrite」手法 • Maximum-Likelihood TrainingとA2Cによる強化学習を組み合わせた学 習手法 • CNN/Daily Mail DatasetなどでPointer Generator, Reinforced Model を抑えてState-of-the-Art
  7. 7. 文書要約(Document Summarization) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 6 • 文書中から重要な情報を拾ってきてまとめあげたい • Extractive(抽出型)とAbstractive(生成型)のアプローチが存在する ※Google AI Blogより https://ai.googleblog.com/2016/08/text-summarization-with-tensorflow.html
  8. 8. 抽出型要約(Extractive Summarization) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 7 • 原文中の表現を使って要約を生成する • 長い歴史 • 近年はニューラルネットを使った手法も [Erkan and Radev, 2004)] [Nallapati et al. 2017]
  9. 9. 生成型要約(Abstractive Summarization) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 8 • 原文中の表現以外も使って要約を生成する • 大雑把に言うとExtractive以外 • 近年のDeep Learningブームで盛んに研究されている • 今回のテーマ [See et al., 2017)][Nallapati+ 2016] [Paulus et al., 2018)]
  10. 10. 近年のDLベースの生成型要約モデル COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 9 • Attention Based Summarization[Rush et al. 2015] • Attention + ニューラル言語モデル • Seq2Seq + Attention[Nallapati et al. 2016] • Seq2Seq + Attention • Pointer Generator[See et al. 2017] • Copy Mechanism + Coverage Mechanism • Reinforced Model[Paulus et al. 2018] • Intra Attention + Reinforcement Learning
  11. 11. Deep Learningベーステキスト生成につきまとう課題 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 10 1. Repetition • Decode時に同じ単語を繰り返してしまう 2. Out-of-Vocabulary(OOV) • 学習データに存在しない単語をDecodeできない 3. Non-differentiable • 微分不可能な処理を挟むと学習できない
  12. 12. Repetition COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 11 RNNで長いテキストを生成する際に、既に出力した単語(あるいはフレー ズ)を再度生成してしまう問題 対策: Coverage MechanismやIntra-Attention 同じフレーズが生成されてしまっている! Coverage Mechanism 時刻t’の Attention分布 同じ単語を選ぶ (次元iの値が大きくなる)と covloss↑ Intra-Attention DecoderにもAttentionをかけContext Vectorを得る
  13. 13. Out-of-Vocabulary(OOV) COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 12 学習データにない単語やUNKトークンに置き換えられた低頻度語を、Test 時にDecodeできない問題 対策: Copy Mechanism[Merity et al. 2016][Gu et al. 2016] (Decode時に入力単語をCopyして生成) ⇒以前Qiitaに記事を書いたので詳しくはこちら: Seq2Seq+Attentionのその先へ https://qiita.com/ymym3412/items/c84e6254de89c9952c55 低頻度語は学習データ内でUNKに置き換えられ てしまうため、Decodeできない
  14. 14. Non-differentiable COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 13 損失関数の計算に微分不可能な処理を挟むと、Back Propagationによる学 習を行えない ⇒微分不可能な処理とは? 対策: 強化学習[Chen et al. 2017]やMinimum Risk Training[Cheng et al. 2016] 例1: KB対話 例2: 評価指標の直接最適化
  15. 15. 提案手法 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 14
  16. 16. 提案モデルの概要 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 15 • 生成型要約モデル(抽出型要約もできるよ!) • Extract-Then-Rewriteの方式で要約を生成する • ExtractとAbstractに分けるアプローチは最近見る • A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss[Hsu et al. 2018] ACL2018 • Generating Wikipedia by Summarizing Long Sequences[Liu et al. 2018] ICLR2018 • 抽出を行うExtractorとRewriteを行うAbstractor
  17. 17. Extract-Then-Rewrite? COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 16 • 人間が要約を作るときの流れを参考に • 文章の重要な箇所にあたりをつけてから、それらをまとめて要約を作る • 文章中の重要な文を抽出し、それを書き直すことで生成型要約を作る Extract Rewrite
  18. 18. Extract COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 17 • Extractorモデルが担当 • Temporal Convolution Model[Kim, 2014]で文を特徴ベクトルに変換 • Bi-LSTMで文脈を考慮した文の表現に変換 • Pointer Network[Vinyals et al. 2015]で入力にAttentionをかけて文を抽出
  19. 19. Rewrite COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 18 • Abstractorモデルが担当 • Extractorが抽出した文を受け取り要約を作る • Seq2Seqモデル + Attention • Copy Mechanismを使うことで未知語を回避(OOVの緩和) たぶん構造は これに近い 親の顔より見た Seq2Seq + Attention Copy Mechanism
  20. 20. Training COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 19 • Maximum-Likelihood TrainingとReinforcement Learningの2段階 • 最初からE2EだとExtractorが貧弱なうちはAbstractorの学習が滞る • Maximum-Likelihood TrainingはExtractor, Abstractorそれぞれを MLEを使って教師あり学習 • ⇒教師ラベルは? • ⇒⇒proxy target label[Nallapati et al. 2017] 生成型要約の t番目の文 文書の i番目の文
  21. 21. Training COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 20 • Extractorによる文の選択処理が微分不可 • 評価指標ROUGEを報酬とした強化学習でモデル全体の学習を行う • ただしRLの学習ではAbstractorのパラメータはfix • REINFORCE[Williams, 1992]は勾配の分散が大きいためA2Cを採用する • AgentはExtractor • 報酬はGround truth summaryとのROUGE-LF1 • CriticとしてPointer NetのDecoder • 出力は状態価値関数
  22. 22. (ちょっと復習)強化学習 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 21 • エージェントが文を抽出(行動 at)し、それをAbstractorがRewriteし、GT summaryとの ROUGEから報酬Rtを得る • 環境(文書)からt-1に抽出した文を状態st(論文中ではct)として観測する • 方策 = Extractor ※ゼロから始める強化学習より https://www.slideshare.net/pfi/nlp2018-introduction-of-deep-reinforcement-learning
  23. 23. REINFORCEアルゴリズムによる方策勾配法 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 22 • 方策: Extractorのパラメータ更新式 • 行動価値関数Q(c,j)を即時報酬Rtで近似するのがREINFORCE • 今回は初めからQ(c,j)を報酬の期待値として定義してしまっている • しかしREINFORCEは勾配の分散が大きい t-1に抽出した文がctで tに抽出した文がjtのときのROUGE値の期待 値 Extractorがjtを抽出したときの対数尤度
  24. 24. A2CアルゴリズムによるExtractorの学習 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 23 • REINFORCEでは勾配の計算時にベースラインを導入できる • ベースラインとして学習可能なCriticを使い勾配の分散を小さくする • Criticは状態がcのときの報酬を推定する • Advantage関数を用いると、最終的な勾配は以下の式になる Advantage学習では、 行動価値関数Qの更新に 数step先の報酬も考慮する ※ はCriticの予想した値
  25. 25. 提案モデルと課題への対策 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 24 1. Repetition • ⇒Extractorが重複を排除して抽出。またBeam Search時にN-gram重複を避けるように Reranking 2. Out-of-Vocabulary(OOV) • ⇒AbstractorへのCopy Mechanismの導入 3. Non-differentiable • ⇒Extractorでの抽出の微分不可能性について、強化学習の導入で対応
  26. 26. 実験 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 25
  27. 27. CNN/Daily Mail Datasetでの実験 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 26 • Extractive/Abstractive 両セッティングで実験 • 両セッティングでState-of-the-Art
  28. 28. Pointer-GeneratorとのABテストのAbstractiveness COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 27 • Pointer-Generatorとの人手でのABテスト • Relevanceで差はついたが、Readabilityは大差なし • 出来上がる要約のAbstractivenessの計測 • 2~4gramの範囲で大きな改善 • とはいえ単語の刈り取りをすれば2-gram~は上昇する(はず)
  29. 29. 計算時間の比較 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 28 • Abstractorによる要約生成は複数の抽出文に依存していないため、抽出 した文から要約を生成する部分を並列化可能! • こんな感じに並列化できる(右図) • 最大で24倍の高速化に成功
  30. 30. まとめ COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 29 • 生成型要約を行うExtract-Then-Rewriteモデルの提案 • 近年の潮流をよく押さえている • 微分不可能な抽出処理に対してA2Cによる強化学習を導入 • 生成された要約を見ると「Rewrite」というより「Compress」 • 論文中でもcompressと述べられている • Abstractorに改良の余地? • Extract-Then-Abstractモデルは今後の生成型要約手法のトレンドにな るかもしれない
  31. 31. 参考文献 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 30 • Text summarization with TensorFlow: https://ai.googleblog.com/2016/08/text-summarization-with-tensorflow.html • Gunes Erkan, Dragomir R. Radev. 2004: LexRank: Graph-based Lexical Centrality as Salience in Text Summarization : https://www.aaai.org/Papers/JAIR/Vol22/JAIR-2214.pdf • Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. 2017: SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents: https://arxiv.org/pdf/1611.04230.pdf • Romain Paulus, Caiming Xiong, and Richard Socher. 2018: A Deep Reinforced Model for Abstractive Summarization: https://arxiv.org/abs/1705.04304 • Abigail See, Peter J. Liu, and Christopher D. Manning. 2017: Get To The Point: Summarization with Pointer-Generator Networks: https://arxiv.org/abs/1704.04368 • Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, C¸ aglar Gulc¸ehre, and Bing Xiang. 2016: Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond: https://arxiv.org/abs/1602.06023 • Alexander M. Rush, Sumit Chopra, and Jason Weston. 2015: A Neural Attention Model for Abstractive Sentence Summarization: https://arxiv.org/abs/1509.00685 • Seq2Seq+Attentionのその先へ: https://qiita.com/ymym3412/items/c84e6254de89c9952c55 • Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. 2016: Pointer Sentinel Mixture Models: https://arxiv.org/abs/1609.07843 • Jiatao Gu, Zhengdong Lu, Hang Li, and Victor OK Li. 2016: Incorporating Copying Mechanism in Sequence-to-Sequence Learning: https://arxiv.org/abs/1603.06393
  32. 32. 参考文献 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 31 • Shiqi Shen, Yong Cheng, Zhongjun He, Wei He, Hua Wu, Maosong Sun, Yang Liu. 2015: Minimum Risk Training for Neural Machine Translation: https://arxiv.org/abs/1512.02433 • 大自然言語時代のための、文章要約: https://qiita.com/icoxfog417/items/d06651db10e27220c819 • Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, Min Sun. 2018:A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss: https://arxiv.org/abs/1805.06266v1 • Peter J. Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, Noam Shazeer. 2018:Generating Wikipedia by Summarizing Long Sequences: https://arxiv.org/abs/1801.10198 • Yoon Kim. 2014: Convolutional Neural Networks for Sentence Classification: https://arxiv.org/abs/1408.5882 • Oriol Vinyals, Meire Fortunato, and Navdeep Jaitly. 2015: Pointer Networks: https://arxiv.org/abs/1506.03134 • ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning: https://www.slideshare.net/pfi/nlp2018- introduction-of-deep-reinforcement-learning • Ronald J. Williams. 1992: Simple statistical gradientfollowing algorithms for connectionist reinforcement learning: http://www- anw.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf • Sequence Level Training with Recurrent Neural Networks (関東CV勉強会 強化学習論文読み会): https://www.slideshare.net/YoshitakaUshiku/sequence-level-training-with-recurrent-neural-networks-cv • これからの強化学習: http://www.morikita.co.jp/books/book/3034 • つくりながら学ぶ!深層強化学習 PyTorchによる実践プログラミング: https://book.mynavi.jp/manatee/books/detail/id=91985 • Yen-Chun Chen, Mohit Bansal: Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting: https://arxiv.org/abs/1805.11080v1
  33. 33. APPENDIX COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 32
  34. 34. モデルによる要約 COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 33

×