Download to read offline
![2.4 リカレントニューラルネットワーク
(RNN)/LSTM/GANによる文生成
• Andrej Karpathyのchar-rnnによるtiny shakespeare[7]が
有名．
• 今までの単語列として，もっともらしい次の単語を予測す
ることをLong short term memory(LSTM)が担うもの．
• Recurrent Neural Network(RNN)の拡張として，1995年
に登場した時系列データに対するモデルまたは構造の⼀種
である．
• しかしLSTMでも，Epochが100を超えないとまともな⽂
章になっていなかったり，GPUが必要になるなど，莫⼤な
学習データと時間を要する．
• そこで，GANなど教師なしの⽣成モデルに着⽬した． 13](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-12-320.jpg)
![3. 実験結果([7])
3.1 各⼿法の実験概要
・ 約３ヶ⽉間
3.2 各⼿法と好ましいと
思われるデータ量
（⽂字数）
14](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-13-320.jpg)
![3.2 各手法と好ましいと思われるデータ量(文字数)
• データ量の観点から，得られた実験結果([7])
• 各⼿法と好ましいと思われる⽂字数（参考程度）
1) マルコフ連鎖による文章の自動生成:100−200字程度の文書
2) keras(RNN/ LSTM)による文章の自動生成:5000文字以上の文書
3) Luhn による文章要約:1000字以上
4) LexRank/ TextRank による文章要約:300−400文字以上
5) tensorflow/ seq2seqによる文章自動要約:100000文字以上
16](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-15-320.jpg)
![4. 実験結果([8])
4.1 実験で⽤いた各⼿法の⻑所・短所
4.2実験で⽤いた⽂章と評価結果（その1）
4.2.1 マルコフ連鎖による2つの⽂章の評価
4.2.2 マルコフ連鎖による⽣成された⽂章例（2つ）
4.2.2.1 マルコフ連鎖による⽣成された⽂章例その1
4.2.2.2 マルコフ連鎖による⽣成された⽂章例その2
4.3 実験で⽤いた⽂章と⼿法と評価結果（その2）
4.4 ⽂章の⾔い換えと類似度の検討
4.4.1 本節で⽤いた例⽂
4.4.2 n-gram(n = 1-5)での定量化と⾔い換え回数について
4.4.3 考察結果
17](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-16-320.jpg)
![4.1 実験で用いた各手法の長所・短所
• [実験: 2パターンでの検証結果]
1.（元データ）
4.2.1 マルコフ連鎖による2つの⽂章の評価
・元の⽂章のままではない点が評価できる．
・元の⽂章が⻑い⽂章であれば，⽂と⽂のつながりはよくはないが
悪くもない．
・内包表記などで⼯夫できれば簡易的で良い．
18
B L .
K : : 3::7 / 034 19 5/2 065](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-17-320.jpg)
![4.4 文章の言い換えと類似度の検討
• ⽂章⾃動⽣成は⼀⽂が⾃然な⽂章で⽂と⽂との間のつながりも⾃然
であること，これに加えて，盗作とならないことを考えた場合，元
の⽂章と新たに⽣成された⽂章との⾮類似度が⾼いことが求められ
る．
• そこでn-gram（n = 1, 2, 3, 4, 5）で類似度を求め，もう⼀⽅で係り
受け解析を⾏い複雑すぎる⽂になっていないかを考察してみた．
• Googleは5-gramを⽤いているとの⾒解もあり，5-gramまでとした
(⽂献[10]より)．
27](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-26-320.jpg)
![• ⽂と⽂のつながりについては，⾃動要約との関連や⽂と⽂とのつなが
りをentity-grid model[11]を⽤いて局所的なつながりの良さを表現す
るなどの談話構造解析[9][10]がある．
• しかし，⼿動で⾏う判断を⾃動化することが可能か試⾏錯誤中である．
• Sentence orderingなどからヒントを得たいと考えている．
• またディープラーニングを⽤いた⽅策としては，敵対的⽣成ネット
ワーク(Generative Adversarial Network: GAN)による精度向上も精度
向上が期待され，実験中である．
• 従って，今のところは完全⾃動化ではなく，⼈⼿を含めざる負えなく，
主に制御⽂による⽂章⾃動⽣成が無難と思われる．
35
5.まとめ](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-34-320.jpg)
![5. 今後の予定
• ⽂と⽂のつながりについては，次の⼿法で解決の⽷⼝を⾒出
すべく，取り組み中である．
• 次回，次の項⽬を中⼼に報告させて頂きたいと考えておりま
す.
• [理論⾯: 論⽂サーベイ]Sentence Ordering, Coherence
• [⼿法⾯: ⽂脈解析] Entity-grid model※1
• [⼿法⾯: 深層学習] GAN（⽣成系モデル）
※1 現在、⾃動要約との関連や⽂と⽂とのつながりをentity-gridを⽤いて局所的なつ
ながりの良さを表現するなどの談話構造解析があるが発展段階である．
36](https://image.slidesharecdn.com/pyconjp201720170908ota-170908051856/85/Pycon-jp2017-20170908_ota-35-320.jpg)
Pycon jp2017 20170908_ota
- 1. Pythonによる文章自動生成入門！ Python×自然言語処理×ディープラーニング The Automatic TextGeneration by using NLP & DL with Python Pycon JP 2017 in TOKYO 2017年9月8日（金）02:40PM-03:10PM 太田 博三
- 2. 1. はじめに 1.1. 自然言語処理の研究区分 1.2.文章自動生成のタスク設定 1.3. 文章自動生成の注目度 3
- 3. 1.1. 自然言語処理の研究区分 （入力） （出力） テキスト----------解析系--------à 情報 情報 ----------生成系--------à テキスト 図1.1 解析系と生成系 ・解析系の研究とは，Amazonのレビューなどのポジ・ネガ判別 ・生成系の研究とは，逆で入力はポジティブなどと判別された情報とは限らない． 出力はテキストである． ・変換系の研究とは，機械翻訳など⼊⼒と出⼒が対価である場合． 4
- 4. 1.2.文章自動生成のタスク設定 ⽂章⾃動⽣成のアプリ開発をしたいと考え，主な仕様を下記の2 点とした． 1. 剽窃になってはいけないこと，そのまま過去の⽂章の引⽤と ならないこと． 2. 独⾃性があること 3.300−500⽂字の⾃然な⽂章であること． ＜懸念点として考えられたこと＞ • 過去の⽂集合をもとに作られるため，オリジナリティがないと 本末転倒になりかねない． 5
- 5.
- 6. 1.3 文章自動生成の注目度（その1） • 文章自動生成のコンテストなど欧米で盛んである． E2ENLG Challenge http://www.macs.hw.ac.uk/InteractionLab/E2E/ も開催されており，世界的に盛んである． cf. 文書自動要約(Text Summarization)も10年以上前から盛んに 行なわれている． 7
- 7.
- 8. 2. 本研究で用いた手法 2.1 各⼿法についての概観 2.2マルコフ連鎖による⽂⽣成 2.3 ⾃動要約による⽂⽣成 2.4 リカレントニューラルネットワーク(RNN)/ LSTM/GANによる⽂⽣成 9
- 9.
- 10. 2.2 マルコフ連鎖による文生成 • マルコフ性（Markov property）とは、次の状態が過去の状 態に依存せず現在の状態のみによって決まる性質のことであ る． •詳しくはこちらをご参照ください！ マルコフモデル ～概要から原理まで～ （前編） http://postd.cc/from-what-is-a-markov-model-to-here-is- how-markov-models-work-1/ 11
- 11. 2.3 自動要約による文生成 • ⾃動要約の古典的なH.P. Luhn(1958)が⾃動要約の⽅向性を決めたと ⾔われている． ↓ • テキスト中の重要な⽂を抜き出し，それを出現順に並べることによっ て，そのテキストを読むべきか否かを判定するといったスクリーニン グのための要約が⾃動⽣成できることを⽰したから. • つまり，⾃動抄録に似ており，「理解し，再構成し，⽂章⽣成」とい うのではなく、「理解する箇所が重要部に近似する」と割り切って考 えたものである． • 重要語の決定には，単語頻度を⽤いるなど，現在の⾃動要約の流れは， Luhnの影響が少なくない！ 12
- 12. 2.4 リカレントニューラルネットワーク (RNN)/LSTM/GANによる文生成 • AndrejKarpathyのchar-rnnによるtiny shakespeare[7]が 有名． • 今までの単語列として，もっともらしい次の単語を予測す ることをLong short term memory(LSTM)が担うもの． • Recurrent Neural Network(RNN)の拡張として，1995年 に登場した時系列データに対するモデルまたは構造の⼀種 である． • しかしLSTMでも，Epochが100を超えないとまともな⽂ 章になっていなかったり，GPUが必要になるなど，莫⼤な 学習データと時間を要する． • そこで，GANなど教師なしの⽣成モデルに着⽬した． 13
- 13. 3. 実験結果([7]) 3.1 各⼿法の実験概要 ・約３ヶ⽉間 3.2 各⼿法と好ましいと 思われるデータ量 （⽂字数） 14
- 14.
- 15. 3.2 各手法と好ましいと思われるデータ量(文字数) • データ量の観点から，得られた実験結果([7]) •各⼿法と好ましいと思われる⽂字数（参考程度） 1) マルコフ連鎖による文章の自動生成:100−200字程度の文書 2) keras(RNN/ LSTM)による文章の自動生成:5000文字以上の文書 3) Luhn による文章要約:1000字以上 4) LexRank/ TextRank による文章要約:300−400文字以上 5) tensorflow/ seq2seqによる文章自動要約:100000文字以上 16
- 16. 4. 実験結果([8]) 4.1 実験で⽤いた各⼿法の⻑所・短所 4.2実験で⽤いた⽂章と評価結果（その1） 4.2.1マルコフ連鎖による2つの⽂章の評価 4.2.2 マルコフ連鎖による⽣成された⽂章例（2つ） 4.2.2.1 マルコフ連鎖による⽣成された⽂章例その1 4.2.2.2 マルコフ連鎖による⽣成された⽂章例その2 4.3 実験で⽤いた⽂章と⼿法と評価結果（その2） 4.4 ⽂章の⾔い換えと類似度の検討 4.4.1 本節で⽤いた例⽂ 4.4.2 n-gram(n = 1-5)での定量化と⾔い換え回数について 4.4.3 考察結果 17
- 17. 4.1 実験で用いた各手法の長所・短所 • [実験:2パターンでの検証結果] 1.（元データ） 4.2.1 マルコフ連鎖による2つの⽂章の評価 ・元の⽂章のままではない点が評価できる． ・元の⽂章が⻑い⽂章であれば，⽂と⽂のつながりはよくはないが 悪くもない． ・内包表記などで⼯夫できれば簡易的で良い． 18 B L . K : : 3::7 / 034 19 5/2 065
- 18. 4.2.2 マルコフ連鎖による生成された文章例（2つ） 19 4.2.2.1 マルコフ連鎖による⽣成された⽂章例 その1 化粧⽔などで泡⽴ててくださいね。そのまま化粧⽔を 防腐剤、安定剤や酸化亜鉛などの影響で、かさつかず しっとりとしました。ドクターズオーガニックの無添 加化粧品の材料とコールドプロセス法によって製造す ることがわかります（新陳代謝が正常に導きます。ま たお⼿元に届くよう、⼀刻も早い安全性と、とても良 い下地クリームにした作りになっていますが、抗菌仕 様製品では次のような選び⽅が推奨されています。毎 ⽇⾝体を動かすことで、⾃分達の基礎化粧品の中⾝を 確かめてくださいね。無添加⽯鹸で…。油分を⼗分に 補って、盲信は禁物です。ナイロンタオルやボディケ ア⽤品の基材としてよく使われています。という具合 に⾃分の肌トラブルを起こさない、これは現実的に引 き締まった感じがするかもしれませんよね？乾燥が気 になることもあります。刺激感などの添加があります。 （361⽂字） 4.2.2.2マルコフ連鎖による⽣成された⽂章例その2 例えばクモノスカビの⼤きさを保ち、かさかさ、ボロ ボロに。⼀体何が無添加⽯鹸を泡⽴て、泡の保持のた め、ニキビ肌、敏感にしましょう。「今⽇はとても不 ⾃然だと悪化します。また、脂肪を燃焼させ除去する ことフットクリームの全成分しかし、同時に流れは細 胞から⼆酸化炭素や⽼廃物を回収してください。シア バター 1,800円（約70g）ご購⼊はこちらから」 フットクリームの全成分漢⽅薬としては、洗浄感の良 いハンドクリームには⽪膚がんの原因は消毒も殺菌し て作られますが、散乱剤②の2種類がありませんが、 すでにたくさんの化粧⽔と、やわらかくて、たっぷり のお湯でお肌は、天然の成分かつて健康法として推奨 された安全性はまだまだ不確かです。でも、必ずしも ⽯鹸が必要なわけでも、瞬間湯沸かし器などで泡⽴て てください。乾燥肌対策のため植物性油脂であっても、 きれいな⽔だけで数百種類以上の化学成分を毎⽇肌に のせたりすることが⼤事です。原料への安全性はあり ません。この後、あるいはお⾵呂で体を温める効果の ある⼈々（活字関係）からは常温で固体のためのスキ ンケア (455⽂字)
- 19.
- 20. 4.2.2 マルコフ連鎖による生成された文章例（2つ） 21 4.2.2.2 マルコフ連鎖による⽣成された⽂章例その2 例えばクモノスカビの大きさを保ち、かさかさ、ボロボロに。一体何が無添 加石鹸を泡立て、泡の保持のため、ニキビ肌、敏感にしましょう。「今日は とても不自然だと悪化します。また、脂肪を燃焼させ除去することフットク リームの全成分しかし、同時に流れは細胞から二酸化炭素や老廃物を回収し てください。シアバター1,800円（約70g）ご購入はこちらから」フットク リームの全成分漢方薬としては、洗浄感の良いハンドクリームには皮膚がん の原因は消毒も殺菌して作られますが、散乱剤②の2種類がありませんが、す でにたくさんの化粧水と、やわらかくて、たっぷりのお湯でお肌は、天然の 成分かつて健康法として推奨された安全性はまだまだ不確かです。でも、必 ずしも石鹸が必要なわけでも、瞬間湯沸かし器などで泡立ててください。乾 燥肌対策のため植物性油脂であっても、きれいな水だけで数百種類以上の化 学成分を毎日肌にのせたりすることが大事です。原料への安全性はありませ ん。この後、あるいはお風呂で体を温める効果のある人々（活字関係）から は常温で固体のためのスキンケア (455文字)
- 21. 4.3 実験で用いた文章と手法と評価結果（その2） • 以下の⽂章が⾃然であるかに留意し，5段階評価を⾏った． ※評価尺度は次の通りです. （⾃然な⽇本語）5 ‒ 4 ‒ 3 ‒ 2 - 1 （機械的な⽇本語） また、気がついた問題や箇所は下線のスペースに記⼊してください。 22 手法は隠し てある
- 22. 4.3 実験で用いた文章と評価結果（その2） （例⽂） 興味深い話がありますが、続けることがわかってきたという⼈が歩⾏不⾜です から。お酒を飲んでいたら、昔か ら「寝る⼦は育つ」と⾔うのは神様の業と⾔ えるのです。ですから、いつも幼⼦のようにしましょう!考えたりします。やは りちょっと添加物を旬なうちに運動をしてもらったらよいでしょうか?また、 健康診断はしっかり歩くだけでは、さらに湿疹などになります。よくよく聞い てなるほどなーとも⾔えるのではなく、なぜか⾊々と 語られているのですが、 健康維持やダイエットにつながります。⼿軽に薬ではないでしょうか?⽼化防 ⽌にも沢 ⼭あるのです。ですから、お⽔や空気も⼊ります。もしハリが残って いるとか・・・?さて、今⽇のタイトルは「炭 酸⽔で薄めて飲んだらよいで しょうか?漢⽅の王様と⾔われています。そのくらい⾝体の健康についてです。 （351 ⽂字） 23 手法は隠し てある
- 23.
- 24. 4.3 実験で用いた文章と評価結果（その2） （例⽂） 私の知り合いの⽼⼈ Yさんは現在90才の元気な男性。Y さんの健康法は毎⽇ 2 時 間くらいは散歩を続ける事だ そうです。それも晴の⽇だけでなく、⾬の⽇も散歩 に⾏かれると⾔うのでびっくり。本⼈いわく「この年で仕事 もないので、私は散 歩する事が仕事と思って毎⽇歩いているので、⾬の⽇でも⾏きます。⾬だから今 ⽇は仕事が 休みとは普通ならないでしょう・・・」との事でした。流⽯に脱帽で す。 実はこんな事があったそうです。お 医者さんから「もう90才になるのだから、 あまり無理して歩かないほうがよいですよ。」と⾔われ、Y さんも 「そうか なー」と思い 1 ヶ⽉近く散歩を⽌めていました。そしたら、バス停から家までの 道のり約5分くらいの 緩やかな坂道が、途中に⼀度休まないと息が切れて歩けな くなったそうです。それで「これではまずい!」と思 って、また歩き始めて3週間 くらい歩き続けたら元に戻ったそうです。歩く事は健康の基本です。半⾝の静脈 の 流れを良くし、⾝体の基礎筋⾁を維持し、⼼肺機能を維持する事ができるので す。また、腰痛の70%はしっか り歩くだけでも改善されています。現代は飽⾷に よる肝脂肪が増えています。私も最近は運動不⾜なので、昨年 の10⽉からは⼦供 と毎⽉1回は⼭登りをするようにしています。皆さんも運動不⾜と思われる⽅は是 ⾮散歩を お勧め致します。毎⽇1時間は歩いてほしいですね （572⽂字） 25 手法は隠し てある
- 25.
- 26. 4.4 文章の言い換えと類似度の検討 • ⽂章⾃動⽣成は⼀⽂が⾃然な⽂章で⽂と⽂との間のつながりも⾃然 であること，これに加えて，盗作とならないことを考えた場合，元 の⽂章と新たに⽣成された⽂章との⾮類似度が⾼いことが求められ る． •そこでn-gram（n = 1, 2, 3, 4, 5）で類似度を求め，もう⼀⽅で係り 受け解析を⾏い複雑すぎる⽂になっていないかを考察してみた． • Googleは5-gramを⽤いているとの⾒解もあり，5-gramまでとした (⽂献[10]より)． 27
- 27. 4.4.1 本節で用いた例文 • 本節で⽤いた例⽂とそれを⾔い換えた⽂章、さらにもう⼀度⾔い換 えた⽂章を次に⽰す． •また⾔い換えは主に３種類⾏った． １）名詞，形容詞，動詞，格助詞 ２）能動態⇄受動態， ３）2つ以上の単語を1つの単語にまとめること 28
- 28. 4.4.1 本節で用いた例文 • a（元の⽂章・⾔い換え前）456⽂字 • b（⼀回⽬の⾔い換え後 448⽂字） • c（２回⽬の⾔い換え後 405⽂字） 4.4.2 n-gram(n = 1-5)での定量化と⾔い換え 回数について 以下のように定義した． a: 元の⽂章, b: aを⾔い換えた⽂章, c: bを⾔い換えた⽂章 aからbへの⾔い換え総数： ５６回 bからcへの⾔い換え総数： ３８回 29 aとcの類似度の⽐較 2-gram: 1.151 3-gram: 0.582 4-gram: 0.506 5-gram: 0.388 ・bとcの類似度の⽐較 2-gram: 1.386 3-gram: 0.798 4-gram: 0.317 5-gram: 0.207
- 29.
- 30.
- 31.
- 32. 4.4.2 n-gram(n =1-5)での定量化と言い換え回数について 以下のように定義した． a: 元の⽂章, b: aを⾔い換えた⽂章, c: bを⾔い換えた⽂章 ・aからbへの⾔い換え総数： ５６回 ・bからcへの⾔い換え総数: ３８回 33 aとcの類似度の⽐較 2-gram: 1.151 3-gram: 0.582 4-gram: 0.506 5-gram: 0.388 ・bとcの類似度の⽐較 2-gram: 1.386 3-gram: 0.798 4-gram: 0.3171 5-gram: 0.2075
- 33. 4.4.3 考察結果 ・3-gram, 4-gram,5-gramと⾔い換え回数と類似性との関係は負の関係 にあり， ・nが5に近づくほど、⾔い換え回数が⼤きく増⼤する． 34
- 34. • ⽂と⽂のつながりについては，⾃動要約との関連や⽂と⽂とのつなが りをentity-grid model[11]を⽤いて局所的なつながりの良さを表現す るなどの談話構造解析[9][10]がある． •しかし，⼿動で⾏う判断を⾃動化することが可能か試⾏錯誤中である． • Sentence orderingなどからヒントを得たいと考えている． • またディープラーニングを⽤いた⽅策としては，敵対的⽣成ネット ワーク(Generative Adversarial Network: GAN)による精度向上も精度 向上が期待され，実験中である． • 従って，今のところは完全⾃動化ではなく，⼈⼿を含めざる負えなく， 主に制御⽂による⽂章⾃動⽣成が無難と思われる． 35 5.まとめ
- 35. 5. 今後の予定 • ⽂と⽂のつながりについては，次の⼿法で解決の⽷⼝を⾒出 すべく，取り組み中である． •次回，次の項⽬を中⼼に報告させて頂きたいと考えておりま す. • [理論⾯: 論⽂サーベイ]Sentence Ordering, Coherence • [⼿法⾯: ⽂脈解析] Entity-grid model※1 • [⼿法⾯: 深層学習] GAN（⽣成系モデル） ※1 現在、⾃動要約との関連や⽂と⽂とのつながりをentity-gridを⽤いて局所的なつ ながりの良さを表現するなどの談話構造解析があるが発展段階である． 36
- 36.
- 37.