Japan.r ver1.2 20171202_ota
•
2 likes•1,352 views
要旨: 深層学習の持続的な発展により,自然言語処理における知識獲得は大きく進歩している.特に文生成にお いては画像からその文生成を行うなど著しく発展している.本稿ではウェブサイトのテキスト文の自動生成を従来 の自然言語処理の手法を交えながら変分オート・エンコーダー(VAE)にいたるまでの手法による生成文を比較考察 した.第 1 の課題は文と文のつながりの不自然さの解消である.第 2 の課題は生成された文章が剽窃や盗作の回避 のため,独自性とはなにか,またその区分を社会科学的に考察し,一つの試みとして提案するものである．
Recommended
More Related Content
What's hot
What's hot (18)
Similar to Japan.r ver1.2 20171202_ota
Similar to Japan.r ver1.2 20171202_ota (20)
More from 博三 太田
More from 博三 太田 (20)
Japan.r ver1.2 20171202_ota
- 1. 文章自動生成における主な手法と進歩性に関する一考察 -AI生成物が法に抵触しないために- A Study on Main Methods and Uniqueness in Automatic Text Generation Japan.R 2017 @LINE新宿オフィス 2017年12月2日（土） Twitter @usagisan2020 放送大学 教養学部 太田 博三
- 3. 1. はじめに 1.1 自然言語処理の研究区分について 1.2 文章自動生成のタスク設定について 1.3 文章自動生成の注目度について 4
- 4. 1.1. 自然言語処理の研究区分(その1) （入力） （出力） テキスト ----------解析系-------- 情報 情報 ----------生成系-------- テキスト 図1.1 解析系と生成系 ・解析系の研究とは，Amazonのレビューなどのポジ・ネガ判別 ・生成系の研究とは，逆で入力はポジティブなどと判別された情報とは限らない． 出力はテキストである． ・変換系の研究とは，機械翻訳など入力と出力が対価である場合． 5 解析系 生成系 変換系
- 5. 1.1 自然言語処理の研究区分(その2) （入力） （出力） テキスト(過去) --------解析系-------■ 情報(過去?) テキスト(過去) --------生成系----- ■ テキスト(本当に未来?) 図1.2 解析系と生成系(時間軸を追加したもの) 6図5.1 (未来に向けた)情報の価値; 例) 13時時点
- 6. 1.2 文章自動生成のタスク設定(その1) 今回のタスクのゴー ル： 弊社の営業が、クラ イアントに、 「こういうテキスト文 を挿入してほし い！」 という文を自動生成 すること。 ＝業務効率化へ 7
- 8. 1.2. 文章自動生成のタスク設定(その2) 文章自動生成のアプリ開発の主な仕様を下記の2点とした． 1. 剽窃になってはいけないこと，そのまま過去の文章の引用と ならないこと， 2. 独自性があること， 3. 300−500文字の自然な文章であること． ＜懸念点として考えられたこと＞ • 過去の文集合をもとに作られるため，独自性が出せなく、言い 換えがうまく行かないと，本末転倒になりかねない． 9
- 9. 1.3 文章自動生成の注目度 • WEB上のコンテンツは「研究のためなら」引用先を明記すれ ば用いて良いとされている． • 昨今のニューラルネットワークの発展においても，ゴッホ風 の画像やモーツァルト風の音楽まで出ており，著作権に関す る議論はあまり出ていない． cf. 東京五輪のエンブレムは主観で真似たと判断されている 事例がある． →定量化できないものか？ →評価基準の設定の問題 →オリジナルであることの難しさ 10
- 10. 1.3 文章自動生成の注目度 • 文章自動生成のコンテストなど欧米で盛んである． E2E NLG Challenge http://www.macs.hw.ac.uk/InteractionLab/E2E/ も開催されており，世界的に盛んである． cf. 文書自動要約(Text Summarization)は 10年以上前から盛んに 行なわれている． 11
- 13. 2. 本研究で用いた手法 2.1 マルコフ連鎖による文生成 2.2 自動要約による文生成 2.3 リカレントニューラルネットワーク(RNN)/ LSTM/GANによる文生成 14
- 14. 2.1 各手法についての概観(イメージ) 1. マルコフ連鎖による文生成 2. 自動要約による文章自動生成 3. リカレントニューラルネットワーク/ LSTMによる文章自動生成 ※この他にも制御文による フレームワークを用いた文章自動 生成などもある． 15
- 15. 2.2 マルコフ連鎖による文生成 • マルコフ性（Markov property）とは、 次の状態が過去の状態に依存せず 現在の状態のみによって 決まる性質のことである． • 詳しくはこちらの記事をご参照ください！ マルコフモデル ～概要から原理まで～ （前編） http://postd.cc/from-what-is-a-markov-model-to-here-is-how-markov- models-work-1/ 16
- 16. 2.3 自動要約による文章自動生成 • 自動要約の古典的なH. P. Luhnが自動要約の元祖と言われております． ↓ • テキスト中の重要な文を抜き出し，それを出現順に並べることによっ て，そのテキストを読むべきか否かを判定するといったスクリーニン グのための要約が自動生成できることを示したことが業績. • つまり，自動抄録に似ており，「理解し，再構成し，文章生成」とい うのではなく、「理解する箇所が重要部に近似する」と割り切って考 えたもの． • 重要語の決定には，単語頻度を用いるなど，現在の自動要約の流れは， Luhnの影響が少なくない！ 17
- 17. 2.4 リカレントニューラルネットワーク (RNN)/LSTM/GANによる文章自動生成 • Andrej Karpathyのchar-rnnによるtiny shakespeare[7]が有名． • 今までの単語列として，もっともらしい次の単語を予測す ることをLong short term memory(LSTM)が担うもの． • Recurrent Neural Network(RNN)の拡張として，1995年に登 場した時系列データに対するモデルまたは構造の一種であ る． • しかしLSTMでも，Epochが100を超えないとまともな文章 になっていなかったり，GPUが必要になるなど，莫大な学 習データと時間を要する． ⇩ • そこで，GANなど教師なしの生成モデルに着目した． 18
- 20. 3.1データセットと各手法の詳細 • 1) マルコフ連鎖及び Doc2Vec による文章自動生成， • 1. 文章を単語に形態素に分解する， • 2. 単語の前後の結びつきを辞書に登録する， • 3. 辞書を利用してランダムに生成した． • • ※Doc2vec/ Gensim を用いて，文書間の類似度を計算し，類似度の 高い文書と文書とを並べて文生成としようとしたが，つながりが 悪く明らかに不自然になってしまった(図3.1.2を参照のこと)． 21 文書A 文書B 文書C + +
- 21. 4. 実験結果([8]) 4.1 実験で用いた各手法の長所・短所 4.2実験で用いた文章と評価の一部（その1） 4.2.1 マルコフ連鎖による2つの文章の評価 4.2.2 マルコフ連鎖による生成された文章例（2つ） 4.2.2.1 マルコフ連鎖による生成された文章例その1 4.2.2.2 マルコフ連鎖による生成された文章例その2 4.3 実験で用いた文章と主観的なSEOの視点での評価の一部（その2） 4.4 文章の言い換えと類似度の検討 4.4.1 本節で用いた例文 4.4.2 n-gram(n = 1-5)での定量化と言い換え回数について 4.4.3 考察結果 22
- 22. 4.1 実験で用いた各手法の長所・短所 • [実験: 2パターンでの検証結果] 1.（元データ） 4.2.1 マルコフ連鎖による2つの文章の評価 ・元の文章のままではない点が評価できる． ・元の文章が長い文章であれば，文と文のつながりはよくはないが 悪くもない． ・内包表記などで工夫できれば簡易的で良い． 23
- 23. 4.2.2 マルコフ連鎖による生成された文章例（2つ） 24 4.2.2.1 マルコフ連鎖による生成された文章例そ の1 化粧水などで泡立ててくださいね。そのまま化粧水を 防腐剤、安定剤や酸化亜鉛などの影響で、かさつかず しっとりとしました。ドクターズオーガニックの無添 加化粧品の材料とコールドプロセス法によって製造す ることがわかります（新陳代謝が正常に導きます。ま たお手元に届くよう、一刻も早い安全性と、とても良 い下地クリームにした作りになっていますが、抗菌仕 様製品では次のような選び方が推奨されています。毎 日身体を動かすことで、自分達の基礎化粧品の中身を 確かめてくださいね。無添加石鹸で…。油分を十分に 補って、盲信は禁物です。ナイロンタオルやボディケ ア用品の基材としてよく使われています。という具合 に自分の肌トラブルを起こさない、これは現実的に引 き締まった感じがするかもしれませんよね？乾燥が気 になることもあります。刺激感などの添加があります。 （361文字） 4.2.2.2 マルコフ連鎖による生成された文章例その2 例えばクモノスカビの大きさを保ち、かさかさ、ボロ ボロに。一体何が無添加石鹸を泡立て、泡の保持のた め、ニキビ肌、敏感にしましょう。「今日はとても不 自然だと悪化します。また、脂肪を燃焼させ除去する ことフットクリームの全成分しかし、同時に流れは細 胞から二酸化炭素や老廃物を回収してください。シア バター 1,800円（約70g）ご購入はこちらから」フッ トクリームの全成分漢方薬としては、洗浄感の良いハ ンドクリームには皮膚がんの原因は消毒も殺菌して作 られますが、散乱剤②の2種類がありませんが、すで にたくさんの化粧水と、やわらかくて、たっぷりのお 湯でお肌は、天然の成分かつて健康法として推奨され た安全性はまだまだ不確かです。でも、必ずしも石鹸 が必要なわけでも、瞬間湯沸かし器などで泡立ててく ださい。乾燥肌対策のため植物性油脂であっても、き れいな水だけで数百種類以上の化学成分を毎日肌にの せたりすることが大事です。原料への安全性はありま せん。この後、あるいはお風呂で体を温める効果のあ る人々（活字関係）からは常温で固体のためのスキン ケア (455文字)
- 25. 4.2.2 マルコフ連鎖による生成された文章例（2つ） 26 4.2.2.2 マルコフ連鎖による生成された文章例その2 例えばクモノスカビの大きさを保ち、かさかさ、ボロボロに。一体何が無添 加石鹸を泡立て、泡の保持のため、ニキビ肌、敏感にしましょう。「今日は とても不自然だと悪化します。また、脂肪を燃焼させ除去することフットク リームの全成分しかし、同時に流れは細胞から二酸化炭素や老廃物を回収し てください。シアバター 1,800円（約70g）ご購入はこちらから」フットク リームの全成分漢方薬としては、洗浄感の良いハンドクリームには皮膚がん の原因は消毒も殺菌して作られますが、散乱剤②の2種類がありませんが、す でにたくさんの化粧水と、やわらかくて、たっぷりのお湯でお肌は、天然の 成分かつて健康法として推奨された安全性はまだまだ不確かです。でも、必 ずしも石鹸が必要なわけでも、瞬間湯沸かし器などで泡立ててください。乾 燥肌対策のため植物性油脂であっても、きれいな水だけで数百種類以上の化 学成分を毎日肌にのせたりすることが大事です。原料への安全性はありませ ん。この後、あるいはお風呂で体を温める効果のある人々（活字関係）から は常温で固体のためのスキンケア (455文字)
- 26. 4.3 実験で用いた文章と主観的なSEOの視点での 評価の一部（その2） • 以下の文章が自然であるかに留意し，5段階評価を行った． ※評価尺度は次の通りです. （自然な日本語） 5 – 4 – 3 – 2 - 1 （機械的な日本語） また、気がついた問題や箇所は下線のスペースに記入してください。 27
- 27. 4.3 実験で用いた文章と主観的なSEOの視点での 評価の一部（その2） （例文） 興味深い話がありますが、続けることがわかってきたという人が歩行不足です から。お酒を飲んでいたら、昔か ら「寝る子は育つ」と言うのは神様の業と言 えるのです。ですから、いつも幼子のようにしましょう!考えたりします。やは りちょっと添加物を旬なうちに運動をしてもらったらよいでしょうか?また、 健康診断はしっかり 歩くだけでは、さらに湿疹などになります。よくよく聞い てなるほどなーとも言えるのではなく、なぜか色々と 語られているのですが、 健康維持やダイエットにつながります。手軽に薬ではないでしょうか?老化防 止にも沢 山あるのです。ですから、お水や空気も入ります。もしハリが残って いるとか・・・?さて、今日のタイトルは「炭 酸水で薄めて飲んだらよいで しょうか?漢方の王様と言われています。そのくらい身体の健康についてです。 （351 文字） 28
- 29. 4.3 実験で用いた文章と主観的なSEOの視点での評価の一部 （その2） （例文） 私の知り合いの老人 Y さんは現在90才の元気な男性。Y さんの健康法は毎日 2 時間 くらいは散歩を続ける事だ そうです。それも晴の日だけでなく、雨の日も散歩に 行かれると言うのでびっくり。本人いわく「この年で仕事 もないので、私は散歩 する事が仕事と思って毎日歩いているので、雨の日でも行きます。雨だから今日 は仕事が 休みとは普通ならないでしょう・・・」との事でした。流石に脱帽です。 実はこんな事があったそうです。お 医者さんから「もう90才になるのだから、あ まり無理して歩かないほうがよいですよ。」と言われ、Y さんも 「そうかなー」 と思い 1 ヶ月近く散歩を止めていました。そしたら、バス停から家までの道のり 約5分くらいの 緩やかな坂道が、途中に一度休まないと息が切れて歩けなくなっ たそうです。それで「これではまずい!」と思 って、また歩き始めて3週間くらい 歩き続けたら元に戻ったそうです。歩く事は健康の基本です。半身の静脈の 流れ を良くし、身体の基礎筋肉を維持し、心肺機能を維持する事ができるのです。ま た、腰痛の70%はしっか り歩くだけでも改善されています。現代は飽食による肝 脂肪が増えています。私も最近は運動不足なので、昨年 の10月からは子供と毎月 1回は山登りをするようにしています。皆さんも運動不足と思われる方は是非散歩 を お勧め致します。毎日1時間は歩いてほしいですね （572文字） 30
- 31. 4.4 文章の言い換えと類似度の検討 • 文章自動生成は一文が自然な文章で文と文との間のつながりも自然 であること，これに加えて，盗作とならないことを考えた場合，元 の文章と新たに生成された文章との非類似度が高いことが求められ る． • そこでn-gram（n = 1, 2, 3, 4, 5）で類似度を求め，もう一方で係り受 け解析を行い複雑すぎる文になっていないかを考察してみた． • Googleは5-gramを用いているとの見解もあり，5-gramまでとした(文 献[10]より)． 32
- 32. 4.4.1 本節で用いた例文 • 本節で用いた例文とそれを言い換えた文章、さらにもう一度言い換 えた文章を次に示す． • また言い換えは主に３種類行った． １）名詞，形容詞，動詞，格助詞 ２）能動態⇄受動態， ３）2つ以上の単語を1つの単語にまとめること 33
- 33. 4.4.1.1 本節での言い換えの例 1. 言い換え：２個 求人事情➡︎求職実態 知ろう➡︎把握しよう 2. 言い換え：４個 都心➡︎都会 近い➡︎隣接した ベッドタウン➡︎大型住宅地 商業エリア➡お店が並ぶ地域の 3. 言い換え：３個 県庁所在地➡︎中心 最大の➡︎一番の 知られている➡︎伝えられている 34 4.言い換え５件 政治と経済の中心部は、横浜市中区や西区に 集約されています。 ⬇ 政治や経済の中心部が、横浜市中区と西区へ 集約できます。 5.言い換え４件 馬車道や山下公園、横浜中華街なども近くに 存在するため、観光地として知られています。 ⬇ 馬車道と山下公園、横浜中華街などが近くへ 存在することで、観光地として知られていま す。
- 34. 4.4.1 本節で用いた例文 • a （元の文章・言い換え前）456文字 • b（一回目の言い換え後 448文字） • c（２回目の言い換え後 405文字） 4.4.2 n-gram(n = 1-5)での定量化と言い換 え 回数について 以下のように定義した． a: 元の文章, b: aを言い換えた文章, c: bを言い換えた文章 35 aとcの類似度の比較 2-gram: 1.151 3-gram: 0.582 4-gram: 0.506 5-gram: 0.388 ・bとcの類似度の比較 2-gram: 1.386 3-gram: 0.798 4-gram: 0.3171 5-gram: 0.2075
- 35. 4.4.1+ n-gram(n = 1-5)での定量化と言い換え回数について • a （元の文章・言い換え前）456文字 • b（一回目の言い換え後 448文字） • c（２回目の言い換え後 405文字） 4.4.2 n-gram(n = 1-5)での定量化と言い換え 回数について 以下のように定義した． a: 元の文章, b: aを言い換えた文章, c: bを言い換えた文章 aからbへの言い換え総数： ５６回 bからcへの言い換え総数： ３８回 36 aとcの類似度の比較 2-gram: 1.151 3-gram: 0.582 4-gram: 0.506 5-gram: 0.388 ・bとcの類似度の比較 2-gram: 1.386 3-gram: 0.798 4-gram: 0.3171 5-gram: 0.2075
- 39. 4.4.3 考察結果 ・3-gram, 4-gram, 5-gramと言い換え回数と類似性との関係は負の関係 にあり， ・nが5に近づくほど、言い換え回数が大きく増大する． 40
- 40. 5.文章自動生成における独自性（その1） ・検索上位表示(SEO)のテキスト文生成に際し，過去のウェブ上の 文章による引用は罰則を課されてしまうため，言い換えだけでな く，創作性や独自性（進歩性）を担保する必要がある． ・創作性 ＝ 人間の手を加えたもの ・独自性（進歩性） ＝ 未来に向けた情報 ・ここで，次のスライドの図のように捉えることができる． 41
- 41. 5.文章自動生成における独自性（その2） 42 図5.1 (未来に向けた)情報の価値; 例) 13時時点 図5.2 (未来に向けた)情報の価値; 例) 18時時点 図5.3 (未来に向けた)情報の価値; 例) 20時時点