Recommended
More Related Content
Similar to 深層学習を用いた言語モデルによる俳句生成に関する研究
Similar to 深層学習を用いた言語モデルによる俳句生成に関する研究 (11)
More from harmonylab
More from harmonylab (20)
深層学習を用いた言語モデルによる俳句生成に関する研究
- 2. 発表概要 1. 研究背景・目的 2. 本研究で扱う俳句データセット 3. 俳句生成システム 4. 実験 5. まとめ 2
- 3. 研究背景・目的 3
- 4. 研究背景 ◦ 近年, 人工知能による芸術の創作が注目されている 4 人工知能による芸術創造の研究は, 人間の創造性を理解する手がかりとなる 画像の出典 [左] https://www.itmedia.co.jp/news/articles/1810/26/news077.html [右] http://kotoba.nuee.nagoya-u.ac.jp/sc/gw2016/doc/2016.pdf 小説肖像画
- 5. 研究背景 ◦ 特に文章生成分野では ◦ 人狼ゲームのゲームログを基にした小説の生成[1] ◦ メロディに基づく歌詞の生成[2] ◦ RNNによる漢詩の生成[3] 5 [1] 松山 諒平, 佐藤 理史, 松崎 拓也, ”人狼ログからの小説の自動生成”, 言語処理学会(2017). [2] 渡邉 研斗, 松林 優一郎, 深山 覚, 乾 健太郎, 後藤 真孝, 中野 倫靖, “メロディ条件付き歌詞言語モデル”, 言語処理学会(2018). [3] Xingxing Zhang and Mirella Lapata. 2014. Chinese poetry generation with recurrent neural networks. In Proceedings of the 2014 Conference on EMNLP. Association for Computational Linguistics, October. 従来、人の手で創作されていたものの自動生成が試みられている
- 6. 研究背景 ◦ コンピュータによる俳句生成の試み ◦ テンプレートとデータベースに基づくルールベースの生成[4] ◦ 深層学習による各種言語モデルを用いた生成[5] ◦ LSTMを用いた言語モデルによる画像からの俳句生成[6] 6 [4] Tosa, Naoko, Hideto Obara, and Michihiko Minoh. "Hitch haiku: An interactive supporting system for composing haiku poem." International Conference on Entertainment Computing. Springer, Berlin, Heidelberg, 2008. [5] Xianchao Wu, Momo Klyen, Kazushige Ito, Zhan Chen. “Haiku Generation Using Deep Neural Networks”, 言語処理学会(2017). [6] 米田 航紀, 横山 想一郎, 山下 倫央, 川村 秀憲. “LSTMを用いた俳句自動生成器の開発”, 言語処理学会(2018). 言語モデルにおけるトークン単位の比較を行った例は少ない 俳句を評価するモデルに関する研究は少ない
- 7. 本研究の目的 ◦ 俳句の生成から評価までを行うシステムを提案する ◦ 俳句生成のための言語モデルに対して ◦ トークン単位選択の影響を検証 ◦ ５・７・５の区切れ目を明示して学習することの効果を検証 7
- 9. ◦ 「公益社団法人日本伝統俳句協会」の定義によれば ◦ 5・7・5の17文字(音)で作る ◦ 季節の言葉（季題）を入れる ◦ 「や」「かな」「けり」などの切れ字を入れることが多い 俳句とは 9 古池や蛙飛び込む水の音 切れ字 季語 上五 中七 下五 （松尾芭蕉） 有季定型俳句
- 10. データセット ◦ 現代俳句データセット ◦ 収集元 ◦ インターネット上の俳句収集サイト ◦ 句数 ◦ 461,880句 ◦ 157,340句 ◦ 季語データセット ◦ 収集元 ◦ インターネット上の俳句収集サイト ◦ 季語数 ◦ 8,642語 10 有季定形俳句のみを抽出. また, 記号を含む句を削除 南国の旅に夜濯欠かすなく 蒲団干す学生だけの留守家族 いつせいに椋鳥鳴くや川晴れて 石楠花や賀茂源流の岩梯子 春泥の窪みは妻の病むごとし 抱き上げし子の足くびれ苗木市 … あかがり,あかがり あかぎれ,あかぎれ あからぎ,あからぎ … 冬木の芽,ふゆきのめ 冬木宿,ふゆきやど 冬木影,ふゆきかげ 冬木立,ふゆこだち 冬木立ち,ふゆきたち … 現代俳句データセットのサンプル 季語データセットのサンプル
- 11. 季語の扱い ◦ 形態素解析器: MeCab[7] (辞書: mecab-ipadic-NEologd[8]) ◦ 季語による制約 ◦ 季語データセットに含まれる単語はひとまとまりとして形態 素分割を行うように制約をつけた 11 [8] https://github.com/neologd/mecab-ipadic-neologd [7] https://taku910.github.io/mecab/ 風/わたり/泥/も/乾き/て/春/の/草制約なし 制約あり ひとまとまり 季語 ⇒ より正確な形態素分割が期待できる 風/わたり/泥/も/乾き/て/春の草 分割されてしまう
- 12. 俳句生成システム 12
- 13. システムの構成 13 俳句生成器 俳句評価器 学習用 俳句データ 俳句フィルタ 生成俳句 - 俳句生成器: 学習データから俳句の特徴を学び, 新しい俳句を出力する - 俳句フィルタ: 俳句のルールを満たさない俳句をフィルタリングする - 俳句評価器: 俳句の「質」や「良さ」を数値化する 各部分の役割 ⇒ 大量の俳句を生成し, その中から良さそうな俳句を抽出していく
- 14. システムの構成 14 俳句生成器 俳句評価器 学習用 俳句データ 俳句フィルタ 生成俳句 - 俳句生成器: 学習データから俳句の特徴を学び, 新しい俳句を出力する - 俳句フィルタ: 俳句のルールを満たさない俳句をフィルタリングする - 俳句評価器: 俳句の「質」や「良さ」を数値化する 各部分の役割
- 16. 俳句生成器 ◦ 学習過程 1. 俳句をトークンごとにIDの列に変換する 16 BOS古池や蛙飛び込む水の音EOS BOS古き日にとり巻かれゐて墓となるEOS BOS同人となりたることも年忘れEOS 0, 24, 156, ... , 999, 999 0, 24, 584, … , 531, 999 0, 86, 301, … , 98, 999 長さを揃えるために 最大トークン数+1まで EOSでパディングする ・ ・ ・ ・ ・ ・ トークン 言語モデルにおける文章の最小単位. 主なものとして以下の3つがある. • 文字 • 単語 • Sentencepiece[9] [9] T. Kudo and J. Richardson, “SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing,” in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 2018, pp. 66–71.
- 17. ◦ 学習過程 2. 先頭から順番にLSTMに入力していく 俳句生成器 17 LSTM 𝑝0 = [0.02, … , 0.03] LSTM LSTM ・ ・ ・ 0 [1,0, …, 0, 0] 1-of-K符号化 正解トークンのID番目の要素が1のベクトルとの誤差を計算 𝑝1 = [0.05, … , 0.01] 𝑝2 = [0.01, … , 0.07] 次に来るトークンの確率列 24 [0,0, …, 1, 0 , …, 0, 0] 156 [0,0, …, 1, 0 , …, 0, 0] 0, 24, 156, ... , 999, 999
- 18. 俳句生成器 18 LSTM 𝑝0 = [0.02, … , 0.03] LSTM LSTM ・ ・ ・ 0 [1,0, …, 0, 0] 1-of-K符号化 𝑝1 = [0.05, … , 0.01] 𝑝2 = [0.01, … , 0.07] 次に来るトークンの確率列 564 [0,0, …, 1, 0 , …, 0, 0] 34 [0,0, …, 1, 0 , …, 0, 0] (BOSのID) 564 確率に比例したランダムサンプリング 34 453 EOSが出力されるまで続ける 名月 に 麓 ◦ 生成過程 ・ ・ ・
- 19. システムの構成 19 俳句生成器 俳句評価器 学習用 俳句データ 俳句フィルタ 生成俳句 - 俳句生成器: 学習データから俳句の特徴を学び, 新しい俳句を出力する - 俳句フィルタ: 俳句のルールを満たさない俳句をフィルタリングする - 俳句評価器: 俳句の「質」や「良さ」を数値化する 各部分の役割
- 20. 俳句フィルタ ◦ 6つのフィルタで構成 1. 17音フィルタ ◦ 音数の合計が17音でない句をフィルタリング 2. 句またがりフィルタ ◦ 5音目と12音目に単語の区切れ目がない句をフィルタリング 3. 未知語フィルタ ◦ 形態素解析の結果, 未知語を含む句をフィルタリング 20
- 21. 俳句フィルタ 4. 季語フィルタ ◦ 季語数が1以外の句をフィルタリング 5. 切れ字フィルタ ◦ 切れ字を2つ以上含む句をフィルタリング 21
- 22. 俳句フィルタ 6. 類似句フィルタ ◦ 対象の生成句と全学習データとの編集距離を計算する ◦ 編集距離の最小値（最小編集距離）が5以下の句を類似句 と定義してフィルタリング 22 編集距離 1文字の挿入・削除・置換によって一方の文字列をもう一方の文字列 に変換するのに必要な手順の最小回数
- 23. システムの構成 23 俳句生成器 俳句評価器 学習用 俳句データ 俳句フィルタ 生成俳句 - 俳句生成器: 学習データから俳句の特徴を学び, 新しい俳句を出力する - 俳句フィルタ: 俳句のルールを満たさない俳句をフィルタリングする - 俳句評価器: 俳句の「質」や「良さ」を数値化する 各部分の役割
- 25. 俳句評価器 ◦ 俳句を品詞の列とみなして入力することで, 品詞の並び の自然さを実数で出力する 25 俳句評価器 (LSTM) 古池や蛙飛び込む水の音 0.987 名詞, 助詞, 季語, 動詞, 名詞, 助詞, 名詞 古池/や/蛙/飛び込む/水/の/音 形態素分割 品詞を取得
- 26. 俳句評価器 26 南国の旅に夜濯欠かすなく 蒲団干す学生だけの留守家族 いつせいに椋鳥鳴くや川晴れて 石楠花や賀茂源流の岩梯子 春泥の窪みは妻の病むごとし … 名詞, 助詞, 名詞, 助詞, 季語, 動詞, 助動詞 季語, 動詞, 名詞, 助詞, 助詞, 名詞, 名詞 動詞, 助動詞, 名詞, 助詞, 季語, 動詞, 切れ字, 名詞, 動詞, 助詞 季語, 切れ字, 名詞, 名詞, 助詞, 名詞, 名詞 季語, 助詞, 動詞, 助詞, 名詞, 助詞, 動詞, 助動詞 … 現代俳句データセット 正例のリスト としてLSTMを用いて2分類 - 正例 : 現代俳句データセットに含まれる品詞列 - 負例 : 現代俳句データセットに含まれない品詞列 名詞, 助詞, 名詞, 助詞, 季語, 動詞, 助動詞 名詞, 季語, 名詞, 助詞, 助詞, 動詞, 助動詞 ランダムに選んだ2つの品詞を交換 負例 - 異なる品詞同士で交換を実施 - 交換後の品詞列が正例のリストに含まれる品詞列になる場合は再交換 - 10試行以内で条件を満たす交換が実現しない場合は次の正例に移る
- 27. 俳句評価器 ◦ 学習データとテストデータを7:3の割合で分割 ◦ 学習手順 1. BOS, EOS, 各品詞についてIDを定義する 2. 俳句をID列に変換する(EOSでパディング) 3. バッチに分ける 4. バッチごとに先頭のIDから順に1-of-k符号化して入力 ◦ エポックごとにテストデータに対する誤差を計算し, 最も 誤差の少ないモデルだけ保存 27
- 29. 実験 29
- 30. ① トークン単位の違いによる俳句生成器の比較 ◦ 実験目的 ◦ 俳句生成器におけるトークン単位の選択が, 出力俳句の質 にどのような影響を与えるか検証する ◦ 実験方法 ◦ 俳句生成器を3種類のトークン単位（文字, 単語, Sentencepiece*） で学習させる ◦ 各トークン単位で4回ずつ学習を行い, それぞれのモデルか ら１万句の俳句を出力する ◦ 出力俳句について以下の項目を比較 ◦ 各種俳句フィルタの通過率 ◦ 最小編集距離の分布 ◦ パラメータ設定については表1の通り 30 * Sentencepieceはすべての文字を被覆し、語彙数8000として学習させる 表1 俳句生成器のパラメータ設定(再掲)
- 31. ① トークン単位の違いによる俳句生成器の比較 ◦ 実験結果 31 表4 各種フィルタの通過率 トークン単位に「単語」を用いた場合が最も通過率が高い ⇒ 17音かつ5・7・5で季語を含むという俳句のルールが学習できている フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 文字 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 単語 86.1% 91.4% 92.5% 92.1% 99.2% 77.9% 54.0% Sentencepiece 68.7% 80.2% 87.7% 87.6% 99.4% 98.3% 51.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - -
- 32. ① トークン単位の違いによる俳句生成器の比較 ◦ 実験結果 32 表4 各種フィルタの通過率 どのトークン単位でもあまり差がない フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 文字 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 単語 86.1% 91.4% 92.5% 92.1% 99.2% 77.9% 54.0% Sentencepiece 68.7% 80.2% 87.7% 87.6% 99.4% 98.3% 51.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - -
- 33. ① トークン単位の違いによる俳句生成器の比較 ◦ 実験結果 33 表4 各種フィルタの通過率 トークン単位に「単語」を用いたとき通過率が大幅に低くなる ⇒ 学習データと同じ文字列を出力してしまっている フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 文字 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 単語 86.1% 91.4% 92.5% 92.1% 99.2% 77.9% 54.0% Sentencepiece 68.7% 80.2% 87.7% 87.6% 99.4% 98.3% 51.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - -
- 35. ① トークン単位の違いによる俳句生成器の比較 ◦ 実験結果 35 表4 各種フィルタの通過率 トークン単位に「単語」を用いたときが最も通過率が良い フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 文字 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 単語 86.1% 91.4% 92.5% 92.1% 99.2% 77.9% 54.0% Sentencepiece 68.7% 80.2% 87.7% 87.6% 99.4% 98.3% 51.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - -
- 36. ②俳句生成器における韻律の区切れの明示による効果の検証 ◦ 実験目的 ◦ 俳句生成器の学習時, 韻律の区切れ目(5・7・5の区切れ目) を明示することで5・7・5の韻律を持った俳句の生成割合が 高まることを示す ◦ また, 他の指標にも変化があるかを検証する 36 古池や/蛙飛び込む/水の音 五音 七音 五音 区切れ目 区切れ目
- 37. ◦ 実験方法 ◦ 俳句生成器への学習データとして以下の3種類を比較 ◦ 各前処理を施した学習データで4回ずつ学習を行い, それぞれのモデ ルから１万句の俳句を出力する ◦ 出力俳句について以下の項目を比較 ◦ 各種俳句フィルタの通過率 ◦ 最小編集距離の分布 ◦ パラメータ設定については表1の通り ◦ トークン単位は「文字」を用いた 37 表5 学習データに対する前処理の種類 ②俳句生成器における韻律の区切れの明示による効果の検証 前処理の種類 学習データ例 前処理なし 古池や蛙飛び込む水の音 区切れ目を区別しない 古池や|蛙飛び込む|水の音 区切れ目を区別する 古池や|蛙飛び込む$水の音 表1 俳句生成器のパラメータ設定(再掲)
- 38. ◦ 実験結果 38 表6 各種フィルタの通過率 前処理を施したほうが通過率が上昇する ⇒ 区切れを明示することで, 俳句の特徴をより捉えられるように フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 前処理なし 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 区切れ目を区別 しない 74.8% 83.9% 87.5% 86.4% 99.4% 99.1% 55.9% 区切れ目を区別 する 74.6% 83.7% 87.6% 85.2% 99.2% 99.1% 55.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - - ②俳句生成器における韻律の区切れの明示による効果の検証
- 39. ◦ 実験結果 39 表6 各種フィルタの通過率 どの前処理でも大きな差はない フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 前処理なし 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 区切れ目を区別 しない 74.8% 83.9% 87.5% 86.4% 99.4% 99.1% 55.9% 区切れ目を区別 する 74.6% 83.7% 87.6% 85.2% 99.2% 99.1% 55.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - - ②俳句生成器における韻律の区切れの明示による効果の検証
- 41. ◦ 実験結果 41 表6 各種フィルタの通過率 区切れ目を区別することによる効果は特にない フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 前処理なし 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 区切れ目を区別 しない 74.8% 83.9% 87.5% 86.4% 99.4% 99.1% 55.9% 区切れ目を区別 する 74.6% 83.7% 87.6% 85.2% 99.2% 99.1% 55.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - - ②俳句生成器における韻律の区切れの明示による効果の検証
- 42. ◦ 実験結果 42 表6 各種フィルタの通過率 「区切れ目を区別しない」前処理を行った場合, 最も通過率が高くなる フィルタ名 17音 句またがり 未知語 季語 切れ字 類似句 全通過 説明 音数が17音 句またがりでない 未知語を含まない 季語数が1 切れ字数が1以下 最小編集距離が6以上 全てのフィルタを通過 前処理なし 70.9% 81.0% 87.1% 83.8% 99.3% 99.2% 50.2% 区切れ目を区別 しない 74.8% 83.9% 87.5% 86.4% 99.4% 99.1% 55.9% 区切れ目を区別 する 74.6% 83.7% 87.6% 85.2% 99.2% 99.1% 55.2% 学習データ 100.0% 100.0% 91.9% 100.0% 99.9% - - ②俳句生成器における韻律の区切れの明示による効果の検証
- 43. ③ 俳句評価器に関する実験 ◦ 実験目的 ◦ 俳句評価器がつける評価に妥当性があるかを検証する ◦ 実験方法 ◦ 「前処理なし」でトークン単位に「文字」を使用したモデル（最 も基本的なモデル）を用いて俳句を4万句生成する ◦ 生成俳句を俳句フィルタに通し, 全フィルタを通過したものを 俳句評価器に入力し, 評価値を観察する 43
- 44. ③ 俳句評価器に関する実験 ◦ 実験結果 44 順位と評価値の関係 平均: 0.730932 中央値: 0.854156
- 45. ③ 俳句評価器に関する実験 ◦ 実験結果 ◦ 評価値の高い方から順に評価値の異なる5句を抽出 45 順位 俳句 品詞列 評価値 1 夢の目に足となりたる狐かな 名詞, 助詞, 名詞, 助詞, 名詞, 助詞, 動詞, 助動詞, 季語, 切れ字 0.9997941 2 山の日の吹き抜けて見し雲雀かな 名詞, 助詞, 名詞, 助詞, 動詞, 助詞, 動詞, 助動詞, 季語, 切れ字 0.9997494 3 筆硯の帯も廻りし夜寒かな 名詞, 助詞, 名詞, 助詞, 動詞, 助動詞, 季語, 切れ字 0.9997229 18 八朔やひとりの耳を見ぬ朝ら 季語, 切れ字, 名詞, 助詞, 名詞, 助詞, 動詞, 助動詞, 名詞, 名詞 0.9996879 19 木犀や父の御法へ越えしあと 季語, 切れ字, 名詞, 助詞, 名詞, 助詞, 動詞, 助動詞, 名詞 0.9996027 ※3〜17位は全て同じ評価値(=全て同じ品詞列) 評価値が高いからといって必ずしもいい俳句ではないが 日本語として自然な句が多い
- 46. ③ 俳句評価器に関する実験 ◦ 実験結果 ◦ 評価値の低い方から順に5句を抽出 46 語の並びに不自然な部分が多く, 意味の取れない句が多い ⇒ 日本語として不自然な表現を検出できている 順位 俳句 品詞列 評価値 20083 夜寒のや大男いま全指よ 季語, 助詞, 切れ字, 名詞, 名詞, 接頭詞, 名詞, 助詞 0.0003663301 20084 草の絮からへと思ふ恋ひとす 季語, 助詞, 助詞, 助詞, 動詞, 名詞, 名詞, 名詞 0.0003307462 20085 遠いよが夏潮ゆふる遠野かな 形容詞, 助詞, 助詞, 名詞, 季語, 名詞, 動詞, 名詞, 助詞, 助詞 0.0002629757 20086 青鷺を見知らぬまでに塵輪ゆる 季語, 助詞, 連体詞, 動詞, 名詞, 助詞, 名詞, 名詞, 動詞 0.0002290308 20087 笹子鳴く舞台明りやをもきたす 季語, 名詞, 名詞, 切れ字, 助詞, 助詞, 動詞 0.0001441240
- 47. まとめ ◦ 俳句の生成から評価を行うシステムを提案した. ◦ 言語モデルにおけるトークン単位の選択が, 俳句生成に与え る影響を検証し, トークン単位に「単語」を用いたモデルが定 量的な観点から最も質の高い俳句を生成できることを示した. ◦ 韻律の区切れを明示して俳句生成器を学習させることで, より 俳句のルールを捉えた俳句を生成できることを示した. ◦ 俳句を評価する際, 品詞の並びに注目することで, 日本語とし て不自然な表現を検出できることを示した. 47