マルコフ連鎖

1. マルコフ連鎖による
文章生成

2. 自己紹介
 名前:渡辺春希
 Twitter:@haruaya0423
 出身:静岡
 職業:広島市立大学4年
 趣味:ポケモン、シャニマス、ダンガンロンパ
 最近:院試が近づいてきた

3. マルコフ連鎖とは？
 時系列データのあるデータ(X+1)がその直前のデータ(X)の
状態のみによって決まるモデルのこと。
例 天気
晴れ
曇り 雨
0.1
0.2
0.3
0.6
0.4
0.2
0.4
0.3
0.5

4. どうやって文章生成に応用？
・次の文章で示す。
「私は魚が好きだ。君は魚を食べる。私はパンが好きだ。」
・状態遷移図（マルコフ連鎖モデル）で表すと
私
君
は
魚
パン
を
が
食べる
好き だ
0.67
0.33
0.5
0.5

5. つまり？
 前のモデルを使えば、「私は魚を食べる」
という文章が生成可能。
 たくさんの文章を使えば、様々な文章を生
成できるようになる。

6. どうやって実現？
 Pythonのdictionaryを使用。前の例なら
Key: 私 Key:魚
Value:[‘は’, ‘は’] Value:[‘が’, ‘を’]
Key: は Key:が
Value:[‘魚’, ‘魚’, ‘パン’] Value:[‘好き’, ‘好き’]
Key(1つ前の状態)からvalue(現在の状態)を取り出し、
valueを新たなkeyとすれば出来そう。

7. 文章を追加する
 前のモデルに「ボールを打つ」を追加
ボール 打つ
このモデルでは「私は魚を打つ」という
変な文が生成される。どうすればいいか？
0.5
0.5

8. もっと前の状態
 改善するために2つ前の状態を見る。
 この場合、2階のマルコフ連鎖モデルという。
Keyやvalueはこんな感じになる。
Key:(‘ボール’, ‘を’)
Value:[‘打つ’, ‘食べる’]

9. やり方
1 適当に単語aと単語bを選ぶ
2 keyが(a,b)のvalueの中から単語cを選
ぶ。
3 keyが(b,c)のvalueの中から単語dを選
ぶ。
4 繰り返す

10. 2階のマルコフ連鎖モデルによる文章
 胤たねを宿し、既に一箇月前の硝子ガラス玉が飛
び出して室中の空洞うつろの中にはモウ頭が痛み
出して、天を蔽おおいながら渦巻きのぼっている
からだ中に、何が胎児の夢を支配するものは、寝
棺の蓋と、そこいら中が空虚からになった地上を、
見ず知らずの赤味がかった紫色に変じ、或は又、
生きた人魂ひとだまだね。

11. 改善点
 ところどころで明らかに変な文が存在。
 ２つ前の状態しか見ていないため。
 2階ではなく、3階、４階と更に前の状態を
見てみる。
 5階でやってみる

12. 5階のマルコフ連鎖モデルによる文章
 吾家に乱心の血脈尽きず。 只今に及び候ては、妾
唯一人、悲しくも生きて残り居る有様にてさむら
ふ。 その最初はじめを如何にと申すに、吾家に祖
先より伝はれる一軸の絵巻物のはべり。 中に美婦
人の裸像を描き止とどめたり。 承うけたまわり及
びたる処によれば、呉家の祖先なにがしと申せし
人、最愛の夫人に死別せしを悲しみ、その屍しか
ばねの姿を丹青たんせいに写し止とどめ、電光朝
露の世の形見にせむと、

13. 意味が通る文になったけど…
2階の時と比べ制約が増えてしまった。
そのため、元の文章とあまり変わらな
い文章

14. まとめ
・1階,2階のマルコフ連鎖モデル
文の自由度は高いが、文章としては破綻
・5回以上のマルコフ連鎖モデル
文章としては成立するが、前の状態にかなり依存
するため文の自由度は低い。