コアスキルの最終報告スライド（RNNの勉強）

1. CS最終報告
担当教員 和泉潔 教授
システム創成学専攻修士1年 和泉研究室
伊藤友貴

2. CSの目標
• 目標
– Chainer (python のフレームワーク)を用いたディープ
ラーニングの実装技術の習得
– 個人的には論文の追試をサクッとできるようになりた
い
• 教科書
– 深層学習（岡谷貴之、講談社）
• 今回紹介する内容
– Reccurent Neural Network (教科書第 7章)を用いた翻
訳機の実装

3. まず成果を紹介します

4. 成果: もう会いたくない by 西野カナ
もう会いたくない
“ 全部 行こ ?
Show ' ON OH ' t MIND
Are me 今日は
Anytime I wan na ke ing
“ Yeah
会え ない 時間 も も 愛しすぎ
て
目 目 で 全て で も
私 から 会いたくて を も
君 を 君 で か な の
“ だ ね
何 は 良い で は
忘れ て you て くれ た
君 が 大好きだよ だっ て
まるで 夏 を 太陽 の は
今 まで を 私 で 信じ て いく よ
知っ て くれ た の くれ て くれ て
くれ た の か
どんな 不安 の 全部 日
You て い て
君 が 二人 で 負け れ て
ねぇ 久しぶり て い て
ボロ ボロ を 鏡 の も
私 を 優しい を 信じ て も
君 を 受け止め て も
答え すぐ に 本当 に は
これから で 優しい 未来 の 花
火 よ
あなた の 一緒 で はず な
Hey kn Ah 君 !!
この まま の この
同じ すぐ が 好き で
やっと 一人 一人 が 伝えよ て
朝 すぎる と て 差 を
心 から 心
今 涙 を 感じ て
今 から 今日 の 違っ てる の
二人 あ 笑い
あっと is at ld sa you you you
babe
Everytime Me よ こと を
ベストセラー て くれ て くれ た
から
この 知らない 飛び出 し ない
あなた だっ て どう どう
見つめ て しまう 無意識 に
恋する 気持ち ( 恋する 気持
ち )
独りよがり か な ( Ah Ah )
絶対 あり え ない けど 二人 で
どこ か へ
出かけよ う なんて 誘わ れ な
い か な
I ' m so love you in me you . I
can ' t say .

5. RNN（Reccurent Neural Network）
Chainer での実装
model = FunctionSet(
w_xh = EmbedID(VOCAB_SIZE, HIDDEN_SIZE),
# 入力層(one-hot) -> 隠れ層
w_hh = Linear(HIDDEN_SIZE, HIDDEN_SIZE),
# 隠れ層 -> 隠れ層
w_hy = Linear(HIDDEN_SIZE, VOCAB_SIZE), #
隠れ層 -> 出力層
)
隠れ層のフィードバックが追加
されたモデル
http://qiita.com/odashi_t/items/a1be7c4964fbea6a116e
系列データの予測, （前の単語から次の
単語を予測）, などに利用可能 上の3つの層を横に並べるイメージ

6. Encoder-Decoder 翻訳モデル
• 中間層でLSTMを利用(長期記憶実現のため)
（http://qiita.com/odashi_t/items/a1be7c4964fbea6a116e）
(Learning Phrase Representations using RNN Encoder–Decoder
for Statistical Machine Translation, Cho, 2014)

7. SequenceToSequence
• Encoder 部分でRNNを多層化
（http://qiita.com/odashi_t/items/a1be7c4964fbea6a116e）
(Sequence to Sequence Learning with Neural Networks,
Ilya Sutskever Oriol Vinyals Quoc V. Le, 2014)
4層のRNN
に変更

8. Encoder-decoder attention モデル
(Bahdanau et al.,2014, Neural Machine Translation by Jointly Learning to Align and
Translate)
• 各隠れ層の情報を保存
• 隠れ層を荷重 at で荷重平均した
文脈ベクトルを利用して出力

9. Encoder-Decoder 翻訳モデル: 実装
• GitHub(https://github.com/ItoTomoki/CsChainer)
にコード公開
• 英日翻訳のサンプルを利用
– https://drive.google.com/open?id=0B3O7bgd3mym6VG9O
VHRmRlBLbkk
• 文の例:
• 20000文を訓練データとして読み込み
英語: did you clean your room ?
日本語： あなたの部屋を掃除しましたか。

10. テストサンプル出力例
• 問題
– where do you come from ?.
• 解答例
– どこ の ご 出身 で す か 。
• 予測
– あなた は 何処 から 来 ま せ ん か 。
(encoder-decoder)
– あなた は いつ 日本 に 行 こ う と 提案 し て い ま す か
(encoder-decoder-attention)
– あなた は 何 時 に 離陸 する 予定 で す か 。
(seqtoseq)
かなり難しかった・
・・

11. 解決したい問題
翻訳はダメだった・・・
かわりに
女心がわかるようになりたい！

12. 会話文の生成
(A Neural Conversational Model , Oriol Vinyals , Quoc V. Le , 2015)
• 翻訳モデル(seqtoseq)で会話文の生成ができ
るらしい…
Human: my name is david . what is my name ?
Machine: david .
Human: my name is john . what is my name ?
Machine: john .
Human: are you a leader or a follower ?
Machine: i ’m a leader .
Human: are you a follower or a leader ?
Machine: i ’m a leader .

13. 解決したい問題
女心がわかるようになりたい！
女性シンガーの歌詞を自動生成することで
女心を翻訳して解決

14. イメージ図
• 相手の気持ちを翻訳
会いたい
女心を翻訳
(seq2seq)
会いたくて会いたくて
震える
女心を理解

15. 実験手法
• 歌詞について, 前のフレーズをもとに次のフレーズを予
測する学習器を作成 (seqtoseq)
• 例：
– 入力1: 会いたくて 会いたくて
– 出力1: 君想うほど 遠く感じて
– 入力2: 君想うほど遠く感じて
– 出力2: もう一度聞かせて嘘でも
– 入力3: もう一度聞かせて嘘でも
– 出力3: あの日のように好きだよ
(会いたくて 会いたくて by 西野カナ より)
といった感じで歌詞を学習
• 適当な単語から生成される歌詞をもとに女心を理解
• 西野カナとaiko の歌詞を利用(http://www.uta-net.com)

16. 出力（西野カナ: もう会いたくない）
もう会いたくない
“ 全部 行こ ?
Show ' ON OH ' t MIND
Are me 今日は
Anytime I wan na ke ing
“ Yeah
会え ない 時間 も も 愛しすぎ
て
目 目 で 全て で も
私 から 会いたくて を も
君 を 君 で か な の
“ だ ね
何 は 良い で は
忘れ て you て くれ た
君 が 大好きだよ だっ て
まるで 夏 を 太陽 の は
今 まで を 私 で 信じ て いく よ
知っ て くれ た の くれ て くれ て
くれ た の か
どんな 不安 の 全部 日
You て い て
君 が 二人 で 負け れ て
ねぇ 久しぶり て い て
ボロ ボロ を 鏡 の も
私 を 優しい を 信じ て も
君 を 受け止め て も
答え すぐ に 本当 に は
これから で 優しい 未来 の 花
火 よ
あなた の 一緒 で はず な
Hey kn Ah 君 !!
この まま の この
同じ すぐ が 好き で
やっと 一人 一人 が 伝えよ て
朝 すぎる と て 差 を
心 から 心
今 涙 を 感じ て
今 から 今日 の 違っ てる の
二人 あ 笑い
あっと is at ld sa you you you
babe
Everytime Me よ こと を
ベストセラー て くれ て くれ た
から
この 知らない 飛び出 し ない
あなた だっ て どう どう
見つめ て しまう 無意識 に
恋する 気持ち ( 恋する 気持
ち )
独りよがり か な ( Ah Ah )
絶対 あり え ない けど 二人 で
どこ か へ
出かけよ う なんて 誘わ れ な
い か な
I ' m so love you in me you . I
can ' t say .
「もう会いたくない」≒ 「二人で出かけたい」

17. 出力（西野カナ: 大っ嫌い）
大っ嫌い
いつか 今日 も も
君 を 忘れ て
ナビ の 他 に は ない 幸せ と
今 なんて 数え に
見つめ て い られる から
君 の 描く 未来 は
私 君が好きだから は
あ の子 と 今 し てる ね
確かめ て くれ て くれ た
君 の 嘘 が は
私 なんて 君 の か な の
こんなに 近く に いる に に 届
か て
あ の子 に まだ まだ
デート の そばにいて も は
今日 君 は 同じ も 自分 まで
の
まだ 日々 は は 距離 は
きっと どこ よう に 信じ て
ふと ふと が 待っ て い られ て
る
私 まで て 勇気があれば を 諦
め たい
信じ たい 信じ てる
迷い の 声 を 全部 思い出 を
全部
Just I miss alright
今 空 の 感じ て …
手 こと の
キミ も Fashion たい の 忘れな
いで
I kn ' t kn ow with you of babe
I ' m already the one .
You ' m a me , wa sky .
Please my my ' s my sh .
いつも , faith a feel me down
Oh you ' d always be me ?
We girls you
セツ ナイ の し て
優しい 優しい て て て どこ に
全部
重なっ な の もう 泣い て いる
よ
ねぇ 何 は 一緒に 考え て た
の ?
ねぇ の 同じ 場所 場所 で
そっと 君だけ に 笑い 気 に
今 、 は 一人 を する を
忘れ て い て く
君 の 見て ない 事
まるで し you ない
待っ ' s my kn ow .
たまに , 2 , 3 !
Who is the bad boy !
Look at me ! Only me !
「大っ嫌い」≒「Look at me」
ツンデレ（笑）

18. 出力(aiko: 大っ嫌い)
大っ嫌い
あなた ない ない ない 忘れ な
い から
中 を し まえ て なる て あっ て
離れ て も も
遠く れ 笑い に いる て て ある
あなた で 手 て を て な
知っ た た 行っ て た
好き の に た の
嬉しい も いる なく た た て ある
しまっ
君 は に ずっと ここ あなた
この 振り向か 振り向か せる 未
来 少し つない に 匂い で しまう
な ?
I の 体 が が が が が 気付い
は
本当 と ない やっぱり て 同じ
は よ に
そんな た 。 に 。
まだ が に て 埋め を を さ
忘れ に の の て て わ て 世界
に あなた て
底 が 想う て 良かっ た た よ よ
よ のに
早く で だけ で 優しい を
出 が 痛い た も 何
いつも ちゃんと い に 影 言お
て て 嫌い を わ
毎日 目 て に に て て て いる
いる いる が が
熱い だけ て ぬ な が だけ だけ
あなた だけ の 足音 て ます て
耳 て あなた て
あなた に 様 に
あたし が 涙 の の の なく て あ
なた あなた たかっ が た だ
ずっと て も のに られる
に の 日々 違う て
てる 痛い
大っ嫌い ≒ 好き

19. 結論
• Chainer による深層学習の実装技術を身につ
けることができた
• 精度の良い翻訳機の実装は難しい
– 学習回数不足, 学習データ不足, パラメータ
チューニング, 前処理が原因？
• 女心を理解
– 「会いたくない」≒「二人で出かけたい」
– 「大っ嫌い」≒「Look at me」