1. CS中間報告
システム創成学専攻修士1年
伊藤友貴

2. CSの目標
• 目標
– Chainer (python のフレームワーク)を用いたディープ
ラーニングの実装技術の習得
– 個人的には論文の追試をサクッとできるようになりた
い
• 教科書
– 深層学習（岡谷貴之、講談社）
• 最近進めたこと
– Reccurent Neural Network (教科書第 7章)を用いた翻
訳機の実装

3. RNN
Chainer での実装
model = FunctionSet(
w_xh = EmbedID(VOCAB_SIZE, HIDDEN_SIZE),
# 入力層(one-hot) -> 隠れ層
w_hh = Linear(HIDDEN_SIZE, HIDDEN_SIZE),
# 隠れ層 -> 隠れ層
w_hy = Linear(HIDDEN_SIZE, VOCAB_SIZE), #
隠れ層 -> 出力層
)
隠れ層のフィードバックが追加
されたモデル
http://qiita.com/odashi_t/items/a1be7c4964fbea6a116e
系列データの予測, （前の単語から次の
単語を予測）, などに利用可能 上の3つの層を横に並べるイメージ

4. RNN(系列データ)
• RNNを時間方向に展開
• 前の時間の中間層の情報を保持しながら進む（系列の最後まで
行ったら逆伝播）
• 重みの消失, 爆発（1系列あたりの掛け算が多い）
（http://www.slideshare.net/beam2d/pfi-seminar-20141030rnn より引用)

5. Encoder-Decoder 翻訳モデル
(Learning Phrase Representations using RNN Encoder–Decoder
for Statistical Machine Translation, Cho, 2014)
• ニューラルネットを使った機械翻訳の
手法
• 入力言語側(encoder)と出力言語側
(decoder)の2個のRNNを用意
• 中間ノードで繋ぐ

6. Encoder-Decoder 翻訳モデル
• 中間層でLSTMを利用
（http://qiita.com/odashi_t/items/a1be7c4964fbea6a116e）

7. LSTM
(RECURRENT NEURAL NETWORK REGULARIZATION,
Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals、,２０１５ より引用)
• 入力ゲート, 出力ゲート, 忘却ゲート, 記憶を維持する
セルを設置
• 長期にわたる記憶を実現

8. Encoder-Decoder 翻訳モデルの実装
• モデル
model = FunctionSet(
w_xi = EmbedID(SRC_VOCAB_SIZE, SRC_EMBED_SIZE), # 入力層(one-hot) ->
入力埋め込み層
w_ip = Linear(SRC_EMBED_SIZE, 4 * HIDDEN_SIZE), # 入力埋め込み層 -> 入
力隠れ層
w_pp = Linear(HIDDEN_SIZE, 4 * HIDDEN_SIZE), # 入力隠れ層 -> 入力隠れ
層
w_pq = Linear(HIDDEN_SIZE, 4 * HIDDEN_SIZE), # 入力隠れ層 -> 出力隠れ
層
w_yq = EmbedID(TRG_VOCAB_SIZE, 4 * HIDDEN_SIZE), # 出力層(one-hot) ->
出力隠れ層
w_qq = Linear(HIDDEN_SIZE, 4 * HIDDEN_SIZE), # 出力隠れ層 -> 出力隠れ
層
w_qj = Linear(HIDDEN_SIZE, TRG_EMBED_SIZE), # 出力隠れ層 -> 出力埋め
込み層
w_jy = Linear(TRG_EMBED_SIZE, TRG_VOCAB_SIZE), # 出力隠れ層 -> 出力
隠れ層

9. 実験
• https://drive.google.com/open?id=0B3O7bgd3mym6VG9OVH
RmRlBLbkk
の日英翻訳のサンプルを利用
• 文の例:
日本語： あなたの部屋を掃除しましたか。
英語: did you clean your room ?
• 5000文使用
• 学習の様子
– （コンソール上で）
• 感想
– だんだん頭よくなってる…

10. 今後の方針
• 現在の状況
– Chainer の扱いに多少慣れた気はする
• 今後の方針
– Recursive NeuralNet も触っておきたい
• かかり受け解析が必要( Cabocha )
– 2月の発表まで何を作るか決める
• 文書の自動生成？
• 判別器の作成？
– いい案募集中（自然言語処理で）！