More Related Content Similar to DeepLearning 中心に見る最近の論文事情
Similar to DeepLearning 中心に見る最近の論文事情 (14) DeepLearning 中心に見る最近の論文事情8. パーセプトロン
u = w1x1 +w2x2 +w3x3 +w4x4 +b
z = f (u)
x1
x2
x3
x4
z
zu入
力
出
力
活性化関数
9. パーセプトロン
zj = f (uj )
uj = wji
i
I
å xi + bj
入
力
出
力
u = Wx + b
z = f(u)
14. RNN と CNN
RNN CNN
・ 時系列データ(言語や音声)に対するNN
・ 隠れ層の値を次の隠れ層計算時に利用
・ 勾配爆発・消失に対応する一つの形
・ より過去の情報を利用するLSTMが人気
・ 画像データに対するNN
・ 入力を二次元のまま扱う
・ 畳み込み層とプーリング層から成る
・ 画像内のずれを処理することができる
RNN(基本) LSTM 畳み込み層 プーリング層
17. Q-Learning理論の登場
Learning from Delayed Rewards
現在用いられているQ-Learningの理論をまとめあげた論文
動的計画法とマルコフ法を組み合わせたTD法により行動価値(Q)に
関する方策ナシ学習を行う
オススメ書籍
強化学習
・ 2000年に出版された本でありながら、現在も強化学習
の分野では用いられているバイブル的著書
・ 英語の原書はネットで無料取得可能
“http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdf”
(Christopher Watkins, 1989)
18. DL (Deep Learning)への注目
ImageNet Classification with Deep Convolutional Neural Networks
LSVRC2012でCNNを用いて圧倒的に優勝
Dropoutを用いるなど、現在多く用いられるDLの技術を確立
正例 負例 層構造
(Alex Krizhevsky, et al., 2012)
本論文以降、DLに関する論文が爆発的に増加
20. 単語の分散表現の獲得
Efficient Estimation of Word representations in vector space
CBOWとSkip-gramの2つのモデル(word2vec)を提唱
Skip-gramは現在最も使われている単語分散表現獲得手法の一つ
CBOW Skip-gram
(Tomas Mikolov , et al., 2013)
ハフマン木と階層的ソフトマックスを用いた高速化などのが行われている
続く論文でネガティブサンプリングなどを導入し、より良い表現の獲得手法を提案
対象語から
周辺語を予測
周辺語から
対象語を予測
21. 文章の分散表現の獲得
Distributed Representations of Sentences and Documents
word2vecを文章に発展させたparagraph2vecを提案
仕組みはほとんどword2vecと同じで、文章ベクトルに当たるものを追加
構造例
(Tomas Mikolov , 2014)
文章を固定長ベクトルで表現する考えは、本論文以降も様々な手法で提案される
実験の結果、従来の手法よりも良い
精度で文章のポジネガ判定や、類似
文脈を持つ文の特定ができるように
なった
23. RNNで機械翻訳
Sequence to Sequence Learning with Neural Networks
Encoder と Decoder の2モデルから成る機械翻訳手法における提案論文の1つ
このモデルは文章生成に関するタスクで多く用いられている
入力文章を逆向き(”ABC” -> “CBA”)にすることで精度改善することを報告
(Ilya Sutskever, et al., 2014)
LSTMを用いたことにより、より長い文章においても正しく翻訳できることを示した
構造例 結果
25. 画像入力の説明文(キャプション)生成
Show and Tell: A Neural Image Caption Generator
CNNで画像の特徴量を生成し、LSTMで画像を説明するキャプションを生成する
開始と終了を表す文字生成を覚えさせることで、出力文章の長さは制限されない
(Oriol Vinyals , et al., 2015)
BLEUスコアでは人が書いた文章と遜色ない評価を出すが、人が評価すると
大きな差が出ている
構造 結果例
27. Attention(=どこを訳すのか)の導入
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
近年の機械翻訳手法では原文を固定長ベクトルにencodeし、decoderで翻訳するが
著者は長文に対して精度が低くなる原因と仮説
encoderに当たるモデルにどの要素をどれくらい使うか(部分的な注目=Attention)を
学習させ、decoderを用いて翻訳を行う
(Dzmitry Bahdanau, et al., 2015)
Attentionは前部分のみでなく、後部分からも影響を受けるとし、双方向LSTMを使用
構造 結果
特に長文生成において、従来の手法を大きく上回る成果を示す
29. キャプション生成におけるAttention
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
Attentionの概念を画像のキャプション生成にも適応させた
機械がどこに着目しながら文章生成を行っているか把握することで、
より精緻な文章生成を行うための知見が得られると期待される
(Kelvin Xu, et al., 2016)
構造 結果例
CNNで生成される低次元での特徴量を用い、各領域に対応する文章を確認する
34. DQN(Deep Q-Learning)の応用
Active Object Localization with Deep Reinforcement Learning
DQNを画像のLocalizationに応用し、少ない行程(11~25程度)での探索を実現
対象の大きさにはロバストな様子を示すが、occlusion や truncation には弱い
(Juan C. Caicedo, et al., 2016)
構造 探索例
R-CNNには劣るものの、他の従来手法よりも良い精度を示した