9. NNの問題点
問題点
認識は高精度(MLP:多層 DNN:深層)
しかしオリジナルのモデルでは
→時系列データの解析に不適当なモデル
例)動画・音声データの認識,文法解析など
人は認識できても,この後どうなるかは理解できない・・・
[A] Le, Quoc V. “Building high-level features using large scale unsupervised learning.” 2013 IEEE international conference on acoustics, speech and signal processing.
IEEE, 2013. [B] Lang, Kevin J., Alex H. Waibel, and Geoffrey E. Hinton. “A time-delay neural network architecture for isolated word recognition.” Neural networks 3.1
(1990): 23-43. [C] Vondrick, Carl, Hamed Pirsiavash, and Antonio Torralba. "Anticipating Visual Representations from Unlabeled Video."
[A]
7/30
※1)一定の幅を持たせた時系列データを入力することで,時系列データの予測を行うことが可能
(TDNN: Time-Delay Neural Network)
例)音声認識 [B]
→DNNで1秒先の行動を43%の精度で予測
予測した結果と実際に未来のフレームを認識した結
果の誤差を最小化するようにネットワークを最適化
※2)将来の入力との誤差を最小化することで,時系列データの予測行うことが可能
例)人の行動予測 (DNN)[C]
魚がサメに
見つかり追
われる
15. RNNでジェスチャー認識 (Murakami et al, 1991)[1]
[1] Murakami, Kouichi, and Hitomi Taguchi. "Gesture recognition using recurrent neural networks." Proceedings of the
SIGCHI conference on Human factors in computing systems. ACM, 1991.
11/30
入力はデータグローブの値:指の角度データや手のX,Y,Zのポジションデータなどを入力する
Gesture recognition using recurrent neural networks. (Murakami et al, 1991)
16. 入力はデータグローブの値:指の角度データや手のX,Y,Zのポジションデータなどを入力する
RNNでジェスチャー認識 (Murakami et al, 1991)[1]
[1] Murakami, Kouichi, and Hitomi Taguchi. "Gesture recognition using recurrent neural networks." Proceedings of the
SIGCHI conference on Human factors in computing systems. ACM, 1991.
11/30
Gesture recognition using recurrent neural networks. (Murakami et al, 1991)
23. Learning to Forget: Continual Prediction with LSTM (2000)[3]
[3] Gers, Felix A., Jürgen Schmidhuber, and Fred Cummins. "Learning to forget: Continual prediction with LSTM." Neural
computation 12.10 (2000): pp. 2451-2471.
・LSTMを実装する際,今でも主流の手法とし
て利用されている
(被引用数304うち111が2015年以降論文.ref.2016.6.24)
・本論文での提案手法:
→忘却機能付きのLSTM
・様々な時系列データの認識に利用
(文章/動画解析・音声認識)
→実装している研究例を最後に紹介
18/30
概要
Learning to Forget: Continual Prediction with LSTM (F. A. Gers et al., 2000)
25. Solution: Extended LSTM with Forget Gates
本論文での提案手法:忘却機能付きのLSTM
(a) Standard LSTM (b) Extended LSTM with Forget Gates
重み1を維持.正しいデータのみ通過 記憶セルを忘却ゲートの値に応じてリセット可能
20/30
1.0
入力ゲート
出力ゲート
入力ゲート
出力ゲート
忘却ゲート
Learning to Forget: Continual Prediction with LSTM (F. A. Gers et al., 2000)