SlideShare a Scribd company logo
1 of 47
Download to read offline
全脳アーキテクチャ勉強会(第2回)

Deep  Learning  技術の今
得居  誠也
2014年年1⽉月30⽇日
⾃自⼰己紹介
l 

得居  誠也  (Seiya  Tokui)
株式会社Preferred  Infrastructure,  Jubatus  Pj.  リサーチャー

l 

専⾨門は機械学習(修⼠士、現職)

l 

– 

系列列ラベリング→ハッシュ・近傍探索索→深層学習

l 

今の興味は深層学習、表現学習、分散学習、映像解析

l 

@beam2d  (Twitter,  Github,  etc.)

2 /  47
2011年年:  ⾳音声認識識における成功

l 

l 

3 /  47

DNN-‐‑‒HMM  を使った⼿手法が、⾳音声認識識の  word  error  rate  で従来
法  (GMM)  より  10%  前後も改善
携帯端末における⾳音声操作に  Deep  Learning  が利利⽤用されるように

F. Seide, G. Li and D. Yu.
Conversational Speech Transcription Using Context-Dependent Deep Neural
Network, in INTERSPEECH, pp. 437-440 (2011)
2012年年:  画像認識識における成功
l 

⼀一般物体認識識のコンテスト  
ILSVRC2012  において
Deep  Convolutional  
Neural  Network  を⽤用い
たチーム  Supervision  が
他者に  10%  のエラー差
をつけて勝利利

J. Deng, A. Berg, S. Satheesh, H. Su, A. Khosla and F.-F. Li
. Large Scale Visual Recognition Challenge 2012. ILSVRC2012 Workshop.	

4 /  47
2013年年:  ⼤大企業による投資、⼈人材争奪戦
l 

3⽉月:Google  が  DNNresearch  を買収
– 

l 

4⽉月:Baidu  が  Institute  of  Deep  Learning  を設⽴立立
– 

l 

Deep  learning  group  を作るための布⽯石と報じられる

12⽉月:Facebook  AI  Lab  設⽴立立
– 

l 

最初の研究者として  Kai  Yu  を迎えた

8,  10⽉月:Yahoo  が画像認識識のスタートアップ  IQ  Engines  と  
LookFlow  を買収
– 

l 

Geoffrey  Hinton,  Alex  Krizhevsky  and  Ilya  Sutskever

Yann  LeCun  所⻑⾧長、他にも  Marcʼ’Aurelio  Ranzato  など

2014年年1⽉月:Google  が  DeepMind  を買収
– 

G.  Hinton  の研究室の卒業⽣生、Deep  Learning  による強化学習技術

5 /  47
今⽇日のお話
l 

Deep  Learning(深層学習)の技術を基礎・応⽤用と広めに紹介
– 

l 

Zoo  of  deep  learning  みたいなノリで……

全脳アーキテクチャを考える上で参考になるようなモデル・学習
⾯面での現状をお伝えします
– 

l 

6 /  47

モデルの紹介が多めです

盛りだくさんなのでいろいろ流流していきます
– 

詳細は後⽇日スライドおよび参考⽂文献をご覧ください
⽬目次
l 
l 
l 
l 
l 

Deep  Learning  の成功
Deep  Learning  の基礎
Deep  Learning  と認識識
Deep  Learning  と構造
Deep  Learning  の今後

7 /  47
基礎となるモデル・学習⼿手法

Deep Learning の基礎
8
9 /  47

A. Ranzato.
Deep  Learning  の地図(アレンジ) Cf.) Y. LeCun and M.ICML 2013.	
Deep Learning Tutorial.

Boosting

浅い

AE ニューラルネット

Perceptron

Sparse  
Coding
RBM

決定⽊木
GMM
SVM

RF

DAE

DNN

深い
CNN

SFFNN
DBN

GSN
DBM

Bayes  NP Sum-‐‑‒Product
確率率率モデル

RNN
Feed-‐‑‒Forward  Neural  Network

10 /  47

(結合)重み

x1

wj1

x2

wj2

x3

wj3
wj4

x4
ユニット

活性  (activation)

hj = f (wj1 x1 + wj2 x2 + wj3 x3 + wj4 x4 )
>
= f (wj x)

前活性  (pre-‐‑‒activation)
活性化関数  (activation  function)

hj
          の計算全体は⾏行行列列を使って                                              と書ける
h = f (W x)
(層を⾶飛び越える結合は考えない)
バイアス項もよく使う:   h = f (W x + b)
11 /  47
順伝播  fprop
逆伝播  bprop

誤差逆伝播法  backpropagation

誤差関数
(error)

L
⼊入⼒力力層

隠れ層

重みの勾配

隠れ層

重みの勾配

出⼒力力層

重みの勾配

正解
(groundtruth)
活性化関数  (activation  function)
l 

従来はシグモイド型の関数が⽤用いられてきた
1
1+e

1 e
tanh(x) =
1+e

x

シグモイド関数
l 

12 /  47

双曲線正接関数

最近よく使われるのは  Rectified  Linear  Unit  (ReLU)
– 

サチらない、つまり勾配が消えにくいので学習しやすい

l 

恒等関数は  Linear  Unit  と呼ばれる

l 

複数の  Linear  Unit  の  max  を取る:  maxout  unit*

* I. Goodfellow, D. W.-Farley, M. Milza, A. Courville
and Y. Bengio. Maxout Networks. ICML 2013.	

ReLU

max(0, x)

x
x
13 /  47

Neural  Network  の学習⼿手法
l 

l 

教師データを  B  個ずつ⾒見見る  Mini-‐‑‒Batch  SGD  がよく使われる
以下の⼿手法と組合せて使われる

w

w

– 
– 

L2  正則化  (weight  decay)、L1  正則化

– 

l 

Momentum,  Nesterovʼ’s  Accelerated  Gradient*

B
1 X @L(xBi )
B i=1 @w

ステップ幅の⾃自動調整  (AdaGrad**,  vSGD***)

最適化が難しいケースではニュートン法ベースの⼿手法も(L-‐‑‒BFGS,  
Hessian-‐‑‒Free  法など)

* I. Sutskever, J. Martens, G. Dahl and G. Hinton. On the importance of initialization and momentum in deep learning. ICML 2013.
** J. Duchi, E. Hazan and Y. Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. JMLR 12 (2011) 2121-2159.
*** T. Schaul, S. Zhang and Y. LeCun. No More Pesky Learning Rates. ICML 2013.
Dropout

14 /  47
l 

SGD  学習時、ランダムに選んだユニ
ットの活性を  0  にする
– 

経験上、⼊入⼒力力ユニットは  20%、隠れユニット
は  50%  の  dropout  率率率だと性能が良良い

l 

強い正則化の効果がある
– 
– 

l 
G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever
and R. R. Salakhutdinov.
l 
Improving neural networks by preventing co-adaptation of
feature detectors. ArXiv 1207.0580.
* S. Wager, S. Wang and P. Liang.
Dropout Training as Adaptive Regularization. NIPS 2013.	

アンサンブル学習
フィッシャー情報⾏行行列列で歪ませた  L2  正則化*

区分線形ユニット  (ReLU,  maxout)  
で特に効果的
亜種も出てきている  (DropConnect,  
Adaptive  Dropout,  etc.)
15 /  47

Restricted  Boltzmann  Machine
観測変数

W

潜在変数

l 
l 

v

h

無向⼆二部グラフのグラフィカルモデル
左下のようなエネルギー関数を持つボル
ツマン分布
– 

2式はそれぞれ        が⼆二値および連続値の場合の
v
エネルギー関数(        は共に⼆二値変数)
h

l 

E(v, h) =
E(v, h) =

a> v

(v

a)

2

2

b> h
2

h> W v

>

b h

バイアスパラメータ

1

>

h Wv

対数尤度度勾配は次式で書ける

@ log p(v)
= hvi hj idata
@wij

hvi hj imodel

データに対する
期待値

RBM  が表す
分布に対する
期待値
16 /  47

Contrastive  Divergence  (CD-‐‑‒k)
l 

W
v

Model  期待値は計算が難しいので、k  往復復
だけサンプリングして得た観測変数を使う

wij = hvi hj idata

h
l 

hvi hj ireconstruction

対数尤度度の勾配ではなくなってしまう
– 

Contrastive  Divergence  という値の勾配の近
似(厳密にはどんな関数の勾配としても書けない)

l 

深層学習の応⽤用上は  k=1  で良良い性能を発揮
– 

単に  CD  と⾔言ったら  CD-‐‑‒1  を指す
Deep  Belief  Network*
l 
l 

17 /  47

最後の1層だけ無向なグラフィカルモデル
各層ごとに  RBM  の重みが良良い初期値になる
– 

Greedy  Layer-‐‑‒wise  Pre-‐‑‒training  と呼ばれる

– 

Deep  Learning  のブレイクスルー

l 

最後に  Up-‐‑‒down  法で  fine-‐‑‒tuning
全層それぞれで  Contrastive  Divergence  を

l 

⽤用いる⽅方法も  (top-‐‑‒down  regularization**)
特徴抽出に使うか、DNN  の初期値にする

l 

* G. E. Hinton, S. Osindero and Y.-W. Teh.
A fast learning algorithm for deep belief nets. Neural Computation 2006.
** H. Goh, N. Thome, M. Cord and J.-H. Lim.
Top-Down Regularization of Deep Belief Networks. NIPS 2013.
18 /  47

Deep  Boltzmann  Machine
l 
l 

層ごとにわかれた無向グラフィカルモデル
DBN  と違い、内側の層は上下両⽅方の層からの
フィードバックを受ける
– 

l 

モデルを組み⽴立立てる際の⾃自由度度が上がる

RBM  で事前学習、全体を  RBM  のように学習

@ log p(v)
= hvi hj idata
@wij
– 

– 

R. Salakhutdinov and G. Hinton.
Deep Boltzmann Machines. AISTATS 2009.	

hvi hj imodel

ただし  data  期待値も簡単に計算できない(条件付き
分布が  factorize  されない)→  変分推定
Model  期待値は  Persistent  MCMC
19 /  47

Autoencoder  (AE)
l 
l 

⼊入⼒力力を復復元する2層の  NN
恒等関数を学習しないように以下の⼯工夫
– 

⼊入⼒力力層より⼩小さな隠れ層  (bottleneck)

– 

正則化(Contractive  AE*,  Sparse  AEなど)

W

⼊入⼒力力層

誤差関数

L

⼊入⼒力力層にノイズを加える(Denoising  AE**)
l  制約                                    をよく置く  (tied  weights)
W0 = W>

隠れ層

W0

– 

– 

⼆二乗誤差  DAE  はこの制約のもと、別の⽬目的関数(score  
matching  の亜種)と⼀一致し、RBM  と似たエネルギー関
数を持つ***

復復元層

* S. Rifai, P. Vincent, X. Muller, X. Glorot and Y. Bengio. Contractive Auto-Encoders: Explicit Invariance During Feature Extraction. ICML 2011.
** P. Vincent, H. Larochelle, Y. Bengio and P.-A. Manzagol. Extracting and Composing Robust Features with Denoising Autoencoders. ICML 2008.
*** P. Vincent. A Connection Between Score Matching and Denoising Autoencoders. TR 1358, Dept. IRO, Universite de Montreal.
Denoising  Autoencoder  (DAE)

l 

⼊入⼒力力にノイズを加えてから2層の  
NN  で復復元する
ノイズはガウスノイズや  Salt-‐‑‒and-‐‑‒
Pepper  ノイズ(ランダムなノード
を  0  か  1  で上書き)を使う

l 

ノイズにある条件を仮定すれば、最適な  

l 

W
ノイズ

W0
誤差関数

L

20 /  47

DAE  解はノイズと復復元の操作の繰り返
しが表すマルコフ連鎖の定常分布によ
って⼊入⼒力力データの分布を表現する*
* Y. Bengio, L. Yao, G. Alain and P. Vincent.
Generalized Denoising Auto-Encoders as Generative Models. NIPS 2013.
Stacked  Denoising  Autoencoder
l 
l 

DAE  を重ねる
2層⽬目以降降の  DAE  を学習する
場合、それ以前の層はそのまま
適⽤用して、学習する層の⼊入⼒力力層
に対してノイズを加える

l 

P. Vincent, H. Larochelle, I. Lajoie, Y. Bengio and P.-A. Manzagol.
Stacked Denoising Autoencoders: Learning Useful Representations
in a Deep Network with a Local Denoising Criterion. JMLR 11
(2010) 3371-3408.

DAE  はデータ分布の多様体を学習している
– 

曲がりくねった多様体を少し平らな空間に展開する  (disentanglement)

– 

l 

21 /  47

Stacked  DAE  は多様体を少しずつ平らに展開していくことに対応する

DAE  に限らず他の  AE  も重ねて  deep  net  を作ることが多い
22 /  47

Deep  Learning
l 
l 

データの深い(多段の)処理理全体を通して学習する
利利点は、複雑なモデルを⽐比較的少ないリソースで学習できること
– 

2層の  Neural  Network  でも任意の関数を、RBM  でも任意の分布を表現でき
るが、それには⼤大量量の隠れユニットと⼤大量量の学習データが必要になる

– 

Deep  Learning  の場合、同じ関数・分布を表現するのに必要なユニット・デー
タ数が浅いモデルに⽐比べて圧倒的に少なくて済む

– 

Deep  Neural  Net  で学習した関数を「教師」として浅い  Neural  Net  を学習さ
せられる*が、同じ⽔水準のモデルを浅い  Neural  Net  で直接得ることは、同じ学
習コストでは(今のところ)できない

* L. J. Ba and R. Caruana.
Do Deep Nets Really Need to be Deep? ArXiv 1312.6184.
画像認識識を中⼼心に

Deep Learning と認識識
23
Convolutional  Neural  Network  (CNN)
l 

画像の縦横⽅方向に、同じ重みの窓を
スライドさせながら適⽤用
– 

l 
l 
l 
l 

パラメータの⼤大幅な節約

– 

Feature  maps

物体認識識は位置不不変という事前知識識

– 

24 /  47

スパースなネットワーク(局所受容野)

強い正則化の効果
GPU  計算との親和性
FFT  を使って⾼高速化する話もある
Simple  cell  との対応
Convolutional Neural Network (LeNet) in Deep Learning 0.1 Documentation.
http://deeplearning.net/tutorial/lenet.html#details-and-notation
25 /  47

Pooling  (subsampling)
l 
l 

0
@

Feature  map  毎に、矩形上の活性を集約する処理理
L2-‐‑‒pooling,  max-‐‑‒pooling,  average-‐‑‒pooling  がよく使われる
1

1
|rectangle|
– 

X

(i,j)2rectangle

12

x2 A
ij

max

(i,j)2rectangle

xij

1
|rectangle|

X

xij

(i,j)2rectangle

L2-‐‑‒pooling  や  average-‐‑‒pooling  ではガウス平均を使うこともある

l 

平⾏行行移動不不変性を獲得するのに役⽴立立つ
CNN  は基本的に  convolution  /  activation  /  pooling  の繰り返し

l 

Complex  cell  との対応

l 
26 /  47

Local  Contrast  Normalization
l 

局所的(空間⽅方向および同⼀一座標での複数  feature  maps  間)に
X
活性を正規化する
vijk = xijk
wpq xi,j+p,k+q
– 
– 

Divisive

– 

細かい定義は使⽤用例例によってまちまち

– 

l 

Subtractive

使い⽅方もまちまち

vijk / max(c,

X

2
wpq vi,j+p,k+q )

ipq

K. Jarrett, K. Kavukcuoglu, M. A. Ranzato and Y. LeCun.
What is the Best Multi-Stage Architecture for Object Recognition? ICCV 2009.

正規化がどれくらい精度度に影響するのかは不不明
– 

l 

ipq

正規化なくても精度度出るという報告もある

⼀一次視覚野のニューロンの性質を参考にしている
27 /  47

Supervision

A. Krizhevsky, I. Sutskever and G. E. Hinton.
ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2012.

l 

図にはないが  pooling  の後ろに  Local  Response  Normalization

l 

2台の  GPU  で実装(上下のパイプラインがそれぞれ対応、異異なる  feature  
maps  を持っている)

l 

2013年年はこれを使った(拡張する)研究が多かった
ユニットの可視化  
Deconvolutional  NN
l 

Max-‐‑‒pooling  が不不可逆なので
ユニットの可視化が難しい
– 

実際に画像を⼊入れて、pooling  で
選択されたピクセルを覚えておく

l 

ILSVRC2013  の分類タスク優勝
者  (clarifai)  の⼿手法
– 

ユニット可視化の⼿手法

– 

チューニングが⼤大事

M. D. Zeiler and R. Fergus.
Visualizing and Understanding Convolutional Networks. ArXiv 1131.2901v3.

28 /  47
29 /  47

Stochastic  Feedforward  NN
l 

l 

途中にベルヌーイ分布に従うユ
ニットを⼊入れる
学習は  EM  アルゴリズム  
– 
– 

l 

E-‐‑‒step  は重点サンプリング
M-‐‑‒step  は  backpropagation

Stochastic  neuron  のおかげで
マルチモーダルな予測ができる
– 

Y. Tang and R. Salakhutdinov.
Learning Stochastic Feedforward Neural Networks. NIPS 2013.

右図は左カラムの画像から7通りの
表情を予測するタスクの結果
Decoder

再構成型  Topographic  ICA
l 
l 

l 

30 /  47
Encoder

Sparse  Autoencoder  の変種
Pooling  後の活性に対してスパース
化ペナルティーを与える
⾮非畳み込みの局所受容野と組み合わ
せると、近くにあるユニットが似た
重みを持つようになる

Pooling  処理理に相当
する重み

– 

⼀一次視覚野のニューロンと似た性質

– 

平⾏行行移動不不変性よりも複雑な不不変性の獲得

Q. V. Lee, M. A. Ranzato, R. Monga, M. Devin, K. Chen, G. S.
Corrado, J. Dean and A. Y. Ng.
Building High-level Features Using Large Scale Unsupervised
Learning. ICML 2012.
Google  の猫認識識
l 

3段の再構成型  TICA
– 

Local  Contrast  Normalization  も使っている

– 

l 

31 /  47

Convolution  ではない(重みを共有しない)

Youtube  の動画  10,000,000  フレーム
で学習すると猫や顔、⼈人の体などに対応
するユニットが得られる

これが3段重なったもの
Q. V. Lee, M. A. Ranzato, R. Monga, M. Devin, K. Chen, G. S.
Corrado, J. Dean and A. Y. Ng.
Building High-level Features Using Large Scale Unsupervised
Learning. ICML 2012.
DNN  としての  Recurrent  Neural  Network
l 

l 

l 

Part  units

32 /  47

隠れ層の活性を⼊入⼒力力の⼀一部として次の
時間ステップでの隠れ層に⼊入⼒力力する
隠れ層を  N  回ループさせれば  N  層の  
DNN  と対応する(重みが共有される)
⼿手書き数字に対する適⽤用で、⾃自動的に  
part  unit  と  categorical  unit  が得られる
(図は  Recurrent  Sparse  Autoencoder)

Categorical
units

J. T. Rolfe and Y. LeCun.
Discriminative Recurrent Sparse Auto-Encoders. ICLR 2013.
構造や⾔言語を学習する

Deep Learning と構造
Recursive  Neural  Network
l 
l 

34 /  47

同じ重みの層を⽊木の形に重ねる
⽊木構造の予測
– 

下図のように2ノードからそれらが
兄弟ノードにふさわしいかを判別

l 

l 

再帰的な構造を
Neural  Network
  で学習
⽊木が⼤大きければ  
deep  なモデル

R. Socher, C. C.-Y. Lin, A. Y. Ng and C. D. Manning.
Parsing Natural Scenes and Natural Language with
Recursive Neural Networks. ICML 2011.
Recursive  NN  の発展形

35 /  47

R. Socher, B. Huval, C. D. Manning and A. Y. Ng.
Semantic Compositionality through Recursive
Matrix-Vector Spaces. EMNLP 2012.
R. Socher, A. Perelygin, J. Y. Wu, J. Chuang, C. D. Manning,
A. Y. Ng and C. Potts.
Recursive Deep Models for Semantic Compositionality Over a
Sentiment Treebank. EMNLP 2013.

デモあり:
http://nlp.stanford.edu/sentiment/
36 /  47

Recurrent  Neural  Network  Language  Model  (RNNLM)
⽂文字、単語

l 

隠れ層

次の⼊入⼒力力
の予測

l 

⽂文章を読んで、次の⽂文字や単語を予測す
るモデル(⾔言語モデル)
Recurrent  Neural  Network  でモデル化
– 
– 

N-‐‑‒gram  モデルをゆるく可変⻑⾧長にしたような感じ

– 

時刻  t-‐‑‒1  の隠れ層

隠れ層は最近の⼊入⼒力力に関する記憶を保持する

– 

コピー

隠れ層の活性が、次の時刻の⼊入⼒力力に含まれる

隠れ層は単語や⽂文章の低次元埋め込み  (word  
embeddings)  となっている

T. Mikolov, M. Karafiat, L. Burget, J. H. Cernocky and S. Khudanpur.
Recurrent neural network based language model. INTERSPEECH 2010.
RNN  の学習:  Backpropagation  through  Time
t=1
l 

l 

l 

RNN  の適⽤用を時間⽅方向に展
開すると  DNN  のようになる
過去の活性を覚えておけば、  
Backpropagation  で勾配が
計算できる
適当な単語数で打ち切切ることも

t=2

t=3

37 /  47
Deep  Recurrent  Neural  Network
l 

l 

38 /  47

DNN  の各層にループがある  
Recurrent  Net
深い層ほど⻑⾧長い時間の記憶
を保持する
– 

深くし過ぎると記憶のスケー
ルは変わらなくなる

M. Hermans and B. Schrauwen. Training and Analyzing
Deep Recurrent Neural Networks. NIPS 2013.
Skip-‐‑‒gram  model

39 /  47
l 

l 

l 

まわりの単語を予測できるように
低次元埋め込みを学習する
Deep  Learning  ではないが、単語
の表現学習
Analogical  Reasoning  に有効
– 

v(“brother”)  -‐‑‒  v(“sisiter”)  +  
v(“queen”)  ≒  v(“king”)

l 

実装が公開されている:  word2vec
– 

たくさんの⿊黒魔術

T. Mikolov, K. Chen, G. Corrado and J. Dean.
Efficient Estimation of Word Representations in Vector Space.
ICLR 2013.
画像認識識との融合:  DeViSE

40 /  47
A. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. A.
Ranzato and T. Mikolov.
DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013.

l 

Supervision  と  Skip-‐‑‒gram  model  を組合せて、画像から単語埋

l 

め込みベクトルを予測できるようにする
初めて⾒見見る物体でも、意味的な事前知識識があればラベルを予測でき
る  (zero-‐‑‒shot  learning)
Deep Learning の今後
41
強化学習との統合
l 
l 

42 /  47

報酬を最⼤大化するような⽅方策の選び⽅方を深層モデルで学習する
⼿手は付けられ始めている:  Deep  Q-‐‑‒Networks
– 

ゲームプレイングのタスク。POMDP  の設定で、⾏行行動価値関数を過去数フレー
ムの画⾯面に対する畳み込みニューラルネットで表現する

l 

DeepMind(先⽇日  Google  に買収された)

V. Mnih, K. Karukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra and M. Riedmiller. Playing Atari with Deep Reinforcement Learning.
NIPS Deep Learning Workshop 2013.
Neural  Network  の教育
l 

43 /  47

C. Gulcehre and Y. Bengio.
Knowledge Matters: Importance of Prior Information for
Optimization. NIPS Deep Learning Workshop 2012.

ペントミノがすべて同じ形か
の⼆二値分類は直接学習できない
– 

ペントミノの識識別を  NN  で学習
したあと、出⼒力力層を取り替えて
2層⾜足せば学習できる

l 
l 

Curriculum  Learning*
論論理理的な思考を学習させるには適切切な教育が必要
– 

論論理理的な思考をどうやってモデル化するかという問題⾃自体を考える必要もある

* Y. Bengio, J. Louradour, R. Collobert and J. Weston.
Curriculum Learning. ICML 2009.
44 /  47

空間認識識
l 

画像分類を超えて、検出、追跡、空間把握へ
– 
– 

追跡:連続するフレーム間での検出結果のひも付け

– 

l 

検出:物体の位置を特定する
空間把握:三次元的な検出、何がどこにあるのか、⾃自分がどこを向いているか

分類と検出の統合はすでに始まっている
– 

ILSVRC2013  に出場した  LeCun  らのチーム  OverFeat  は  Supervision  ベー
スの分類・検出システムを構築した

l 

⾳音声や運動(ロボティクス)との統合

P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus and Y. LeCun
. OverFeat: Integrated Recognition, Localization and Detection using
Convolutional Networks. ArXiv 1312.6229.
⾔言語による⽂文化の学習
l 

l 

45 /  47

⾔言語によるコミュニケー
ションを通じて知識識や常
識識を共有
深い層の活性を共有する
イメージ
– 

共有するときにノイズが乗る

Y. Bengio. Evolving Culture vs Local Minima.
ArXiv 1203.2990, 2012.
まとめ
l 
l 

Deep  Learning  の重要な技術を広く浅く紹介しました
2014  年年はさらに応⽤用が広がる年年になると思います
– 

l 

研究者⼈人⼝口の増加、⼤大企業の参⼊入

基礎研究、理理論論解析も着実に増えています
– 

特に  Dropout、DAE、確率率率的ニューロンなど確率率率的に摂動を加える⼿手法への
理理論論解析が多い印象

– 

l 

46 /  47

Recurrent  Net  の効率率率的な学習も進歩してきています

神経科学との関連性は今後の課題
©  Preferred  Infrastructure,  Inc.  2014

More Related Content

What's hot

Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingYasunori Ozaki
 
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learningゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement LearningPreferred Networks
 
Deeplearning輪読会
Deeplearning輪読会Deeplearning輪読会
Deeplearning輪読会正志 坪坂
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!TransformerArithmer Inc.
 
論文紹介: Fast R-CNN&Faster R-CNN
論文紹介: Fast R-CNN&Faster R-CNN論文紹介: Fast R-CNN&Faster R-CNN
論文紹介: Fast R-CNN&Faster R-CNNTakashi Abe
 
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況Deep Learning JP
 
TalkingData AdTracking Fraud Detection Challenge (1st place solution)
TalkingData AdTracking  Fraud Detection Challenge (1st place solution)TalkingData AdTracking  Fraud Detection Challenge (1st place solution)
TalkingData AdTracking Fraud Detection Challenge (1st place solution)Takanori Hayashi
 
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向Kensho Hara
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解するAtsukiYamaguchi1
 
ICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向ICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向Yuma Koizumi
 
AlphaGo Zero 解説
AlphaGo Zero 解説AlphaGo Zero 解説
AlphaGo Zero 解説suckgeun lee
 
機械学習の理論と実践
機械学習の理論と実践機械学習の理論と実践
機械学習の理論と実践Preferred Networks
 
画像認識と深層学習
画像認識と深層学習画像認識と深層学習
画像認識と深層学習Yusuke Uchida
 
[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...
[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...
[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...Deep Learning JP
 
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe
 
深層学習の非常に簡単な説明
深層学習の非常に簡単な説明深層学習の非常に簡単な説明
深層学習の非常に簡単な説明Seiichi Uchida
 
帰納バイアスが成立する条件
帰納バイアスが成立する条件帰納バイアスが成立する条件
帰納バイアスが成立する条件Shinobu KINJO
 
新分野に飛び入って半年で業績を作るには
新分野に飛び入って半年で業績を作るには新分野に飛び入って半年で業績を作るには
新分野に飛び入って半年で業績を作るにはAsai Masataro
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎Preferred Networks
 

What's hot (20)

Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
 
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learningゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
 
Deeplearning輪読会
Deeplearning輪読会Deeplearning輪読会
Deeplearning輪読会
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
 
論文紹介: Fast R-CNN&Faster R-CNN
論文紹介: Fast R-CNN&Faster R-CNN論文紹介: Fast R-CNN&Faster R-CNN
論文紹介: Fast R-CNN&Faster R-CNN
 
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
 
TalkingData AdTracking Fraud Detection Challenge (1st place solution)
TalkingData AdTracking  Fraud Detection Challenge (1st place solution)TalkingData AdTracking  Fraud Detection Challenge (1st place solution)
TalkingData AdTracking Fraud Detection Challenge (1st place solution)
 
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解する
 
ICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向ICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向
 
AlphaGo Zero 解説
AlphaGo Zero 解説AlphaGo Zero 解説
AlphaGo Zero 解説
 
機械学習の理論と実践
機械学習の理論と実践機械学習の理論と実践
機械学習の理論と実践
 
画像認識と深層学習
画像認識と深層学習画像認識と深層学習
画像認識と深層学習
 
[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...
[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...
[DL輪読会]V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete...
 
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
 
深層学習の非常に簡単な説明
深層学習の非常に簡単な説明深層学習の非常に簡単な説明
深層学習の非常に簡単な説明
 
帰納バイアスが成立する条件
帰納バイアスが成立する条件帰納バイアスが成立する条件
帰納バイアスが成立する条件
 
新分野に飛び入って半年で業績を作るには
新分野に飛び入って半年で業績を作るには新分野に飛び入って半年で業績を作るには
新分野に飛び入って半年で業績を作るには
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
 

Viewers also liked

Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Seiya Tokui
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~nlab_utokyo
 
第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM邦洋 長谷川
 
実装ディープラーニング
実装ディープラーニング実装ディープラーニング
実装ディープラーニングYurie Oka
 
Py datameetup1
Py datameetup1Py datameetup1
Py datameetup1shiroyagi
 
Python3と向かい合ってみる
Python3と向かい合ってみるPython3と向かい合ってみる
Python3と向かい合ってみるAtsuo Ishimoto
 
塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)
塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)
塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)natsu_bm
 
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介瑛 村下
 
Faster R-CNN: Towards real-time object detection with region proposal network...
Faster R-CNN: Towards real-time object detection with region proposal network...Faster R-CNN: Towards real-time object detection with region proposal network...
Faster R-CNN: Towards real-time object detection with region proposal network...Universitat Politècnica de Catalunya
 
DIGITSによるディープラーニング画像分類
DIGITSによるディープラーニング画像分類DIGITSによるディープラーニング画像分類
DIGITSによるディープラーニング画像分類NVIDIA Japan
 
DIGITS による物体検出入門
DIGITS による物体検出入門DIGITS による物体検出入門
DIGITS による物体検出入門NVIDIA Japan
 
Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014
Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014
Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014Takashi J OZAKI
 
「深層学習」第6章 畳込みニューラルネット
「深層学習」第6章 畳込みニューラルネット「深層学習」第6章 畳込みニューラルネット
「深層学習」第6章 畳込みニューラルネットKen'ichi Matsui
 
Image net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural NetworksImage net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural NetworksShingo Horiuchi
 
強化学習入門
強化学習入門強化学習入門
強化学習入門Shunta Saito
 
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法zakktakk
 
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entriesIcml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entriesTakami Sato
 
前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況JubatusOfficial
 
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)Takuma Yagi
 

Viewers also liked (20)

Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~
 
第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM
 
実装ディープラーニング
実装ディープラーニング実装ディープラーニング
実装ディープラーニング
 
Py datameetup1
Py datameetup1Py datameetup1
Py datameetup1
 
Python3と向かい合ってみる
Python3と向かい合ってみるPython3と向かい合ってみる
Python3と向かい合ってみる
 
塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)
塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)
塹壕戦から揚陸艇強襲上陸まで (2012/03/17 pyfes)
 
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
Jubatus Casual Talks #2 : 0.5.0の新機能(クラスタリング)の紹介
 
Faster R-CNN: Towards real-time object detection with region proposal network...
Faster R-CNN: Towards real-time object detection with region proposal network...Faster R-CNN: Towards real-time object detection with region proposal network...
Faster R-CNN: Towards real-time object detection with region proposal network...
 
DIGITSによるディープラーニング画像分類
DIGITSによるディープラーニング画像分類DIGITSによるディープラーニング画像分類
DIGITSによるディープラーニング画像分類
 
DIGITS による物体検出入門
DIGITS による物体検出入門DIGITS による物体検出入門
DIGITS による物体検出入門
 
Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014
Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014
Deep Learningと他の分類器をRで比べてみよう in Japan.R 2014
 
「深層学習」第6章 畳込みニューラルネット
「深層学習」第6章 畳込みニューラルネット「深層学習」第6章 畳込みニューラルネット
「深層学習」第6章 畳込みニューラルネット
 
Image net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural NetworksImage net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural Networks
 
強化学習入門
強化学習入門強化学習入門
強化学習入門
 
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
 
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entriesIcml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
 
20150930
2015093020150930
20150930
 
前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況
 
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
 

Similar to Deep Learning技術の今

Deep Learningの基礎と応用
Deep Learningの基礎と応用Deep Learningの基礎と応用
Deep Learningの基礎と応用Seiya Tokui
 
Recurrent Neural Networks
Recurrent Neural NetworksRecurrent Neural Networks
Recurrent Neural NetworksSeiya Tokui
 
Building High-level Features Using Large Scale Unsupervised Learning
Building High-level Features Using Large Scale Unsupervised LearningBuilding High-level Features Using Large Scale Unsupervised Learning
Building High-level Features Using Large Scale Unsupervised LearningTakuya Minagawa
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Ohsawa Goodfellow
 
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...Deep Learning JP
 
Deep Learningと自然言語処理
Deep Learningと自然言語処理Deep Learningと自然言語処理
Deep Learningと自然言語処理Preferred Networks
 
Chainerの使い方と 自然言語処理への応用
Chainerの使い方と自然言語処理への応用Chainerの使い方と自然言語処理への応用
Chainerの使い方と 自然言語処理への応用Yuya Unno
 
20171201 dll#05 名古屋_pfn_hiroshi_maruyama
20171201 dll#05 名古屋_pfn_hiroshi_maruyama20171201 dll#05 名古屋_pfn_hiroshi_maruyama
20171201 dll#05 名古屋_pfn_hiroshi_maruyamaPreferred Networks
 
20180830 implement dqn_platinum_data_meetup_vol1
20180830 implement dqn_platinum_data_meetup_vol120180830 implement dqn_platinum_data_meetup_vol1
20180830 implement dqn_platinum_data_meetup_vol1Keisuke Nakata
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning   画像×言語の大規模基盤モ...【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning   画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP
 
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...禎晃 山崎
 
深層学習 勉強会 第1回資料(作成途中)
深層学習 勉強会 第1回資料(作成途中)深層学習 勉強会 第1回資料(作成途中)
深層学習 勉強会 第1回資料(作成途中)Shuuji Mihara
 
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Taiga Nomi
 
深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定Masaaki Imaizumi
 
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...Deep Learning JP
 

Similar to Deep Learning技術の今 (20)

Deep Learningの基礎と応用
Deep Learningの基礎と応用Deep Learningの基礎と応用
Deep Learningの基礎と応用
 
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearningMIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
 
Recurrent Neural Networks
Recurrent Neural NetworksRecurrent Neural Networks
Recurrent Neural Networks
 
Building High-level Features Using Large Scale Unsupervised Learning
Building High-level Features Using Large Scale Unsupervised LearningBuilding High-level Features Using Large Scale Unsupervised Learning
Building High-level Features Using Large Scale Unsupervised Learning
 
音声認識と深層学習
音声認識と深層学習音声認識と深層学習
音声認識と深層学習
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
 
Extract and edit
Extract and editExtract and edit
Extract and edit
 
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
 
Deep Learningと自然言語処理
Deep Learningと自然言語処理Deep Learningと自然言語処理
Deep Learningと自然言語処理
 
Chainerの使い方と 自然言語処理への応用
Chainerの使い方と自然言語処理への応用Chainerの使い方と自然言語処理への応用
Chainerの使い方と 自然言語処理への応用
 
20171201 dll#05 名古屋_pfn_hiroshi_maruyama
20171201 dll#05 名古屋_pfn_hiroshi_maruyama20171201 dll#05 名古屋_pfn_hiroshi_maruyama
20171201 dll#05 名古屋_pfn_hiroshi_maruyama
 
20180830 implement dqn_platinum_data_meetup_vol1
20180830 implement dqn_platinum_data_meetup_vol120180830 implement dqn_platinum_data_meetup_vol1
20180830 implement dqn_platinum_data_meetup_vol1
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning   画像×言語の大規模基盤モ...【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning   画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
 
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...
 
20160329.dnn講演
20160329.dnn講演20160329.dnn講演
20160329.dnn講演
 
深層学習 勉強会 第1回資料(作成途中)
深層学習 勉強会 第1回資料(作成途中)深層学習 勉強会 第1回資料(作成途中)
深層学習 勉強会 第1回資料(作成途中)
 
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷
 
深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定
 
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
 
Paper: seq2seq 20190320
Paper: seq2seq 20190320Paper: seq2seq 20190320
Paper: seq2seq 20190320
 

More from Seiya Tokui

Chainer/CuPy v5 and Future (Japanese)
Chainer/CuPy v5 and Future (Japanese)Chainer/CuPy v5 and Future (Japanese)
Chainer/CuPy v5 and Future (Japanese)Seiya Tokui
 
Chainer v2 and future dev plan
Chainer v2 and future dev planChainer v2 and future dev plan
Chainer v2 and future dev planSeiya Tokui
 
Chainer v2 alpha
Chainer v2 alphaChainer v2 alpha
Chainer v2 alphaSeiya Tokui
 
Learning stochastic neural networks with Chainer
Learning stochastic neural networks with ChainerLearning stochastic neural networks with Chainer
Learning stochastic neural networks with ChainerSeiya Tokui
 
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開Seiya Tokui
 
論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural NetworksSeiya Tokui
 
Introduction to Chainer
Introduction to ChainerIntroduction to Chainer
Introduction to ChainerSeiya Tokui
 
Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+Seiya Tokui
 
Differences of Deep Learning Frameworks
Differences of Deep Learning FrameworksDifferences of Deep Learning Frameworks
Differences of Deep Learning FrameworksSeiya Tokui
 
Overview of Chainer and Its Features
Overview of Chainer and Its FeaturesOverview of Chainer and Its Features
Overview of Chainer and Its FeaturesSeiya Tokui
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep LearningSeiya Tokui
 
Chainer Development Plan 2015/12
Chainer Development Plan 2015/12Chainer Development Plan 2015/12
Chainer Development Plan 2015/12Seiya Tokui
 
Towards Chainer v1.5
Towards Chainer v1.5Towards Chainer v1.5
Towards Chainer v1.5Seiya Tokui
 
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用Seiya Tokui
 
論文紹介 Compressing Neural Networks with the Hashing Trick
論文紹介 Compressing Neural Networks with the Hashing Trick論文紹介 Compressing Neural Networks with the Hashing Trick
論文紹介 Compressing Neural Networks with the Hashing TrickSeiya Tokui
 
深層学習フレームワークChainerの紹介とFPGAへの期待
深層学習フレームワークChainerの紹介とFPGAへの期待深層学習フレームワークChainerの紹介とFPGAへの期待
深層学習フレームワークChainerの紹介とFPGAへの期待Seiya Tokui
 
Introduction to Chainer: A Flexible Framework for Deep Learning
Introduction to Chainer: A Flexible Framework for Deep LearningIntroduction to Chainer: A Flexible Framework for Deep Learning
Introduction to Chainer: A Flexible Framework for Deep LearningSeiya Tokui
 
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative ModelsSeiya Tokui
 
NIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding Model
NIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding ModelNIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding Model
NIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding ModelSeiya Tokui
 

More from Seiya Tokui (20)

Chainer/CuPy v5 and Future (Japanese)
Chainer/CuPy v5 and Future (Japanese)Chainer/CuPy v5 and Future (Japanese)
Chainer/CuPy v5 and Future (Japanese)
 
Chainer v3
Chainer v3Chainer v3
Chainer v3
 
Chainer v2 and future dev plan
Chainer v2 and future dev planChainer v2 and future dev plan
Chainer v2 and future dev plan
 
Chainer v2 alpha
Chainer v2 alphaChainer v2 alpha
Chainer v2 alpha
 
Learning stochastic neural networks with Chainer
Learning stochastic neural networks with ChainerLearning stochastic neural networks with Chainer
Learning stochastic neural networks with Chainer
 
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開
 
論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks
 
Introduction to Chainer
Introduction to ChainerIntroduction to Chainer
Introduction to Chainer
 
Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+
 
Differences of Deep Learning Frameworks
Differences of Deep Learning FrameworksDifferences of Deep Learning Frameworks
Differences of Deep Learning Frameworks
 
Overview of Chainer and Its Features
Overview of Chainer and Its FeaturesOverview of Chainer and Its Features
Overview of Chainer and Its Features
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep Learning
 
Chainer Development Plan 2015/12
Chainer Development Plan 2015/12Chainer Development Plan 2015/12
Chainer Development Plan 2015/12
 
Towards Chainer v1.5
Towards Chainer v1.5Towards Chainer v1.5
Towards Chainer v1.5
 
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
 
論文紹介 Compressing Neural Networks with the Hashing Trick
論文紹介 Compressing Neural Networks with the Hashing Trick論文紹介 Compressing Neural Networks with the Hashing Trick
論文紹介 Compressing Neural Networks with the Hashing Trick
 
深層学習フレームワークChainerの紹介とFPGAへの期待
深層学習フレームワークChainerの紹介とFPGAへの期待深層学習フレームワークChainerの紹介とFPGAへの期待
深層学習フレームワークChainerの紹介とFPGAへの期待
 
Introduction to Chainer: A Flexible Framework for Deep Learning
Introduction to Chainer: A Flexible Framework for Deep LearningIntroduction to Chainer: A Flexible Framework for Deep Learning
Introduction to Chainer: A Flexible Framework for Deep Learning
 
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
 
NIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding Model
NIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding ModelNIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding Model
NIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding Model
 

Recently uploaded

IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdffurutsuka
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 

Recently uploaded (7)

IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 

Deep Learning技術の今

  • 2. ⾃自⼰己紹介 l  得居  誠也  (Seiya  Tokui) 株式会社Preferred  Infrastructure,  Jubatus  Pj.  リサーチャー l  専⾨門は機械学習(修⼠士、現職) l  –  系列列ラベリング→ハッシュ・近傍探索索→深層学習 l  今の興味は深層学習、表現学習、分散学習、映像解析 l  @beam2d  (Twitter,  Github,  etc.) 2 /  47
  • 3. 2011年年:  ⾳音声認識識における成功 l  l  3 /  47 DNN-‐‑‒HMM  を使った⼿手法が、⾳音声認識識の  word  error  rate  で従来 法  (GMM)  より  10%  前後も改善 携帯端末における⾳音声操作に  Deep  Learning  が利利⽤用されるように F. Seide, G. Li and D. Yu. Conversational Speech Transcription Using Context-Dependent Deep Neural Network, in INTERSPEECH, pp. 437-440 (2011)
  • 4. 2012年年:  画像認識識における成功 l  ⼀一般物体認識識のコンテスト   ILSVRC2012  において Deep  Convolutional   Neural  Network  を⽤用い たチーム  Supervision  が 他者に  10%  のエラー差 をつけて勝利利 J. Deng, A. Berg, S. Satheesh, H. Su, A. Khosla and F.-F. Li . Large Scale Visual Recognition Challenge 2012. ILSVRC2012 Workshop. 4 /  47
  • 5. 2013年年:  ⼤大企業による投資、⼈人材争奪戦 l  3⽉月:Google  が  DNNresearch  を買収 –  l  4⽉月:Baidu  が  Institute  of  Deep  Learning  を設⽴立立 –  l  Deep  learning  group  を作るための布⽯石と報じられる 12⽉月:Facebook  AI  Lab  設⽴立立 –  l  最初の研究者として  Kai  Yu  を迎えた 8,  10⽉月:Yahoo  が画像認識識のスタートアップ  IQ  Engines  と   LookFlow  を買収 –  l  Geoffrey  Hinton,  Alex  Krizhevsky  and  Ilya  Sutskever Yann  LeCun  所⻑⾧長、他にも  Marcʼ’Aurelio  Ranzato  など 2014年年1⽉月:Google  が  DeepMind  を買収 –  G.  Hinton  の研究室の卒業⽣生、Deep  Learning  による強化学習技術 5 /  47
  • 6. 今⽇日のお話 l  Deep  Learning(深層学習)の技術を基礎・応⽤用と広めに紹介 –  l  Zoo  of  deep  learning  みたいなノリで…… 全脳アーキテクチャを考える上で参考になるようなモデル・学習 ⾯面での現状をお伝えします –  l  6 /  47 モデルの紹介が多めです 盛りだくさんなのでいろいろ流流していきます –  詳細は後⽇日スライドおよび参考⽂文献をご覧ください
  • 7. ⽬目次 l  l  l  l  l  Deep  Learning  の成功 Deep  Learning  の基礎 Deep  Learning  と認識識 Deep  Learning  と構造 Deep  Learning  の今後 7 /  47
  • 9. 9 /  47 A. Ranzato. Deep  Learning  の地図(アレンジ) Cf.) Y. LeCun and M.ICML 2013. Deep Learning Tutorial. Boosting 浅い AE ニューラルネット Perceptron Sparse   Coding RBM 決定⽊木 GMM SVM RF DAE DNN 深い CNN SFFNN DBN GSN DBM Bayes  NP Sum-‐‑‒Product 確率率率モデル RNN
  • 10. Feed-‐‑‒Forward  Neural  Network 10 /  47 (結合)重み x1 wj1 x2 wj2 x3 wj3 wj4 x4 ユニット 活性  (activation) hj = f (wj1 x1 + wj2 x2 + wj3 x3 + wj4 x4 ) > = f (wj x) 前活性  (pre-‐‑‒activation) 活性化関数  (activation  function) hj          の計算全体は⾏行行列列を使って                                              と書ける h = f (W x) (層を⾶飛び越える結合は考えない) バイアス項もよく使う:   h = f (W x + b)
  • 11. 11 /  47 順伝播  fprop 逆伝播  bprop 誤差逆伝播法  backpropagation 誤差関数 (error) L ⼊入⼒力力層 隠れ層 重みの勾配 隠れ層 重みの勾配 出⼒力力層 重みの勾配 正解 (groundtruth)
  • 12. 活性化関数  (activation  function) l  従来はシグモイド型の関数が⽤用いられてきた 1 1+e 1 e tanh(x) = 1+e x シグモイド関数 l  12 /  47 双曲線正接関数 最近よく使われるのは  Rectified  Linear  Unit  (ReLU) –  サチらない、つまり勾配が消えにくいので学習しやすい l  恒等関数は  Linear  Unit  と呼ばれる l  複数の  Linear  Unit  の  max  を取る:  maxout  unit* * I. Goodfellow, D. W.-Farley, M. Milza, A. Courville and Y. Bengio. Maxout Networks. ICML 2013. ReLU max(0, x) x x
  • 13. 13 /  47 Neural  Network  の学習⼿手法 l  l  教師データを  B  個ずつ⾒見見る  Mini-‐‑‒Batch  SGD  がよく使われる 以下の⼿手法と組合せて使われる w w –  –  L2  正則化  (weight  decay)、L1  正則化 –  l  Momentum,  Nesterovʼ’s  Accelerated  Gradient* B 1 X @L(xBi ) B i=1 @w ステップ幅の⾃自動調整  (AdaGrad**,  vSGD***) 最適化が難しいケースではニュートン法ベースの⼿手法も(L-‐‑‒BFGS,   Hessian-‐‑‒Free  法など) * I. Sutskever, J. Martens, G. Dahl and G. Hinton. On the importance of initialization and momentum in deep learning. ICML 2013. ** J. Duchi, E. Hazan and Y. Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. JMLR 12 (2011) 2121-2159. *** T. Schaul, S. Zhang and Y. LeCun. No More Pesky Learning Rates. ICML 2013.
  • 14. Dropout 14 /  47 l  SGD  学習時、ランダムに選んだユニ ットの活性を  0  にする –  経験上、⼊入⼒力力ユニットは  20%、隠れユニット は  50%  の  dropout  率率率だと性能が良良い l  強い正則化の効果がある –  –  l  G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov. l  Improving neural networks by preventing co-adaptation of feature detectors. ArXiv 1207.0580. * S. Wager, S. Wang and P. Liang. Dropout Training as Adaptive Regularization. NIPS 2013. アンサンブル学習 フィッシャー情報⾏行行列列で歪ませた  L2  正則化* 区分線形ユニット  (ReLU,  maxout)   で特に効果的 亜種も出てきている  (DropConnect,   Adaptive  Dropout,  etc.)
  • 15. 15 /  47 Restricted  Boltzmann  Machine 観測変数 W 潜在変数 l  l  v h 無向⼆二部グラフのグラフィカルモデル 左下のようなエネルギー関数を持つボル ツマン分布 –  2式はそれぞれ        が⼆二値および連続値の場合の v エネルギー関数(        は共に⼆二値変数) h l  E(v, h) = E(v, h) = a> v (v a) 2 2 b> h 2 h> W v > b h バイアスパラメータ 1 > h Wv 対数尤度度勾配は次式で書ける @ log p(v) = hvi hj idata @wij hvi hj imodel データに対する 期待値 RBM  が表す 分布に対する 期待値
  • 16. 16 /  47 Contrastive  Divergence  (CD-‐‑‒k) l  W v Model  期待値は計算が難しいので、k  往復復 だけサンプリングして得た観測変数を使う wij = hvi hj idata h l  hvi hj ireconstruction 対数尤度度の勾配ではなくなってしまう –  Contrastive  Divergence  という値の勾配の近 似(厳密にはどんな関数の勾配としても書けない) l  深層学習の応⽤用上は  k=1  で良良い性能を発揮 –  単に  CD  と⾔言ったら  CD-‐‑‒1  を指す
  • 17. Deep  Belief  Network* l  l  17 /  47 最後の1層だけ無向なグラフィカルモデル 各層ごとに  RBM  の重みが良良い初期値になる –  Greedy  Layer-‐‑‒wise  Pre-‐‑‒training  と呼ばれる –  Deep  Learning  のブレイクスルー l  最後に  Up-‐‑‒down  法で  fine-‐‑‒tuning 全層それぞれで  Contrastive  Divergence  を l  ⽤用いる⽅方法も  (top-‐‑‒down  regularization**) 特徴抽出に使うか、DNN  の初期値にする l  * G. E. Hinton, S. Osindero and Y.-W. Teh. A fast learning algorithm for deep belief nets. Neural Computation 2006. ** H. Goh, N. Thome, M. Cord and J.-H. Lim. Top-Down Regularization of Deep Belief Networks. NIPS 2013.
  • 18. 18 /  47 Deep  Boltzmann  Machine l  l  層ごとにわかれた無向グラフィカルモデル DBN  と違い、内側の層は上下両⽅方の層からの フィードバックを受ける –  l  モデルを組み⽴立立てる際の⾃自由度度が上がる RBM  で事前学習、全体を  RBM  のように学習 @ log p(v) = hvi hj idata @wij –  –  R. Salakhutdinov and G. Hinton. Deep Boltzmann Machines. AISTATS 2009. hvi hj imodel ただし  data  期待値も簡単に計算できない(条件付き 分布が  factorize  されない)→  変分推定 Model  期待値は  Persistent  MCMC
  • 19. 19 /  47 Autoencoder  (AE) l  l  ⼊入⼒力力を復復元する2層の  NN 恒等関数を学習しないように以下の⼯工夫 –  ⼊入⼒力力層より⼩小さな隠れ層  (bottleneck) –  正則化(Contractive  AE*,  Sparse  AEなど) W ⼊入⼒力力層 誤差関数 L ⼊入⼒力力層にノイズを加える(Denoising  AE**) l  制約                                    をよく置く  (tied  weights) W0 = W> 隠れ層 W0 –  –  ⼆二乗誤差  DAE  はこの制約のもと、別の⽬目的関数(score   matching  の亜種)と⼀一致し、RBM  と似たエネルギー関 数を持つ*** 復復元層 * S. Rifai, P. Vincent, X. Muller, X. Glorot and Y. Bengio. Contractive Auto-Encoders: Explicit Invariance During Feature Extraction. ICML 2011. ** P. Vincent, H. Larochelle, Y. Bengio and P.-A. Manzagol. Extracting and Composing Robust Features with Denoising Autoencoders. ICML 2008. *** P. Vincent. A Connection Between Score Matching and Denoising Autoencoders. TR 1358, Dept. IRO, Universite de Montreal.
  • 20. Denoising  Autoencoder  (DAE) l  ⼊入⼒力力にノイズを加えてから2層の   NN  で復復元する ノイズはガウスノイズや  Salt-‐‑‒and-‐‑‒ Pepper  ノイズ(ランダムなノード を  0  か  1  で上書き)を使う l  ノイズにある条件を仮定すれば、最適な   l  W ノイズ W0 誤差関数 L 20 /  47 DAE  解はノイズと復復元の操作の繰り返 しが表すマルコフ連鎖の定常分布によ って⼊入⼒力力データの分布を表現する* * Y. Bengio, L. Yao, G. Alain and P. Vincent. Generalized Denoising Auto-Encoders as Generative Models. NIPS 2013.
  • 21. Stacked  Denoising  Autoencoder l  l  DAE  を重ねる 2層⽬目以降降の  DAE  を学習する 場合、それ以前の層はそのまま 適⽤用して、学習する層の⼊入⼒力力層 に対してノイズを加える l  P. Vincent, H. Larochelle, I. Lajoie, Y. Bengio and P.-A. Manzagol. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion. JMLR 11 (2010) 3371-3408. DAE  はデータ分布の多様体を学習している –  曲がりくねった多様体を少し平らな空間に展開する  (disentanglement) –  l  21 /  47 Stacked  DAE  は多様体を少しずつ平らに展開していくことに対応する DAE  に限らず他の  AE  も重ねて  deep  net  を作ることが多い
  • 22. 22 /  47 Deep  Learning l  l  データの深い(多段の)処理理全体を通して学習する 利利点は、複雑なモデルを⽐比較的少ないリソースで学習できること –  2層の  Neural  Network  でも任意の関数を、RBM  でも任意の分布を表現でき るが、それには⼤大量量の隠れユニットと⼤大量量の学習データが必要になる –  Deep  Learning  の場合、同じ関数・分布を表現するのに必要なユニット・デー タ数が浅いモデルに⽐比べて圧倒的に少なくて済む –  Deep  Neural  Net  で学習した関数を「教師」として浅い  Neural  Net  を学習さ せられる*が、同じ⽔水準のモデルを浅い  Neural  Net  で直接得ることは、同じ学 習コストでは(今のところ)できない * L. J. Ba and R. Caruana. Do Deep Nets Really Need to be Deep? ArXiv 1312.6184.
  • 24. Convolutional  Neural  Network  (CNN) l  画像の縦横⽅方向に、同じ重みの窓を スライドさせながら適⽤用 –  l  l  l  l  パラメータの⼤大幅な節約 –  Feature  maps 物体認識識は位置不不変という事前知識識 –  24 /  47 スパースなネットワーク(局所受容野) 強い正則化の効果 GPU  計算との親和性 FFT  を使って⾼高速化する話もある Simple  cell  との対応 Convolutional Neural Network (LeNet) in Deep Learning 0.1 Documentation. http://deeplearning.net/tutorial/lenet.html#details-and-notation
  • 25. 25 /  47 Pooling  (subsampling) l  l  0 @ Feature  map  毎に、矩形上の活性を集約する処理理 L2-‐‑‒pooling,  max-‐‑‒pooling,  average-‐‑‒pooling  がよく使われる 1 1 |rectangle| –  X (i,j)2rectangle 12 x2 A ij max (i,j)2rectangle xij 1 |rectangle| X xij (i,j)2rectangle L2-‐‑‒pooling  や  average-‐‑‒pooling  ではガウス平均を使うこともある l  平⾏行行移動不不変性を獲得するのに役⽴立立つ CNN  は基本的に  convolution  /  activation  /  pooling  の繰り返し l  Complex  cell  との対応 l 
  • 26. 26 /  47 Local  Contrast  Normalization l  局所的(空間⽅方向および同⼀一座標での複数  feature  maps  間)に X 活性を正規化する vijk = xijk wpq xi,j+p,k+q –  –  Divisive –  細かい定義は使⽤用例例によってまちまち –  l  Subtractive 使い⽅方もまちまち vijk / max(c, X 2 wpq vi,j+p,k+q ) ipq K. Jarrett, K. Kavukcuoglu, M. A. Ranzato and Y. LeCun. What is the Best Multi-Stage Architecture for Object Recognition? ICCV 2009. 正規化がどれくらい精度度に影響するのかは不不明 –  l  ipq 正規化なくても精度度出るという報告もある ⼀一次視覚野のニューロンの性質を参考にしている
  • 27. 27 /  47 Supervision A. Krizhevsky, I. Sutskever and G. E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2012. l  図にはないが  pooling  の後ろに  Local  Response  Normalization l  2台の  GPU  で実装(上下のパイプラインがそれぞれ対応、異異なる  feature   maps  を持っている) l  2013年年はこれを使った(拡張する)研究が多かった
  • 28. ユニットの可視化   Deconvolutional  NN l  Max-‐‑‒pooling  が不不可逆なので ユニットの可視化が難しい –  実際に画像を⼊入れて、pooling  で 選択されたピクセルを覚えておく l  ILSVRC2013  の分類タスク優勝 者  (clarifai)  の⼿手法 –  ユニット可視化の⼿手法 –  チューニングが⼤大事 M. D. Zeiler and R. Fergus. Visualizing and Understanding Convolutional Networks. ArXiv 1131.2901v3. 28 /  47
  • 29. 29 /  47 Stochastic  Feedforward  NN l  l  途中にベルヌーイ分布に従うユ ニットを⼊入れる 学習は  EM  アルゴリズム   –  –  l  E-‐‑‒step  は重点サンプリング M-‐‑‒step  は  backpropagation Stochastic  neuron  のおかげで マルチモーダルな予測ができる –  Y. Tang and R. Salakhutdinov. Learning Stochastic Feedforward Neural Networks. NIPS 2013. 右図は左カラムの画像から7通りの 表情を予測するタスクの結果
  • 30. Decoder 再構成型  Topographic  ICA l  l  l  30 /  47 Encoder Sparse  Autoencoder  の変種 Pooling  後の活性に対してスパース 化ペナルティーを与える ⾮非畳み込みの局所受容野と組み合わ せると、近くにあるユニットが似た 重みを持つようになる Pooling  処理理に相当 する重み –  ⼀一次視覚野のニューロンと似た性質 –  平⾏行行移動不不変性よりも複雑な不不変性の獲得 Q. V. Lee, M. A. Ranzato, R. Monga, M. Devin, K. Chen, G. S. Corrado, J. Dean and A. Y. Ng. Building High-level Features Using Large Scale Unsupervised Learning. ICML 2012.
  • 31. Google  の猫認識識 l  3段の再構成型  TICA –  Local  Contrast  Normalization  も使っている –  l  31 /  47 Convolution  ではない(重みを共有しない) Youtube  の動画  10,000,000  フレーム で学習すると猫や顔、⼈人の体などに対応 するユニットが得られる これが3段重なったもの Q. V. Lee, M. A. Ranzato, R. Monga, M. Devin, K. Chen, G. S. Corrado, J. Dean and A. Y. Ng. Building High-level Features Using Large Scale Unsupervised Learning. ICML 2012.
  • 32. DNN  としての  Recurrent  Neural  Network l  l  l  Part  units 32 /  47 隠れ層の活性を⼊入⼒力力の⼀一部として次の 時間ステップでの隠れ層に⼊入⼒力力する 隠れ層を  N  回ループさせれば  N  層の   DNN  と対応する(重みが共有される) ⼿手書き数字に対する適⽤用で、⾃自動的に   part  unit  と  categorical  unit  が得られる (図は  Recurrent  Sparse  Autoencoder) Categorical units J. T. Rolfe and Y. LeCun. Discriminative Recurrent Sparse Auto-Encoders. ICLR 2013.
  • 34. Recursive  Neural  Network l  l  34 /  47 同じ重みの層を⽊木の形に重ねる ⽊木構造の予測 –  下図のように2ノードからそれらが 兄弟ノードにふさわしいかを判別 l  l  再帰的な構造を Neural  Network  で学習 ⽊木が⼤大きければ   deep  なモデル R. Socher, C. C.-Y. Lin, A. Y. Ng and C. D. Manning. Parsing Natural Scenes and Natural Language with Recursive Neural Networks. ICML 2011.
  • 35. Recursive  NN  の発展形 35 /  47 R. Socher, B. Huval, C. D. Manning and A. Y. Ng. Semantic Compositionality through Recursive Matrix-Vector Spaces. EMNLP 2012. R. Socher, A. Perelygin, J. Y. Wu, J. Chuang, C. D. Manning, A. Y. Ng and C. Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. EMNLP 2013. デモあり: http://nlp.stanford.edu/sentiment/
  • 36. 36 /  47 Recurrent  Neural  Network  Language  Model  (RNNLM) ⽂文字、単語 l  隠れ層 次の⼊入⼒力力 の予測 l  ⽂文章を読んで、次の⽂文字や単語を予測す るモデル(⾔言語モデル) Recurrent  Neural  Network  でモデル化 –  –  N-‐‑‒gram  モデルをゆるく可変⻑⾧長にしたような感じ –  時刻  t-‐‑‒1  の隠れ層 隠れ層は最近の⼊入⼒力力に関する記憶を保持する –  コピー 隠れ層の活性が、次の時刻の⼊入⼒力力に含まれる 隠れ層は単語や⽂文章の低次元埋め込み  (word   embeddings)  となっている T. Mikolov, M. Karafiat, L. Burget, J. H. Cernocky and S. Khudanpur. Recurrent neural network based language model. INTERSPEECH 2010.
  • 37. RNN  の学習:  Backpropagation  through  Time t=1 l  l  l  RNN  の適⽤用を時間⽅方向に展 開すると  DNN  のようになる 過去の活性を覚えておけば、   Backpropagation  で勾配が 計算できる 適当な単語数で打ち切切ることも t=2 t=3 37 /  47
  • 38. Deep  Recurrent  Neural  Network l  l  38 /  47 DNN  の各層にループがある   Recurrent  Net 深い層ほど⻑⾧長い時間の記憶 を保持する –  深くし過ぎると記憶のスケー ルは変わらなくなる M. Hermans and B. Schrauwen. Training and Analyzing Deep Recurrent Neural Networks. NIPS 2013.
  • 39. Skip-‐‑‒gram  model 39 /  47 l  l  l  まわりの単語を予測できるように 低次元埋め込みを学習する Deep  Learning  ではないが、単語 の表現学習 Analogical  Reasoning  に有効 –  v(“brother”)  -‐‑‒  v(“sisiter”)  +   v(“queen”)  ≒  v(“king”) l  実装が公開されている:  word2vec –  たくさんの⿊黒魔術 T. Mikolov, K. Chen, G. Corrado and J. Dean. Efficient Estimation of Word Representations in Vector Space. ICLR 2013.
  • 40. 画像認識識との融合:  DeViSE 40 /  47 A. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. A. Ranzato and T. Mikolov. DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013. l  Supervision  と  Skip-‐‑‒gram  model  を組合せて、画像から単語埋 l  め込みベクトルを予測できるようにする 初めて⾒見見る物体でも、意味的な事前知識識があればラベルを予測でき る  (zero-‐‑‒shot  learning)
  • 42. 強化学習との統合 l  l  42 /  47 報酬を最⼤大化するような⽅方策の選び⽅方を深層モデルで学習する ⼿手は付けられ始めている:  Deep  Q-‐‑‒Networks –  ゲームプレイングのタスク。POMDP  の設定で、⾏行行動価値関数を過去数フレー ムの画⾯面に対する畳み込みニューラルネットで表現する l  DeepMind(先⽇日  Google  に買収された) V. Mnih, K. Karukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra and M. Riedmiller. Playing Atari with Deep Reinforcement Learning. NIPS Deep Learning Workshop 2013.
  • 43. Neural  Network  の教育 l  43 /  47 C. Gulcehre and Y. Bengio. Knowledge Matters: Importance of Prior Information for Optimization. NIPS Deep Learning Workshop 2012. ペントミノがすべて同じ形か の⼆二値分類は直接学習できない –  ペントミノの識識別を  NN  で学習 したあと、出⼒力力層を取り替えて 2層⾜足せば学習できる l  l  Curriculum  Learning* 論論理理的な思考を学習させるには適切切な教育が必要 –  論論理理的な思考をどうやってモデル化するかという問題⾃自体を考える必要もある * Y. Bengio, J. Louradour, R. Collobert and J. Weston. Curriculum Learning. ICML 2009.
  • 44. 44 /  47 空間認識識 l  画像分類を超えて、検出、追跡、空間把握へ –  –  追跡:連続するフレーム間での検出結果のひも付け –  l  検出:物体の位置を特定する 空間把握:三次元的な検出、何がどこにあるのか、⾃自分がどこを向いているか 分類と検出の統合はすでに始まっている –  ILSVRC2013  に出場した  LeCun  らのチーム  OverFeat  は  Supervision  ベー スの分類・検出システムを構築した l  ⾳音声や運動(ロボティクス)との統合 P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus and Y. LeCun . OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks. ArXiv 1312.6229.
  • 46. まとめ l  l  Deep  Learning  の重要な技術を広く浅く紹介しました 2014  年年はさらに応⽤用が広がる年年になると思います –  l  研究者⼈人⼝口の増加、⼤大企業の参⼊入 基礎研究、理理論論解析も着実に増えています –  特に  Dropout、DAE、確率率率的ニューロンなど確率率率的に摂動を加える⼿手法への 理理論論解析が多い印象 –  l  46 /  47 Recurrent  Net  の効率率率的な学習も進歩してきています 神経科学との関連性は今後の課題