SlideShare a Scribd company logo
1 of 143
Download to read offline
自然言語処理のための
Deep Learning
東京工業大学 奥村・高村研究室
D1 菊池悠太 @kiyukuta
at
2013/09/11
Deep Learning for Natural Language Processing
13年9月28日土曜日
13年9月28日土曜日
2つのモチベーション
 - NLPでニューラルネットを
 - 言語の意味的な特徴を
NN→多層×→pretraining→breakthrough !!
焦って早口過ぎてたら
教えて下さい
A yet another brief introduction to neural networks
http://www.slideshare.net/yutakikuchi927/a-yet-another-brief-introduction-to-neural-
networks-26023639
13年9月28日土曜日
Neural networkベースの話
RBMとか苦しい
13年9月28日土曜日
Deep Learning
for NLP
13年9月28日土曜日
Deep Learning
Deep Learning概要
Neural Networkふんわり
Deepへの難しさ
Pretrainingの光
Stacked Autoencoder , DBN
for NLP
13年9月28日土曜日
Deep Learning
for NLP
13年9月28日土曜日
Deep Learning
Deep Learning概要
Neural Networkふんわり
Deepへの難しさ
Pretrainingの光
Stacked Autoencoder , DBN
13年9月28日土曜日
Deep Learning
Unsupervised Representation Learning
生データ
生データ
特徴抽出
学習器- 特徴抽出器
- 人手設計
答え!
答え!Deep Learning
従来
Deep Learning
13年9月28日土曜日
Deep Learning
結論からいうと
Deep Learningとは
良い初期値を(手に入れる方法を)
手に入れた
多層Neural Networkです
13年9月28日土曜日
Deep Learning
⽣生画像から階層毎に階層的な特徴を
ラベル無しデータから教師なしで学習
13年9月28日土曜日
生画像
高次な特徴は,より低次な特徴
の組み合わせで表現
13年9月28日土曜日
= = =
低次レベルの特徴は共有可能
将来のタスクが未知でも
起こる世界は今と同じ
13年9月28日土曜日
Deep Learning
Deep Learning概要
Neural Networkふんわり
Deepへの難しさ
Pretrainingの光
Stacked Autoencoder , DBN
13年9月28日土曜日
A yet another
brief introduction to
Neural Networks
菊池 悠太
13年9月28日土曜日
Neural Network
入力層x
隠れ層z
出力層y
13年9月28日土曜日
入力層x
隠れ層z
出力層y
生データ,抽出した素性
予測
Neural Network
13年9月28日土曜日
入力層x
隠れ層z
出力層y
例えば,手書き数字認識
784次元
10次元
MNIST (28*28の画像)
3!!
[0.05, 0.05, 0.05, 0.40, 0.05, 0.05, 0.15, 0.05, 0.15, 0.05] 10次元の確率分布
(左から,入力画像が,
  0である確率,
   1である確率
   ...
   9である確率)
28*28=
784次元の数値ベクトル
13年9月28日土曜日
入力層x
隠れ層z
出力層y
Neuron
隠れユニットjの
入力層に対する重み
W1
隠れユニットj
13年9月28日土曜日
隠れユニットjの
入力層に対する重み
W1
隠れユニットj
出力ユニットk
出力ユニットkの
隠れ層に対する重みW2
入力層x
隠れ層z
出力層y
Neuron
13年9月28日土曜日
入力層x
隠れ層z
出力層y
W1
W2
行列で表現
層間の重みを行列で表現
13年9月28日土曜日
Neural Networkの処理
- Forward propagation
- Back propagation
- Parameter update
13年9月28日土曜日
Neural Networkの処理
- Forward propagation
- Back propagation
- Parameter update
13年9月28日土曜日
Forward Propagation
入力層x
隠れ層z
出力層y
入力に対し出力を出す
input x
output y
13年9月28日土曜日
入力層x
隠れ層z
出力層y
z = f(W1x + b1)
入力層から隠れ層への情報の伝播
非線形活性化関数f( )
tanh とか
sigmoid とか
f(x0)
f(x1)
f(x2)
f(x3)
f(x) =
13年9月28日土曜日
入力層x
隠れ層z
出力層y
z = f(W1x + b1)
入力層から隠れ層への情報の伝播
非線形活性化関数f( )
tanh,sigmoid
reLU, maxout...
f(x0)
f(x1)
f(x2)
f(x3)
f(x) =
f( )
13年9月28日土曜日
入力層x
隠れ層z
出力層y
z = f(W1x + b1)
f( )
入力層から隠れ層への情報の伝播
⼊入⼒力力の情報を
重み付きで受け取る
隠れユニットが出す
出⼒力力値が決まる
13年9月28日土曜日
入力層x
隠れ層z
出力層y
z = f(W1x + b1)
入力層から隠れ層への情報の伝播
f( )
非線形活性化関数f( )
tanh,sigmoid
reLU, maxout...
f(x0)
f(x1)
f(x2)
f(x3)
f(x) =
13年9月28日土曜日
入力層x
隠れ層z
出力層y
出⼒力力層⽤用の
非線形活性化関数σ( )
   タスク依存
隠れ層から出力層への情報の伝播
y = (W2z + b2)
13年9月28日土曜日
入力層x
隠れ層z
出力層y
出⼒力力層⽤用の
非線形活性化関数σ( )
   タスク依存
隠れ層から出力層への情報の伝播
y = (W2z + b2)
13年9月28日土曜日
入力層x
隠れ層z
出力層y
タスク依存の出力層
解きたいタスクによって
σが変わる
- 回帰
- 二値分類
- 多値分類
- マルチラベリング
y = (W2z + b2)
13年9月28日土曜日
実数
入力層x
隠れ層z
出力層y
回帰のケース
出力に値域はいらない
恒等写像でそのまま出力
(a) = a
y = (W2z + b2)
13年9月28日土曜日
[0:1]
二値分類のケース
出力層は確率
σは0.0~1.0であって欲しい
(a) = 1
1+exp( a)
Sigmoid関数入力層x
隠れ層z
出力層y
y = (W2z + b2)
13年9月28日土曜日
入力層x
隠れ層z
出力層y
多値分類のケース
出力は確率分布
各ノード0以上,総和が1
Softmax関数
sum( 0.2 0.7 0.1 )=1.0
(a) = exp(a)
exp(a)
y = (W2z + b2)
13年9月28日土曜日
入力層x
隠れ層z
出力層y
マルチラベリングのケース
各々が独立に二値分類
(a) = 1
1+exp( a)
element-wiseで
Sigmoid関数
[0:1] [0:1] [0:1] y = (W2z + b2)
13年9月28日土曜日
ちなみに多層になった場合
...
出力層だけタスク依存
隠れ層はぜんぶ同じ
出力層
隠れ層1
隠れ層N
...
13年9月28日土曜日
Forward Propagation
入力層x
隠れ層z
出力層y
z = f(W1x + b1)
y = (W2z + b2)
13年9月28日土曜日
Neural Networkの処理
- Forward propagation
- Back propagation
- Parameter update
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
NNが入力に対する出力の
予測を間違えた場合
正解するように修正したい
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
NNが入力に対する出力の
予測を間違えた場合
正解するように修正したい
修正対象: 層間の重み
z = f(W1x + b1)
↑と,バイアス
y = (W2z + b2)
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
誤差関数を最⼩小化するよう修正
E( ) = 1
2 y( ) t 2
E =
K
k=1 tk log yk
E = t log y (1 t) log(1 y)
E =
K
k=1 t log y + (1 t) log(1 y)
いずれも予測と正解が
違うほど⼤大きくなる
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
 出力ラベルと正解の差
ノードの誤差を計算
y = y t
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
ノードの誤差を計算
 出力ラベルと正解の差
自分が情報を伝えた先の
誤差が伝播してくる
z = WT
2 yf (az)
y = y t
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
y = y t
z = WT
2 yf (az)
 出力ラベルと正解の差
ノードの誤差を計算
自分の影響で上で発生した誤差
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
重みの勾配を計算
⾃自分が上に伝えた
情報で発⽣生した誤差
En
W2
= yzT
En
W1
= zxT
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t
重みの勾配を計算
⾃自分が上に伝えた
情報で発⽣生した誤差
En
W2
= yzT
En
W1
= zxT
13年9月28日土曜日
Neural Networkの処理
- Forward propagation
- Back propagation
- Parameter update
13年9月28日土曜日
Update parameters
入力層x
隠れ層z
出力層y
正解t 重みの更新
W1 = W1
En
W1
W2 = W2
En
W2
13年9月28日土曜日
Update parameters
入力層x
隠れ層z
出力層y
正解t 重みの更新
W1 = W1
En
W1
W2 = W2
En
W2
-Gradient Descent
-Stochastic Gradient Descent
-SGD with mini-batch
  修正するタイミングの違い
13年9月28日土曜日
Neural Network
の処理まとめ
13年9月28日土曜日
Forward Propagation
入力層x
隠れ層z
出力層y
z = f(W1x + b1)
y = (W2z + b2)
入力から予測
input x
output y
13年9月28日土曜日
Back Propagation
入力層x
隠れ層z
出力層y
正解t 誤差と勾配を計算
z = WT
2 yf (az)
y = y t
En
W2
= yzT
En
W1
= zxT
13年9月28日土曜日
Update parameters
入力層x
隠れ層z
出力層y
正解t 勾配方向へ重み更新
W1 = W1
En
W1
W2 = W2
En
W2
13年9月28日土曜日
ちなみにAutoencoder
Neural Networkの特殊系
1. 入力と出力の次元が同じ
2. 教師信号が入力そのもの
入力を圧縮※1して復元
※1 圧縮(隠れ層が入力層より少ない)でなくても,適切に正則化すればうまくいく
13年9月28日土曜日
Neural Networkの特殊系
Autoencoder
z = f(W1x + b1)
y = (W2z + b2)
13年9月28日土曜日
Neural Networkの特殊系
Autoencoder
y = (W2z + b2)
(a) = 1
1+exp( a)
element-wiseで
Sigmoid関数
マルチラベリングのケースに該当
画像の場合,各画素(ユニット)ごとに
明るさ(0.0:黒, 1.0:白)を判定するため
13年9月28日土曜日
Autoencoderの学習するもの
13年9月28日土曜日
Denoising Autoencoder
add noise
denoise
正則化法の一つ,再構築+ノイズの除去
13年9月28日土曜日
Deep Learning
Deep Learning概要
Neural Networkふんわり
Deepへの難しさ
Pretrainingの光
Stacked Autoencoder , DBN
13年9月28日土曜日
Deepになると?
many figures from
http://www.cs.toronto.edu/~fleet/courses/cifarSchool09/slidesBengio.pdf
13年9月28日土曜日
仕組み的には同じ
隠れ層が増えただけ
13年9月28日土曜日
問題は初期化
NNのパラメータ
初期値は乱数
多層(Deep)になってもOK?
13年9月28日土曜日
乱数だとうまくいかない
NNはかなり複雑な変化をする関数なので
悪い局所解にいっちゃう
Learning Deep Architectures for AI (2009)
13年9月28日土曜日
乱数だとうまくいかない
NN自体が表現力高いので
上位二層分のNNだけで訓練データを
再現するには事足りちゃう
ただしそれは汎化能力なし
過学習
inputのランダムな写像だが,
inputの情報は保存している
Greedy Layer-Wise Training of Deep Networks [Bengio+, 2007]
13年9月28日土曜日
Deep Learning
Deep Learning概要
Neural Networkふんわり
Deepへの難しさ
Pretrainingの光
Stacked Autoencoder , DBN
13年9月28日土曜日
2006年,ブレークスルー(Hinton+,2006)
Greedy Layer-wise
unsupervised pretraining
13年9月28日土曜日
層ごとにまずパラメータを更新
層ごとに学習
13年9月28日土曜日
層ごとにまずパラメータを更新
どうやって?
Autoencoder !!
RBMも
[Bengio,2007]
[Hinton,2006]
13年9月28日土曜日
層ごとにまずパラメータを更新
どうなるの?
良い初期値を
得られるようになりました!
Why does Unsupervised Pre-training Help Deep Learning ? [Erhan+, 2010]
[Bengio+, 2007]
なぜpre-trainingが良いのか,諸説あり
13年9月28日土曜日
Deep Learningとは
良い初期値を(手に入れる方法を)
手に入れた※1
Neural Network※2
つまり
※1 諸説あり Why does Unsupervised Pre-training Help Deep Learning ? [Erhan+, 2010]
※2 stacked autoencoderの場合
13年9月28日土曜日
Deep Learning
Deep Learning概要
Neural Networkふんわり
Deepへの難しさ
Pretrainingの光
Stacked Autoencoder , DBN
13年9月28日土曜日
Autoencoder
Neural Networkの特殊系
1. 入力と出力の次元が同じ
2. 教師信号が入力そのもの
訓練データ中の
本質的な情報を捉える
入力を圧縮して復元
13年9月28日土曜日
Neural Networkの特殊系
圧縮ということは隠れ層は
少なくないといけないの?
そうでなくても,
正則化などでうまくいく
Autoencoder
13年9月28日土曜日
Autoencoderの学習するもの
これは,正確にはdenoising autoencoderの図
http://kiyukuta.github.io/2013/08/20/hello_autoencoder.html
13年9月28日土曜日
Stacked Autoencoder
13年9月28日土曜日
このNNの各層を,
その層への⼊入⼒力力を再構築するAutoencoder
として,事前学習
Stacked Autoencoder
13年9月28日土曜日
Deep Learning
Deep Learning概要
Neural Networkふんわり
Deepへの難しさ
Pretrainingの光
Stacked Autoencoder , DBN
13年9月28日土曜日
Deep Learning
for NLP
13年9月28日土曜日
画像処理のように
Deeeeeeepって感じではない
Neural Network-based
くらいのつもりで
13年9月28日土曜日
Deep Learning for
NLP
13年9月28日土曜日
Hello world.
My name is Tom.
2
4
MNIST
784
(28 x 28)
28 x 28= ???
size
Input size
...
...
......
Image Sentence
...
...
...
...
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
13年9月28日土曜日
Hello world.
My name is Tom.
2
4
MNIST
784
(28 x 28)
28 x 28= ???
size
Input representation
...
...
......
Image Sentence
...
...
...
...
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
13年9月28日土曜日
言い換えると
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
NLPでNNを使いたい
単語の特徴をうまく捉えた表現の学習
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
13年9月28日土曜日
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
Keywords
13年9月28日土曜日
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
Keywords
13年9月28日土曜日
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
Keywords
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
13年9月28日土曜日
Word representation
自然言語処理における
単語の表現方法
ベクトル
(Vector Space Model, VSM)
13年9月28日土曜日
単語の意味をベクトルで表現
単語 → ベクトル
dog
いろいろな方法
- One-hot
- Distributional
- Distributed
... 本題
Word representation
13年9月28日土曜日
One-hot representation
各単語に個別IDを割り当て表現
dog
辞書V
0
1
2
236
237
3043
: the
: a
: of
: dog
: sky
: cat
.........
.........
cat
0 |V|
1 00... ...000... 0
1 00... 000... 0
スパースすぎて訓練厳しい
汎化能力なくて未知語扱えず
13年9月28日土曜日
Distributional representation
単語の意味は,周りの文脈によって決まる
Standardな方法
13年9月28日土曜日
Distributed representation
dense, low-dimensional, real-valued
dog k
k
|V|
...
Neural Language Model
により学習
= Word embedding
構文的,意味的な情報
を埋め込む
13年9月28日土曜日
Distributed Word representation
Distributed Phrase representation
Distributed Sentence representation
Distributed Document representation
recursive勢の一強?
さて...
13年9月28日土曜日
Neural Language Model
Distributed Word
Representation
の学習
13年9月28日土曜日
Neural Language Model
言語モデルとは
P(“私の耳が昨日からじんじん痛む”)
P(“私を耳が高くに拡散して草地”) はぁ?
うむ
与えられた文字列の
生成確率を出力するモデル
13年9月28日土曜日
Neural Language Model
N-gram言語モデル
単語列の出現確率を N-gram ずつに分解して近似
次元の呪いを回避
13年9月28日土曜日
Neural Language Model
N-gram言語モデルの課題
1. 実質的には長い文脈は活用できない
  せいぜいN=1,2
2. “似ている単語”を扱えない
  
P(house|green)
13年9月28日土曜日
Neural Language Model
とは
Neural Networkベースの言語モデル
 - 言語モデルの学習
 - Word Embeddingsの学習
同時に学習する
13年9月28日土曜日
Neural Language Model
単語そのもの
その単語のembedding
|辞書|次元の確率分布
どの単語が次に
出てくるかを予測
A Neural Probabilistic Language Model (bengio+, 2003)
13年9月28日土曜日
Neural Language Model
n語の文脈が与えられた時
次にどの単語がどのく
らいの確率でくるか
13年9月28日土曜日
Neural Language Model
似ている単語に似たembeddingを与えられれば,
NN的には似た出力を出すはず
   語の類似度を考慮した言語モデルができる
13年9月28日土曜日
Ranking language model[Collobert & Weston,2008]
仮名
単語列に対しスコアを出すNN
正しい単語列 最後の単語をランダムに入れ替え
>
となるように学習
他の主なアプローチ
13年9月28日土曜日
Recurrent Neural Network [Mikolov+, 2010]
t番⽬目の単語の⼊入⼒力力時に
同時にt-‐‑‒1番⽬目の内部状態を⽂文脈として⼊入⼒力力
1単語ずつ⼊入⼒力力 出⼒力力は同じく
語彙上の確率率率分布
word2vecの人
他の主なアプローチ
13年9月28日土曜日
Recurrent Neural Network [Mikolov+, 2010]
t番⽬目の単語の⼊入⼒力力時に
同時にt-‐‑‒1番⽬目の内部状態を⽂文脈として⼊入⼒力力
1単語ずつ⼊入⼒力力 出⼒力力は同じく
語彙上の確率率率分布
word2vecの人
他の主なアプローチ
13年9月28日土曜日
word2vec
https://code.google.com/p/word2vec/
研究 進展 人生 → 苦悩
人生 恋愛 研究 → 進展
他に...
13年9月28日土曜日
word2vec
https://code.google.com/p/word2vec/
単語間の関係のoffsetを捉えている仮定
king - man + woman ≒ queen
単語の意味についてのしっかりした分析
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
13年9月28日土曜日
先ほどは,単語表現を学習するためのモデル
(Bengio’s, C&W’s, Mikolov’s)
以降は,NNで言語処理のタスクに
取り組むためのモデル
(結果的に単語ベクトルは学習されるが
   おそらくタスク依存なものになっている)
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
13年9月28日土曜日
Collobert & Weston[2008]
convolutional-‐‑‒way
はじめに
2008年の論文
文レベルの話のとこだけ
他に
Multi-task learning
Language model
の話題がある
13年9月28日土曜日
Collobert & Weston[2008]
convolutional-‐‑‒way
はじめに
ここは
2層Neural Network
入力
隠れ層
出力層
13年9月28日土曜日
convolutional-‐‑‒way
はじめに
Neural Networkに
入力するために
どうやって
固定次元に変換するか
任意の長さの文
Collobert & Weston[2008]
13年9月28日土曜日
convolutional-‐‑‒way
Collobert & Weston[2008]
13年9月28日土曜日
convolutional-‐‑‒way
単語をd次元ベクトルに
(word embedding + α)
Collobert & Weston[2008]
13年9月28日土曜日
convolutional-‐‑‒way
3単語をConvolutionして
localな特徴を得る
Collobert & Weston[2008]
13年9月28日土曜日
convolutional-‐‑‒way
共通の重み( )
Collobert & Weston[2008]
13年9月28日土曜日
max(       )
convolutional-‐‑‒way
各次元の最大値を取得
max(       )
max(       )
次元固定のキモ
Collobert & Weston[2008]
13年9月28日土曜日
convolutional-‐‑‒way
固定次元の入力
任意サイズの入力
Neural Networkで学習
Collobert & Weston[2008]
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
13年9月28日土曜日
Richard Socher一派
recursive-‐‑‒way
Recursive Neural Network
Recursive Autoencoder
Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011)
Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011)
13年9月28日土曜日
Richard Socher一派
recursive-‐‑‒way
Recursive Neural Network
Recursive Autoencoder
Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011)
Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011)
13年9月28日土曜日
recursive-‐‑‒way
Recursive Autoencoder
感情分布の推定
Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011)
13年9月28日土曜日
recursive-‐‑‒way
Recursive Autoencoder
Distributed
Representation
Autoencoder
感情分布の推定
Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011)
13年9月28日土曜日
recursive-‐‑‒way
Recursive Autoencoder
2つを1つに圧縮用の共通の
Autoencoderを再帰的に適用
Stacked Autoencoderは
階層毎に別のものを訓練
Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011)
13年9月28日土曜日
recursive-‐‑‒way
Recursive Autoencoder
感情分布の推定
Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011)
13年9月28日土曜日
Richard Socher一派
recursive-‐‑‒way
Recursive Neural Network
Recursive Autoencoder
Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011)
Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011)
13年9月28日土曜日
recursive-‐‑‒way
Recursive Neural Network
Parsing
Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011)
13年9月28日土曜日
recursive-‐‑‒way
Recursive Neural Network
Neural Network
Parsing
Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011)
13年9月28日土曜日
recursive-‐‑‒way
Recursive Neural Network
Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011)
:モデル出力の最大スコア
:正解構文木のスコア
Parsing
構文木中の全非終端ノードのsの総和
13年9月28日土曜日
Socher+’s
ほかの
13年9月28日土曜日
Compositional semantics
Semantic Compositionality through Recursive Matrix-Vector Spaces (EMNLP2012)
各単語にベクトルと行列を割り当て
意味 隣接語への影響
not, very ...
13年9月28日土曜日
Paraphrase
入力: 二つの文
出力: 二つの文が同じ意味か否か
Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection (NIPS2011)
- Unfolding RAEで文の意味
- Dynamic poolingで任意の長さの2文を比べる
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
単語の表現⽅方法としての
密で低次元な連続値ベクトル(word  embedding)
13年9月28日土曜日
Keywords
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
word  embeddingsを学習するためのアプローチ
ex) Bengio’s, recurrent, ranking
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
文ごとに長さが異なるのを扱うアプローチ
13年9月28日土曜日
Keywords
任意の⻑⾧長さの⽂文を⼊入⼒力力とするには??
単語(句句や⽂文も)をどうやって表現する??
Distributed  word  
representation
-‐‑‒  convolutional-‐‑‒way
-‐‑‒  recursive-‐‑‒way
Neural  language  
model
phrase,  sentence-‐‑‒level
representation
Recursiveな方は途中のphraseやsentenceに
おける単語ベクトルも保存
13年9月28日土曜日
2つのモチベーション
 - NLPでニューラルネットを
 - 言語の意味的な特徴を
NN→多層×→pretraining→breakthrough !!
焦って早口過ぎてたら
教えて下さい
具体例の説明が重くなりすぎたかも...
13年9月28日土曜日
2つのモチベーション
 - NLPでニューラルネットを
 - 言語の意味的な特徴を
NN→多層×→pretraining→breakthrough !!
焦って早口過ぎてたら
教えて下さい
具体例の説明が重くなりすぎたかも...
13年9月28日土曜日
Distributed
(Word|Phrase|Sentence|Document)
Representation
Recursive Autoencoder一強
他の枠組みは?
どうする?
よりよい単語の表現
Neural Language Model
意味??
Compositional Semanticsという
タスク自体は,deep learning
以外でも最近盛ん
13年9月28日土曜日
既存タスクへの応用
単語類似度,分類,構造学習...
要約,翻訳,推薦, ...?
- 学習された単語のembeddingを追加素性に使う
他の方法は?
13年9月28日土曜日
おわり
13年9月28日土曜日

More Related Content

What's hot

全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!TransformerArithmer Inc.
 
Encoder-decoder 翻訳 (TISハンズオン資料)
Encoder-decoder 翻訳 (TISハンズオン資料)Encoder-decoder 翻訳 (TISハンズオン資料)
Encoder-decoder 翻訳 (TISハンズオン資料)Yusuke Oda
 
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3までYahoo!デベロッパーネットワーク
 
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17Takuya Akiba
 
論文紹介「A Perspective View and Survey of Meta-Learning」
論文紹介「A Perspective View and Survey of Meta-Learning」論文紹介「A Perspective View and Survey of Meta-Learning」
論文紹介「A Perspective View and Survey of Meta-Learning」Kota Matsui
 
Deeplearning輪読会
Deeplearning輪読会Deeplearning輪読会
Deeplearning輪読会正志 坪坂
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP
 
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learningゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement LearningPreferred Networks
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)Toru Tamaki
 
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向Koichiro Mori
 
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic DatasetsDeep Learning JP
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門Shuyo Nakatani
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Keigo Nishida
 
G社のNMT論文を読んでみた
G社のNMT論文を読んでみたG社のNMT論文を読んでみた
G社のNMT論文を読んでみたToshiaki Nakazawa
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AIChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AIShota Imai
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)Deep Learning JP
 

What's hot (20)

全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
 
Encoder-decoder 翻訳 (TISハンズオン資料)
Encoder-decoder 翻訳 (TISハンズオン資料)Encoder-decoder 翻訳 (TISハンズオン資料)
Encoder-decoder 翻訳 (TISハンズオン資料)
 
Data-Centric AIの紹介
Data-Centric AIの紹介Data-Centric AIの紹介
Data-Centric AIの紹介
 
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
 
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
 
論文紹介「A Perspective View and Survey of Meta-Learning」
論文紹介「A Perspective View and Survey of Meta-Learning」論文紹介「A Perspective View and Survey of Meta-Learning」
論文紹介「A Perspective View and Survey of Meta-Learning」
 
Deeplearning輪読会
Deeplearning輪読会Deeplearning輪読会
Deeplearning輪読会
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
 
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learningゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
 
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
 
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
 
G社のNMT論文を読んでみた
G社のNMT論文を読んでみたG社のNMT論文を読んでみた
G社のNMT論文を読んでみた
 
TVM の紹介
TVM の紹介TVM の紹介
TVM の紹介
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
 
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AIChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
 

Viewers also liked

DL Hackerson 2
DL Hackerson 2DL Hackerson 2
DL Hackerson 2yyammt
 
言語モデル入門 (第二版)
言語モデル入門 (第二版)言語モデル入門 (第二版)
言語モデル入門 (第二版)Yoshinari Fujinuma
 
自然言語処理における意味解析と意味理解
自然言語処理における意味解析と意味理解自然言語処理における意味解析と意味理解
自然言語処理における意味解析と意味理解Kanji Takahashi
 
TensorFlowで会話AIを作ってみた。
TensorFlowで会話AIを作ってみた。TensorFlowで会話AIを作ってみた。
TensorFlowで会話AIを作ってみた。tak9029
 
Chainer Meetup LT (Alpaca)
Chainer Meetup LT (Alpaca)Chainer Meetup LT (Alpaca)
Chainer Meetup LT (Alpaca)Jun-ya Norimatsu
 
Chainer meetup
Chainer meetupChainer meetup
Chainer meetupkikusu
 
Towards Chainer v1.5
Towards Chainer v1.5Towards Chainer v1.5
Towards Chainer v1.5Seiya Tokui
 
Chainer meetup20151014
Chainer meetup20151014Chainer meetup20151014
Chainer meetup20151014Jiro Nishitoba
 
A Chainer MeetUp Talk
A Chainer MeetUp TalkA Chainer MeetUp Talk
A Chainer MeetUp TalkYusuke Oda
 
Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+Seiya Tokui
 
Chainerを使って細胞を数えてみた
Chainerを使って細胞を数えてみたChainerを使って細胞を数えてみた
Chainerを使って細胞を数えてみたsamacoba1983
 
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1NVIDIA Japan
 
深層学習ライブラリの環境問題Chainer Meetup2016 07-02
深層学習ライブラリの環境問題Chainer Meetup2016 07-02深層学習ライブラリの環境問題Chainer Meetup2016 07-02
深層学習ライブラリの環境問題Chainer Meetup2016 07-02Yuta Kashino
 
On the benchmark of Chainer
On the benchmark of ChainerOn the benchmark of Chainer
On the benchmark of ChainerKenta Oono
 
俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstation
俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstation俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstation
俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstationYusuke HIDESHIMA
 
Tensor flow勉強会 (ayashiminagaranotensorflow)
Tensor flow勉強会 (ayashiminagaranotensorflow)Tensor flow勉強会 (ayashiminagaranotensorflow)
Tensor flow勉強会 (ayashiminagaranotensorflow)tak9029
 
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例Yahoo!デベロッパーネットワーク
 
Chainer Development Plan 2015/12
Chainer Development Plan 2015/12Chainer Development Plan 2015/12
Chainer Development Plan 2015/12Seiya Tokui
 

Viewers also liked (20)

DL Hackerson 2
DL Hackerson 2DL Hackerson 2
DL Hackerson 2
 
言語モデル入門 (第二版)
言語モデル入門 (第二版)言語モデル入門 (第二版)
言語モデル入門 (第二版)
 
自然言語処理における意味解析と意味理解
自然言語処理における意味解析と意味理解自然言語処理における意味解析と意味理解
自然言語処理における意味解析と意味理解
 
言語モデル入門
言語モデル入門言語モデル入門
言語モデル入門
 
TensorFlowで会話AIを作ってみた。
TensorFlowで会話AIを作ってみた。TensorFlowで会話AIを作ってみた。
TensorFlowで会話AIを作ってみた。
 
Chainer Meetup LT (Alpaca)
Chainer Meetup LT (Alpaca)Chainer Meetup LT (Alpaca)
Chainer Meetup LT (Alpaca)
 
Chainer meetup
Chainer meetupChainer meetup
Chainer meetup
 
Towards Chainer v1.5
Towards Chainer v1.5Towards Chainer v1.5
Towards Chainer v1.5
 
Chainer meetup20151014
Chainer meetup20151014Chainer meetup20151014
Chainer meetup20151014
 
A Chainer MeetUp Talk
A Chainer MeetUp TalkA Chainer MeetUp Talk
A Chainer MeetUp Talk
 
LT@Chainer Meetup
LT@Chainer MeetupLT@Chainer Meetup
LT@Chainer Meetup
 
Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+
 
Chainerを使って細胞を数えてみた
Chainerを使って細胞を数えてみたChainerを使って細胞を数えてみた
Chainerを使って細胞を数えてみた
 
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
 
深層学習ライブラリの環境問題Chainer Meetup2016 07-02
深層学習ライブラリの環境問題Chainer Meetup2016 07-02深層学習ライブラリの環境問題Chainer Meetup2016 07-02
深層学習ライブラリの環境問題Chainer Meetup2016 07-02
 
On the benchmark of Chainer
On the benchmark of ChainerOn the benchmark of Chainer
On the benchmark of Chainer
 
俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstation
俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstation俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstation
俺のtensorが全然flowしないのでみんなchainer使おう by DEEPstation
 
Tensor flow勉強会 (ayashiminagaranotensorflow)
Tensor flow勉強会 (ayashiminagaranotensorflow)Tensor flow勉強会 (ayashiminagaranotensorflow)
Tensor flow勉強会 (ayashiminagaranotensorflow)
 
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
 
Chainer Development Plan 2015/12
Chainer Development Plan 2015/12Chainer Development Plan 2015/12
Chainer Development Plan 2015/12
 

Recently uploaded

論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayersToru Tamaki
 
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計atsushi061452
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptxssuserbefd24
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一瑛一 西口
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )iwashiira2ctf
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員Sadaomi Nishi
 
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationToru Tamaki
 
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)keikoitakurag
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイントonozaty
 
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑Akihiro Kadohata
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521Satoshi Makita
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdfAyachika Kitazaki
 

Recently uploaded (12)

論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
 
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
 
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
 

自然言語処理のためのDeep Learning