SlideShare a Scribd company logo
1 of 34
Download to read offline
NLP分野における半教師あり学習
および疑似データ学習法の最近の進展
東北⼤学 データ駆動科学・AI教育研究センター
鈴⽊ 潤
2020.09.06
ACL2020オンライン読み会
https://exawizards.connpass.com/event/184582/
1NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
l 本⽇のお題
u (⼀般論として) ⼿元の⾃然⾔語処理 (NLP) タスクの
性能を上げる⽅法論を議論したい
u 特にデータにまつわる⽅法論に焦点を当てる
p 特定のタスクに依存した話はしない
p 細かいアルゴリズムの話はしない => 考え⽅の話に絞る
p 考え⽅/⽅法論/アプローチの俯瞰を捉える
2NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
前フリ:典型的なNLPタスクの構成例
l おおよそ以下の形式とみなせる
: :
世界⼀⾼い⼭の標⾼は? 8,848m質問応答
対話⾵邪引いちゃった。 あらら。熱あるの?
𝑥 𝑦変換規則: 𝑓 𝑥
構⽂解析Economic news had little effect.
Economic news had little effect.
nmod sbj
obj
nmod
Very good movie. すばらしい映画だ。⾃動翻訳
⼊⼒ 出⼒
3NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
前フリ:機械学習によるモデル構築
l 正解データを⽤意して教師あり
学習によりモデル構築
○ ×
××
×
○
○
正解データ
○
学習済み
モデル
○ ×
学習アルゴリズム
評価フェーズ
学習フェーズ
(𝑥 , 𝑦)
𝑥 :
𝑦 : or
4NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
前フリ:機械学習によるモデル構築
l 正解データを⽤意して教師あり
学習によりモデル構築
正解データ
学習済み
モデル
評価フェーズ
学習フェーズ
性能向上に向けて
モデルを“良くする”
例:FFN => RNN
=> LSTM
=> Transformer
学習アルゴリズム
!!
!"
!#
...
...
...
... "#
!!
(!)
!$
(!)
!
%(")
(!)
!!
($)
!$
($)
!%($)
($)
!!
(&'!)
!%(%&")
(&'!)
○ ×
×
×
○
○
○
○ ×or
(𝑥 , 𝑦)
𝑥 :
𝑦 :
5NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
前フリ:機械学習によるモデル構築
l 正解データを⽤意して教師あり
学習によりモデル構築
正解データ
学習済み
モデル
評価フェーズ
学習フェーズ
使えるデータ
を増やす
学習アルゴリズム
性能向上に向けて
モデルを“良くする”
例:FFN => RNN
=> LSTM
=> Transformer
!!
!"
!#
...
...
...
... "#
!!
(!)
!$
(!)
!
%(")
(!)
!!
($)
!$
($)
!%($)
($)
!!
(&'!)
!%(%&")
(&'!)
○ ×or
○ ×
×
×
○
○
○
(𝑥 , 𝑦)
𝑥 :
𝑦 :
6NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
学習データを“良くする”
l データを増やす
u 正解データを増やす
p お⾦と時間的なコストがかかるので,厳しい
p 特にNLPタスクは正解データ作成に⾼度な知識を要求する場
合が多い
– 基礎⾔語解析器:⽂法や⾔語学的な素養
– 翻訳:対象となる⼆つ以上の⾔語
– 質問応答:質問とその答え
p お⾦や時間をかけていいならこれが最も正解の⽅法
Before
After
(理想)
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
○
×
×
×
○
○
7NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
学習データを“良くする”
l データを増やす
u 正解データを増やす (対象外)
=>「ここではこの⽅法は取れない場合を議論する」
8NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
学習データを“良くする”
l データを増やす
u 正解データを増やす (対象外)
=>「ここではこの⽅法は取れない場合を議論する」
u 不完全なデータも活⽤していく
p 教師なしデータを利⽤
p 疑似データを (勝⼿に) ⽣成し利⽤
p (正解データの代替なりそうな別のデータを利⽤) <= 本⽇の
対象外
9NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
l 教師なしデータの活⽤
u 教師なしデータ = ⼊⼒データx 単体 = ⽂章の集合
u web上などから⽐較的容易かつ⼤量に獲得可能
u 典型的なNLPタスクの正解データ量 (数万⽂) の少な
くとも数千倍以上
Common Crawl
https://commoncrawl.org
Wikipedia
https://www.wikipedia.org
10NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
教師なしデータの使い⽅
l Task-agnostic approach
u 基本的に⼆段階⽅式
p 例:ニューラル⾔語モデル
l Task-specific approach
u 主に通常の教師あり学習の⽅法論と合わせて同時学習
既に分野でデファクトスタン
ダードとなった(と考えられ
る)⽅法
半教師あり学習法の⼀種とみ
なせる
11NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
Task-agnostic approach
l 事前学習済み (⼤規模) ニューラル⾔語モデル
u 代表例1:ELMo
p ⽂字単位から組み上げる
p RNN⾔語モデル (2層)
p NAACL-2018 best paper
u 代表例2:BERT
p Subwordから組み上げる,
p Transformer (24層), Masked LM
p NAALC-2019 best paper
u 以降,数多くの⾔語モデルが提案
p モデルサイズ 増↑
p 学習データ量 増↑
– 例:RoBERTa, XLNet, ALBERT, ELECTA, T5, GPT-2/3, ...
(Embeddings from Language Models
(Bidirectional Encoder Representations from Transformers)
12NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
l 各単語の⽂脈に応じた出現確率をモデル化して
いるだけだけど?
u 特定のタスクを良くすることは意図していない
なぜニューラル⾔語モデルが効くのか?
<S>
A
A
puppy hid
puppy
???
hid
出⼒
⼊⼒
1 2 3 4 5時刻
???
<MASK>
hid ???
<S>
<CLS>
A
A
hid slow
通常のNeural LMs
次の(部分)単語を予測する問題を
モデル化
Masked LMs
マスク(或いは置換)された(部分)単
語を予測する問題をモデル化
1 2 3 4 5
13NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
なぜニューラル⾔語モデルが効くのか?
l ⾃然⾔語処理の「世界モデル」という位置付け
u 単語の出現傾向,意味的な類似性,よく使われる表現
などをモデル内に内包
u NLPタスクに散⾒される「データスパースネス問題」
を⼤幅に軽減
p (多くのNLPタスクで 例:⽂書分類,質問応答,固有表現抽出) 少量の対
象タスクの教師データによる事前学習済ニューラル⾔語の
finetuningで現在の最⾼性能達成
l キモは「⼤規模データ」を使っているところ
Elmo BERT
14NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
[余談] 考え⽅は昔からおなじ
l 教師なしデータから学習した単語クラス
タリング (Brown clustering)の特徴を追
加して教師あり学習する⽅法論を提案
https://www.aclweb.org/anthology/N04-1043/NAACL-2004
15NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
[余談] 考え⽅は昔からおなじ
https://www-cs.stanford.edu/~pliang/
papers/meng-thesis.pdf
https://www.aclweb.org/anthology/P08-1068/
l Brown clustering [Brown et al, 1992]
l Similar words appear in similar
contexts
l Similar words have similar
distributions of words to their
immediate left and right
MIT master thesis ACL-2008
16NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
[余談] 考え⽅は昔からおなじ
l 単語分散表現 => ニューラル⾔語モデル
word2vec-LM
(e.g., CBoW)
E
W
lookup
Embedding
Matrix
Output
Layer
Logit
Mat_mul.
sum
softmax
Prob.
E
W(=E)
Mat_mul.
Self-attention
Masked-LM
(e.g., BERT)
softmax
Weight
tying
Hidden Unit
lookup
mask
17NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
キモ
l 分布仮説に基づく単語の類似性の情報を利⽤
l ⼤規模データで学習することで⾔語そのものが
持つ特性を利⽤できる
https://aclweb.org/aclwiki/Distributional_Hypothesis
18NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
l Task-specific approach
u 主に通常の教師あり学習の⽅法論と合わせて同時学習
p Entropy Regularizer
– 確率分布の尖度を滑らかにする正則化
– 正則化なのでDNNではあまり⽤いられない
p Self-training
– ⾃らの予測結果を正解として活⽤
– 理論的にはあまり効果が期待できない
=> ただしDNNの⽂脈では様々な⼯夫で効果がある場合も散⾒
p Cross View Training (CVT)
p Virtual Adversarial Training (VAT)
p Auxiliary Model Approach
19NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
Cross View Training (CVT)
l 補助モデル (Auxiliary Prediction Modules)とメ
インモデルの予測を⼀致させるように学習
https://www.aclweb.org/anthology/D18-1217.pdfEMNLP-2018
正解データからの学習 教師なしデータからの学習
予測場所
限定された情報からでもメインモデルと同じ予測ができるように頑張る
20NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
Virtual Adversarial Training (VAT)
l 「⼊⼒データに敵対的摂動を加えたデータ」と
元⼊⼒データの予測を⼀致させるように学習
ICLR-2017 ACL-2019 https://www.aclweb.org/anthology/P19-1020
元データ
摂動を加えた
データ
元データの近傍は同じ予測になるようにする
21NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
[参考]Adversarial Perturbation / 敵対的摂動
l Adversarial perturbations induce prediction error
[Szegedy, ICLR-2014, Goodfellow, ICLR-2015]
[Goodfellow et al., ICLR-2015]
Input Image Adversarial
Perturbation
Adversarial
Example
パンダ テナガザル?
分離平⾯
パンダデータ
パンダデータ+摂動
テナガザルデータ
敵対的摂動も含めて正しく分類
できるように分離平⾯を修正したい
22NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
Mixture of Expert/Imitator Networks (MEIN)
l 補助モデル(imitator networks) はメインモデル
の予測を⼀致させるように学習
Auxiliary Model Approach
AAAI-2019
orks:
amework
Inui1,2
ligence Project
.ac.jp
y
Ours
Mixture of Expert/Imitator Networks (MEIN)
MLP
Sum
!
LSTM 1st IMN I-th IMN
		()		(*
Softmax
"($|!)
2nd IMN
		(+
…
…
…
…
…
…
…
…0.9 0.1
big joke not even … be funny $ big joke not even funny… be $
…
…
…
…
Compute Imitation Loss (KL-divergence)
MLP
Softmax
LSTM
教師なしデータ
モデル構造
教師なしデータからの学習
l Imitatorは元モデルの出⼒を模倣
l Imitatorの予測の確からしさをメインモデ
ルが正解データで再評価する機構付き
23NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
キモ
l 「似た⼊⼒は似た出⼒になる」という直感に基
づいた⽅法論
u 教師なしデータは正解がわからない => 正解に基づく
学習は難しい => 何か別の使える基準 => 類似性
u 数式的にはそれぞれのモデルのKL-distanceを⼩さく
するようにパラメタ調整
CVT:
VAT:
MEIN:
24NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
l 疑似データの活⽤ / Data Augmentation
u データを作り出す(?)
25NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
[余談] 画像処理タスクとの典型的な違い
l Data augmentationは普通の⽅法
u 画像をシフト/反転/回転/拡⼤/縮⼩など
u 明度,⾊変更など
l データが⽂章の場合,反転/回転/拡⼤といった
処理に相当する変換を定義するのが難しい
26NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
[余談] ⾃然⾔語処理の難しさ
l 「DNN」と「⾃然⾔語処理(NLP)タスク」は本
来相性があまりよくない
NLPタスク
離散記号
可変⻑系列データ
仮想的
DNN
連続空間
固定⻑
物理的
⾃然⾔語処理は画像や⾳声など物理現象を伴
うタスクよりもはるかにうまくいっていない
NLPタスクとDNNをつな
ぐもの
=> 埋め込み技術
逆⽅向は必ずしも⾃明で
はない
{A, B, C}
27NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
Adversarial training
l 最も間違えやすい⽅向にノイズを⼊れたデータ
を使って学習する⽅法論
分離平⾯
元データ
摂動を加えたデータ
ICLR-2017
正解データの近傍は同じ出⼒にな
るはずという直感
28NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
Back-translation
l 出⼒から⼊⼒の予測モデルを考えてデータを⽣
成
u 翻訳,⽂法誤り訂正などの⽣成系タスクに適した⽅法
https://www.aclweb.org/anthology/P16-1009/ACL-2016
出⼒側⾔語 ⼊⼒側⾔語
正解
データ +
単⾔語
データ
翻訳モデル学習
出⼒側⾔語 ⼊⼒側⾔語
(逆)翻訳
モデル
翻訳
モデル
+
出⼒側⾔語⼊⼒側⾔語
①
②
29NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
New Insight?
l ⼆つの正解データを”混ぜたもの“を使って学習
する⽅法論
https://www.aclweb.org/anthology/2020.acl-main.529/
ACL-2020
[参考] mixup:
⼆つのサンプルを”混ぜる”
l 個⼈的にまだ効く直感が完全にはよくわからない
30NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
キモ
l 出⼒側を正解で固定した上で⼊⼒側のデータを
疑似的に作成
u 出⼒側を固定して⼊⼒側を⼯夫して⽔増し
p ⼊⼒側は多少おかしくても⼤きな影響を与えない
p 出⼒側が間違うのは性能に影響を与える
基本的にはこれと同じ考え
31NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
l まとめ
32NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
本⽇のまとめ
l (前提:正解データを増やせないなら) 不完全な
データでも⼯夫して使ってみる
u 教師なしデータ:Task-agnostic approach
p 例:事前学習済みニューラルLM
p 分布仮説に基づく単語間類似度がベースの考え
p ⼤規模データを使うことで⾔語の持つ特性が使える
u 教師なしデータ: Task-specific approach
p 例:CVT, VAT, MEIN
p 「似た⼊⼒は似た出⼒になる」という直感に基づいた⽅法論
u 疑似データ
p 例:AdvT, Back-translation, Mixup?
p 出⼒側を固定して⼊⼒側を⼯夫して⽔増しする
33NLP分野における半教師あり学習および疑似データ学習法の最近の進展 ||| 2020/09/06 ||| Jun Suzuki
Take-home messages
l ⾊んな⼿法が提案されているが根本の考え⽅は
共通している (似ている) 場合が多い
u 根本的に使える考え⽅だから
=> こういった考え⽅を把握して広く活⽤していく
l 効果的なデータを作る/活⽤する⽅法を考えるこ
とで新しい⽅法論がつくれる
u ⾝の回りに使えるデータがないか考えてみる
u モデル単体を改良するより⼤きな効果(があるかも)

More Related Content

What's hot

NeurIPS2020参加報告
NeurIPS2020参加報告NeurIPS2020参加報告
NeurIPS2020参加報告Sho Takase
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!TransformerArithmer Inc.
 
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)Masahiro Suzuki
 
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会Yuya Unno
 
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題joisino
 
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をするConvolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をするDaiki Shimada
 
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9Yuya Unno
 
機械学習を民主化する取り組み
機械学習を民主化する取り組み機械学習を民主化する取り組み
機械学習を民主化する取り組みYoshitaka Ushiku
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴Yuya Unno
 
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...Yuya Unno
 
ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)cvpaper. challenge
 
Learning to forget continual prediction with lstm
Learning to forget continual prediction with lstmLearning to forget continual prediction with lstm
Learning to forget continual prediction with lstmFujimoto Keisuke
 
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative ModelsSeiya Tokui
 
子どもの言語獲得のモデル化とNN Language ModelsNN
子どもの言語獲得のモデル化とNN Language ModelsNN 子どもの言語獲得のモデル化とNN Language ModelsNN
子どもの言語獲得のモデル化とNN Language ModelsNN Chiba Institute of Technology
 
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)STAIR Lab, Chiba Institute of Technology
 
第3回NIPS読み会・関西発表資料
第3回NIPS読み会・関西発表資料第3回NIPS読み会・関西発表資料
第3回NIPS読み会・関西発表資料Takato Horii
 

What's hot (20)

NeurIPS2020参加報告
NeurIPS2020参加報告NeurIPS2020参加報告
NeurIPS2020参加報告
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
 
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
 
深層学習による自然言語処理の研究動向
深層学習による自然言語処理の研究動向深層学習による自然言語処理の研究動向
深層学習による自然言語処理の研究動向
 
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会
 
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
 
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をするConvolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
 
ACL2020
ACL2020ACL2020
ACL2020
 
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
 
機械学習を民主化する取り組み
機械学習を民主化する取り組み機械学習を民主化する取り組み
機械学習を民主化する取り組み
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
 
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
 
NLP2017 NMT Tutorial
NLP2017 NMT TutorialNLP2017 NMT Tutorial
NLP2017 NMT Tutorial
 
ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)ECCV2020 Oral論文 完全読破(1/2)
ECCV2020 Oral論文 完全読破(1/2)
 
Learning to forget continual prediction with lstm
Learning to forget continual prediction with lstmLearning to forget continual prediction with lstm
Learning to forget continual prediction with lstm
 
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
 
子どもの言語獲得のモデル化とNN Language ModelsNN
子どもの言語獲得のモデル化とNN Language ModelsNN 子どもの言語獲得のモデル化とNN Language ModelsNN
子どもの言語獲得のモデル化とNN Language ModelsNN
 
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
教師なしオブジェクトマッチング(第2回ステアラボ人工知能セミナー)
 
第3回NIPS読み会・関西発表資料
第3回NIPS読み会・関西発表資料第3回NIPS読み会・関西発表資料
第3回NIPS読み会・関西発表資料
 

Similar to 2020 0906 acl_2020_reading_shared

形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介Toshinori Sato
 
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習Tatsuya Shirakawa
 
サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27Kensuke Mitsuzawa
 
文章を構成する過程を測定するジグソー・テキストの開発
文章を構成する過程を測定するジグソー・テキストの開発文章を構成する過程を測定するジグソー・テキストの開発
文章を構成する過程を測定するジグソー・テキストの開発yamahige
 
ICML2013読み会 開会宣言
ICML2013読み会 開会宣言ICML2013読み会 開会宣言
ICML2013読み会 開会宣言Shohei Hido
 
パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度Hironori Washizaki
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Preferred Networks
 
ICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial AttacksICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial AttacksMotoki Sato
 
Interop2017
Interop2017Interop2017
Interop2017tak9029
 
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16Akisato Kimura
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太Preferred Networks
 
ICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning AlgorithmICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning AlgorithmYuya Unno
 
深層生成モデルと世界モデル, 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル, 深層生成モデルライブラリPixyzについてMasahiro Suzuki
 
Variational Template Machine for Data-to-Text Generation
Variational Template Machine for Data-to-Text GenerationVariational Template Machine for Data-to-Text Generation
Variational Template Machine for Data-to-Text Generationharmonylab
 
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組みJubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組みJubatusOfficial
 
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual TalksYuya Unno
 
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けてHironori Washizaki
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングYuya Unno
 
ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」Masaru Nagaku
 
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vecTensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vecShin Asakawa
 

Similar to 2020 0906 acl_2020_reading_shared (20)

形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
形態素解析器 MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
 
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
 
サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27サポーターズ勉強会スライド 2018/2/27
サポーターズ勉強会スライド 2018/2/27
 
文章を構成する過程を測定するジグソー・テキストの開発
文章を構成する過程を測定するジグソー・テキストの開発文章を構成する過程を測定するジグソー・テキストの開発
文章を構成する過程を測定するジグソー・テキストの開発
 
ICML2013読み会 開会宣言
ICML2013読み会 開会宣言ICML2013読み会 開会宣言
ICML2013読み会 開会宣言
 
パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
 
ICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial AttacksICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial Attacks
 
Interop2017
Interop2017Interop2017
Interop2017
 
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
 
ICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning AlgorithmICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
 
深層生成モデルと世界モデル, 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル, 深層生成モデルライブラリPixyzについて
 
Variational Template Machine for Data-to-Text Generation
Variational Template Machine for Data-to-Text GenerationVariational Template Machine for Data-to-Text Generation
Variational Template Machine for Data-to-Text Generation
 
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組みJubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
 
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
 
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニング
 
ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」
 
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vecTensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
 

More from 亮宏 藤井

201010 evolving losses_for_unsupervised_video_representation_learning
201010 evolving losses_for_unsupervised_video_representation_learning201010 evolving losses_for_unsupervised_video_representation_learning
201010 evolving losses_for_unsupervised_video_representation_learning亮宏 藤井
 
200704 revisiting knowledge distillation via label smoothing regularization
200704 revisiting knowledge distillation via label smoothing regularization 200704 revisiting knowledge distillation via label smoothing regularization
200704 revisiting knowledge distillation via label smoothing regularization 亮宏 藤井
 
MIXUPは最終層でやった方がいいんじゃないか説
MIXUPは最終層でやった方がいいんじゃないか説MIXUPは最終層でやった方がいいんじゃないか説
MIXUPは最終層でやった方がいいんじゃないか説亮宏 藤井
 
190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...
190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...
190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...亮宏 藤井
 
190602 benchmarking neural network robustness to common corruptions and pertu...
190602 benchmarking neural network robustness to common corruptions and pertu...190602 benchmarking neural network robustness to common corruptions and pertu...
190602 benchmarking neural network robustness to common corruptions and pertu...亮宏 藤井
 
190602 what does_cnn_see
190602 what does_cnn_see190602 what does_cnn_see
190602 what does_cnn_see亮宏 藤井
 
190112 kdgan knowledge distillation with generative adversarial networks
190112 kdgan  knowledge distillation with generative adversarial networks190112 kdgan  knowledge distillation with generative adversarial networks
190112 kdgan knowledge distillation with generative adversarial networks亮宏 藤井
 
Kdgan knowledge distillation with generative adversarial networks
Kdgan  knowledge distillation with generative adversarial networksKdgan  knowledge distillation with generative adversarial networks
Kdgan knowledge distillation with generative adversarial networks亮宏 藤井
 

More from 亮宏 藤井 (8)

201010 evolving losses_for_unsupervised_video_representation_learning
201010 evolving losses_for_unsupervised_video_representation_learning201010 evolving losses_for_unsupervised_video_representation_learning
201010 evolving losses_for_unsupervised_video_representation_learning
 
200704 revisiting knowledge distillation via label smoothing regularization
200704 revisiting knowledge distillation via label smoothing regularization 200704 revisiting knowledge distillation via label smoothing regularization
200704 revisiting knowledge distillation via label smoothing regularization
 
MIXUPは最終層でやった方がいいんじゃないか説
MIXUPは最終層でやった方がいいんじゃないか説MIXUPは最終層でやった方がいいんじゃないか説
MIXUPは最終層でやった方がいいんじゃないか説
 
190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...
190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...
190410 sc fegan-face_editing_generative_adversarial_network_with_users_sketch...
 
190602 benchmarking neural network robustness to common corruptions and pertu...
190602 benchmarking neural network robustness to common corruptions and pertu...190602 benchmarking neural network robustness to common corruptions and pertu...
190602 benchmarking neural network robustness to common corruptions and pertu...
 
190602 what does_cnn_see
190602 what does_cnn_see190602 what does_cnn_see
190602 what does_cnn_see
 
190112 kdgan knowledge distillation with generative adversarial networks
190112 kdgan  knowledge distillation with generative adversarial networks190112 kdgan  knowledge distillation with generative adversarial networks
190112 kdgan knowledge distillation with generative adversarial networks
 
Kdgan knowledge distillation with generative adversarial networks
Kdgan  knowledge distillation with generative adversarial networksKdgan  knowledge distillation with generative adversarial networks
Kdgan knowledge distillation with generative adversarial networks
 

2020 0906 acl_2020_reading_shared