More Related Content Similar to NAACL 2015 Unsupervised Multi-Domain Adaptation with Feature Embedding (6) NAACL 2015 Unsupervised Multi-Domain Adaptation with Feature Embedding1. NAACL 2015 読み会
Unsupervised Multi-Domain
Adaptation with Feature Embedding
Yi Yang and Jacob Eisenstein
2015/06/24
M1 堺澤 勇也
※ このスライド中の全ての図はこの論文中のもので
3. SCL と DA (Denoising Autoencoder) はソースとター
ゲット間で類似している表現を学習している → pivot
featureを学習
これは,DAを解決するのに有効な
表現を学習出来るが以下の問題点がある
• 計算コストが高い
• pivot feature を再構築する必要がある
先行研究
8. 学習(news : WSJ)
training : section 02-21
dev : secction 22
Learning representation : 100,000 のラベルな
し文
学習(web : SANCL)
5つのジャンル(newsgroups, reviews, weblogs,
answers, emails) からそれぞれ100,000 のラベル
なし文
ただし, ANSWERS domain のみ27,274文
テスト
各ドメインの1000文のラベルありデータ
Evaluation:①
9. 比較システム6つ
• baseline : word2vecで表層の表現のみ使用
• MEMM : maximum entropy Markov model
• FlORS : distribution features を使用
• SCL, mDA : pivot feature それぞれ 6918, 2754
• word2vec, FEMA : それぞれ 100 次元でサンプリング数
5
実験結果:
10. Tycho Brahe corpus は下の図のような形のコーパス
最新のものを学習データとし,それ以外のジャン
ルで品詞タグ付けを行う
Evaluation
s : source, t : target
11. 実験結果:
SCL : 1823
mDA : 1823
word2vec : 50,15
FEMA(s) : 50,15
FEMA(a) : 50,15
FEMA(s) : ufn(t) 使用
FEMA(a) : hfn(t)
(0) 使用
12. FE は,DA に対して有効であることがわかった
metadata domain attribute を持つ FE の組み合わせ
によって,各素性のドメイン普遍の本質を取得し,
より頑健な表現を得ることができた
まとめ