Recommended
More Related Content
More from Makoto Takenaka
More from Makoto Takenaka (10)
Recently uploaded
Recently uploaded (14)
Adversarial Multi-task Learning for Text Classification
- 1. ⾸都⼤学東京 ⼩町研, ⽵中誠 （図・式は論⽂より引⽤） 2017年9⽉19⽇ ACL読み会@すずかけ台
- 2. この論⽂でやりたいこと • マルチタスク学習の枠組みで、タスク固有とタスク不変の特徴 をキレイに⾒分けてキレイに分類したい • The infantile cart is simple and easy to use. -> positive • This kind of humour is infantile and boring. -> negative private feature shared feature 汚染 1 こうしたい
- 6. 提案モデル: 敵対的マルチタスク学習 • Task Discriminator • “タスク(bookとかmovieとか)の分類問題を解く”タスクを同時に解く • sharedなのでタスクを識別できる情報は排除したい、という気持ち →θDについてはクロスエントロピー最⼤化を考える • トータルの損失 正解 予測 5 Sk: sharedの出⼒を並べた⾏列 Hk: privateの出⼒を並べた⾏列 LDiff: Orthogonality constraints[Bousmalis+, 2016 ] 同じ⼊⼒に対して異なる特徴をencodeさせるための制約
- 7. 実験 • ２値分類 • データセット • 商品レビュー（Amazonレビュー, 14カテゴリ） • 映画レビュー（IMDB, MR） • 評価指標 • エラーレート • ベースライン • SingleTask(LSTM, Bi-LSTM, s-LSTM)の平均 • マルチタスク学習の⽐較⼿法 • MT-CNN[Collobert and Weston, 2008] • embed層だけ共有したモデル • MT-DNN[Liu+, 2015] • 隠れ層を共有したMLPモデ 6
- 8. ハイパパラメターとか • GloVe：200次元 • パラメータ：[-0.1, 0.1]の⼀様分布で初期化 • ミニバッチサイズ：16 • learning rate：0.01 • λ：0.05 • γ：0.01 7
- 9. 実験 • 実験１ • 提案モデル(ASP-MTL)の性能評価 • 実験２ • ASP-MTLにおいて、sharedレイヤは shared feature を捕捉できてい るか 8
- 10. 実験 • 実験１ • 提案モデル(ASP-MTL)の性能評価 • 実験２ • ASP-MTLにおいて、sharedレイヤは shared feature を捕捉できてい るか 9
- 12. 実験 • 実験１ • 提案モデル(ASP-MTL)の性能評価 • 実験２ • ASP-MTLにおいて、sharedレイヤは shared feature を捕捉できてい るか 11
- 13. 実験２の設定 • ⽬的タスク以外の15タスクで SP-MTL, ASP-MTL を訓練 • 訓練後のモデルを⽤い、残りの未知タスクを解く • そのまま使う⽅法：Single-Channel • タスク固有レイヤを新たに設ける⽅法：Bi-Channel 12SP-MTL ASP-MTL再掲
- 14. 実験２の結果 • 同じChannelで⽐較すると、SP-MTLよりASP-MTLが良い • Single-ChannelよりBi-Channelが良い • → ASP-MTLがshared featureをより捕捉できている 13
- 15. ポジネガ判定への寄与の可視化 • ⾚ちゃん⽤品のレビュー⽂において”asleep”を⾒たときの隠れ層の振る舞 いを調べた • 「Five stars, my baby can fall asleep soon in the stroller」 • 結果 • ASP-MTL：ネガティブに振れない • SP-MTL ：ネガティブに触れる(他タスクのsharedに引きずられていると思われ) ポジ ネガ 14
- 16. 汚染は解消されたか • された。 • SP-MTL • sharedが汚染されている（Task固有のものがsharedに混⼊） • ASP-MTL • 混⼊はなく積集合が⼩さい(Ldiffの効果) 15 private feature shared feature 汚染 こうしたかった 再掲