[DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering
1. DEEP LEARNING JP
[DL Papers]
Naoki Nonaka, Matsuo Lab
http://deeplearning.jp/
“BEYOND SHARED HIERARCHIES: DEEP MULTITASK
LEARNING THROUGH SOFT LAYER ORDERING (ICLR2018)”
2018/3/1 1
2. 2018/3/2 2
書誌情報
著者:Elliot Meyerson & Risto Miikkulainen
(The University of Texas at Austin and Sentient Technologies, Inc.)
学会:ICLR 2018 Accepted paper (Poster) (7, 7, 6)
3. 2018/3/2 3
背景
Improving Machined Surface Variation Prediction by Integrating Multi-Task Gaussian Process Learning with Cutting Force Induced Surface Variation Modelingより
Single
task
Multi
task
マルチタスク学習
関連する複数のタスクを同時に学習
させることで,これらのタスクに共通
の要因を獲得させ,タスクの予測精度
を向上させる(朱鷺の杜Wikiより)
深層学習によるマルチタスク学習
(Deep MTL)
6. 2018/3/2 6
先⾏研究
これまでのDeep MTL
a. 関連するタスクを解く出⼒層を追加する⼿法
b. タスクごとに層を重ね,並⾏する層の間を結合する⼿法
c. ネットワークの中間層に出⼒層を追加する⼿法
d. 全てのタスクで核となるパラメータを共有し,少数のタスク特異的なパラメータを置く⼿法