Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
論文紹介:  集団学習の  転移学習への応用手法2013/01/18砂川辰徳             2013/3/4   1
目次 はじめに 転移学習について TrAdaBoost TrBagging           2013/3/4   2
はじめに   転移学習を用いたアプリケーションを    調べていて、その中の1つにECサイ    トの商品購買予測の応用例があり、集    団学習を転移学習へ応用している手法    が出ていたので、その周辺を調べまし    た。    ◦ †...
転移学習   一般的な定義や形式はないが…   関連                      タ    (source domain)を転移して、目標      メイン(target domain)の              解く。  ...
ターゲットのデータの性質    source domain              target domain 解きたい問題と似                    これから解きたい  ては    、解                 ...
Negative transfer   source domainとtarget domainのデータの性    質が異なりすぎる場合、source domainを用    いて学習すると、target domainのみを用いて    学習す...
今回紹介する手法   TrAdaBoost    ◦ Transfer learning + AdaBoost    †Boosting for Transfer Learning (W. Dai et    al. ICML 2007) ...
今回紹介する手法   TrAdaBoost    ◦ Transfer learning + AdaBoost    †Boosting for Transfer Learning (W. Dai et    al. ICML 2007) ...
AdaBoost概要 弱学習器を組み合わせて、制度の高い  学習器を構成する手法 データに対する重みの分布を各ステッ  プの学習ごとに適応的に変える。 誤分類した訓練データの重みを大きく  していくように分布を更新する。         ...
AdaBoost           2013/3/4   10
学習器の係数の決定(1)       2013/3/4   11
学習器の係数の決定(2)       2013/3/4   12
TrAdaBoost概要 弱学習器は、source domainとtarget domain  の両方を使って行う。 重みはどちら由来の訓練データにも与えられ  ている。 弱学習器の誤差は目標データについて評価。 誤差の大きなtarge...
TrAdaBoostTrAdaboostラベル付き訓練データTをXs(same-distribution = target domain)とXd (diff-distribution = source domain)から用意。         ...
TrAdaBoostTrAdaboost1.                     で正規化し、これによって、訓練     データTを重み付けし、学習器             を得る。2.   Target domain由来の訓練データTs...
TrAdaBoostTrAdaboost以下の学習器により、分類を行う。分類のとき,普通のAdaBoostでは全ての弱学習器を用いるが,TrAdaBoostでは学習の後半で獲得されたものだけを用いる。             2013/3/4 ...
今回紹介する手法   TrAdaBoost    ◦ Transfer learning + AdaBoost    †Boosting for Transfer Learning (W. Dai et    al. ICML 2007) ...
Bagging概要与えられたデータセットから、bootstrapと呼ばれているリサンプリング法によって複数の学習データセットを作成し、そのデータを用いて作成した回帰・分類結果を統合・組み合わせる方法で精度を向上させる。           20...
Bagging アルゴリズムBaggingInput:データD={(x1,y1)…(xn,yn)},イテレーション数TIteration:t = 1~T          D からbootstrapによってDt’生成           Dt’...
BaggingE[弱学習器の平均2乗誤差]≧平均化した学習器の平均2乗誤差   Bootstrapにより、学習器のパラメー    タの推定量が従う分布を近似的に扱っ    ている。             2013/3/4   20
TrBaggTrBaggtarget domainとsource domainをそれぞれ    とする。また、それらを結合したデータを                    とする。Input:Initialize:Iteration:t = ...
TrBaggTrBagg (filtering)Input:          で学習した学習器                     を   に対する予測誤差で昇順にソート         による    への予測誤差            ...
TrBaggTrBagg (filtering)Iteration: t =1…T            による多数決で得られた          への予測誤差Output:このとき、多数決による予測は、                    ...
TrBaggの利点 パラメータが比較的少ないため、  チューニングが容易 学習器の生成過程は、並列計算が可能            2013/3/4   24
Upcoming SlideShare
Loading in …5
×

集団学習の転移学習への応用手法

2,353 views

Published on

研究室発表資料

  • Be the first to comment

集団学習の転移学習への応用手法

  1. 1. 論文紹介: 集団学習の 転移学習への応用手法2013/01/18砂川辰徳 2013/3/4 1
  2. 2. 目次 はじめに 転移学習について TrAdaBoost TrBagging 2013/3/4 2
  3. 3. はじめに 転移学習を用いたアプリケーションを 調べていて、その中の1つにECサイ トの商品購買予測の応用例があり、集 団学習を転移学習へ応用している手法 が出ていたので、その周辺を調べまし た。 ◦ †複数ECサイトの情報を用いた転移学習 による商品購買予測(kumagai et al. DEIM Forum 2012) 2013/3/4 3
  4. 4. 転移学習 一般的な定義や形式はないが… 関連 タ (source domain)を転移して、目標 メイン(target domain)の 解く。 2013/3/4 4
  5. 5. ターゲットのデータの性質 source domain target domain 解きたい問題と似  これから解きたい ては 、解 問題 きたい  ない タや知識は不十分 解く タや知識は十分 2013/3/4 5
  6. 6. Negative transfer source domainとtarget domainのデータの性 質が異なりすぎる場合、source domainを用 いて学習すると、target domainのみを用いて 学習するよりもモデルの精度が下がってしま う現象。 Ex.)ある人物が会議に参加するするかどうか を判別する問題の転移学習で、軍関係者の予 測において学者のデータを用いると精度が悪 化する。†To Transfer or Not To Transfer(M. T. Rosenstein NIPS 2005workshop) 2013/3/4 6
  7. 7. 今回紹介する手法 TrAdaBoost ◦ Transfer learning + AdaBoost †Boosting for Transfer Learning (W. Dai et al. ICML 2007) TrAdaBag ◦ Transfer learning + Bagging †TrBagg: A Simple Transfer Learning Method and Its Application to Personalization in Collaborative Tagging (T. Kamishima et al. ICDM 2009) 2013/3/4 7
  8. 8. 今回紹介する手法 TrAdaBoost ◦ Transfer learning + AdaBoost †Boosting for Transfer Learning (W. Dai et al. ICML 2007) TrAdaBag ◦ Transfer learning + Bagging †TrBagg: A Simple Transfer Learning Method and Its Application to Personalization in Collaborative Tagging (T. Kamishima et al. ICDM 2009) 2013/3/4 8
  9. 9. AdaBoost概要 弱学習器を組み合わせて、制度の高い 学習器を構成する手法 データに対する重みの分布を各ステッ プの学習ごとに適応的に変える。 誤分類した訓練データの重みを大きく していくように分布を更新する。 2013/3/4 9
  10. 10. AdaBoost 2013/3/4 10
  11. 11. 学習器の係数の決定(1) 2013/3/4 11
  12. 12. 学習器の係数の決定(2) 2013/3/4 12
  13. 13. TrAdaBoost概要 弱学習器は、source domainとtarget domain の両方を使って行う。 重みはどちら由来の訓練データにも与えられ ている。 弱学習器の誤差は目標データについて評価。 誤差の大きなtarget dom ain由来の訓練デー タの重みは増やして,そのデータを次の弱学 習器で分類できるようにする。 誤差の大きなsource domain由来の訓練デー タは目標タスクと無関係と考え,その重みを 小さくする。 2013/3/4 13
  14. 14. TrAdaBoostTrAdaboostラベル付き訓練データTをXs(same-distribution = target domain)とXd (diff-distribution = source domain)から用意。 c…インスタンスのlabel y = {0,1}を返す。Input:訓練データT、テストデータS、イテレーション回数NInitialize: wigted vectorの初期値w1 = 2013/3/4 14
  15. 15. TrAdaBoostTrAdaboost1. で正規化し、これによって、訓練 データTを重み付けし、学習器 を得る。2. Target domain由来の訓練データTsのラベルをhtで予測し、 誤差を計算する。3. と を用意。4. weighted vector を以下に更新 以上1~4をN回繰り返す。 2013/3/4 15
  16. 16. TrAdaBoostTrAdaboost以下の学習器により、分類を行う。分類のとき,普通のAdaBoostでは全ての弱学習器を用いるが,TrAdaBoostでは学習の後半で獲得されたものだけを用いる。 2013/3/4 16
  17. 17. 今回紹介する手法 TrAdaBoost ◦ Transfer learning + AdaBoost †Boosting for Transfer Learning (W. Dai et al. ICML 2007) TrAdaBag ◦ Transfer learning + Bagging †TrBagg: A Simple Transfer Learning Method and Its Application to Personalization in Collaborative Tagging (T. Kamishima et al. ICDM 2009) 2013/3/4 17
  18. 18. Bagging概要与えられたデータセットから、bootstrapと呼ばれているリサンプリング法によって複数の学習データセットを作成し、そのデータを用いて作成した回帰・分類結果を統合・組み合わせる方法で精度を向上させる。 2013/3/4 18
  19. 19. Bagging アルゴリズムBaggingInput:データD={(x1,y1)…(xn,yn)},イテレーション数TIteration:t = 1~T D からbootstrapによってDt’生成 Dt’で学習した学習器Output:クラスラベルの推定はで行う。 2013/3/4 19
  20. 20. BaggingE[弱学習器の平均2乗誤差]≧平均化した学習器の平均2乗誤差 Bootstrapにより、学習器のパラメー タの推定量が従う分布を近似的に扱っ ている。 2013/3/4 20
  21. 21. TrBaggTrBaggtarget domainとsource domainをそれぞれ とする。また、それらを結合したデータを とする。Input:Initialize:Iteration:t = 1~T からbootstrapによって生成 で学習した学習器 …後述Output: 2013/3/4 21
  22. 22. TrBaggTrBagg (filtering)Input: で学習した学習器 を に対する予測誤差で昇順にソート による への予測誤差 2013/3/4 22
  23. 23. TrBaggTrBagg (filtering)Iteration: t =1…T による多数決で得られた への予測誤差Output:このとき、多数決による予測は、 で行う。 2013/3/4 23
  24. 24. TrBaggの利点 パラメータが比較的少ないため、 チューニングが容易 学習器の生成過程は、並列計算が可能 2013/3/4 24

×