Your SlideShare is downloading. ×
0
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
集団学習の転移学習への応用手法
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

集団学習の転移学習への応用手法

1,100

Published on

研究室発表資料

研究室発表資料

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,100
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
7
Comments
0
Likes
3
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 論文紹介: 集団学習の 転移学習への応用手法2013/01/18砂川辰徳 2013/3/4 1
  • 2. 目次 はじめに 転移学習について TrAdaBoost TrBagging 2013/3/4 2
  • 3. はじめに 転移学習を用いたアプリケーションを 調べていて、その中の1つにECサイ トの商品購買予測の応用例があり、集 団学習を転移学習へ応用している手法 が出ていたので、その周辺を調べまし た。 ◦ †複数ECサイトの情報を用いた転移学習 による商品購買予測(kumagai et al. DEIM Forum 2012) 2013/3/4 3
  • 4. 転移学習 一般的な定義や形式はないが… 関連 タ (source domain)を転移して、目標 メイン(target domain)の 解く。 2013/3/4 4
  • 5. ターゲットのデータの性質 source domain target domain 解きたい問題と似  これから解きたい ては 、解 問題 きたい  ない タや知識は不十分 解く タや知識は十分 2013/3/4 5
  • 6. Negative transfer source domainとtarget domainのデータの性 質が異なりすぎる場合、source domainを用 いて学習すると、target domainのみを用いて 学習するよりもモデルの精度が下がってしま う現象。 Ex.)ある人物が会議に参加するするかどうか を判別する問題の転移学習で、軍関係者の予 測において学者のデータを用いると精度が悪 化する。†To Transfer or Not To Transfer(M. T. Rosenstein NIPS 2005workshop) 2013/3/4 6
  • 7. 今回紹介する手法 TrAdaBoost ◦ Transfer learning + AdaBoost †Boosting for Transfer Learning (W. Dai et al. ICML 2007) TrAdaBag ◦ Transfer learning + Bagging †TrBagg: A Simple Transfer Learning Method and Its Application to Personalization in Collaborative Tagging (T. Kamishima et al. ICDM 2009) 2013/3/4 7
  • 8. 今回紹介する手法 TrAdaBoost ◦ Transfer learning + AdaBoost †Boosting for Transfer Learning (W. Dai et al. ICML 2007) TrAdaBag ◦ Transfer learning + Bagging †TrBagg: A Simple Transfer Learning Method and Its Application to Personalization in Collaborative Tagging (T. Kamishima et al. ICDM 2009) 2013/3/4 8
  • 9. AdaBoost概要 弱学習器を組み合わせて、制度の高い 学習器を構成する手法 データに対する重みの分布を各ステッ プの学習ごとに適応的に変える。 誤分類した訓練データの重みを大きく していくように分布を更新する。 2013/3/4 9
  • 10. AdaBoost 2013/3/4 10
  • 11. 学習器の係数の決定(1) 2013/3/4 11
  • 12. 学習器の係数の決定(2) 2013/3/4 12
  • 13. TrAdaBoost概要 弱学習器は、source domainとtarget domain の両方を使って行う。 重みはどちら由来の訓練データにも与えられ ている。 弱学習器の誤差は目標データについて評価。 誤差の大きなtarget dom ain由来の訓練デー タの重みは増やして,そのデータを次の弱学 習器で分類できるようにする。 誤差の大きなsource domain由来の訓練デー タは目標タスクと無関係と考え,その重みを 小さくする。 2013/3/4 13
  • 14. TrAdaBoostTrAdaboostラベル付き訓練データTをXs(same-distribution = target domain)とXd (diff-distribution = source domain)から用意。 c…インスタンスのlabel y = {0,1}を返す。Input:訓練データT、テストデータS、イテレーション回数NInitialize: wigted vectorの初期値w1 = 2013/3/4 14
  • 15. TrAdaBoostTrAdaboost1. で正規化し、これによって、訓練 データTを重み付けし、学習器 を得る。2. Target domain由来の訓練データTsのラベルをhtで予測し、 誤差を計算する。3. と を用意。4. weighted vector を以下に更新 以上1~4をN回繰り返す。 2013/3/4 15
  • 16. TrAdaBoostTrAdaboost以下の学習器により、分類を行う。分類のとき,普通のAdaBoostでは全ての弱学習器を用いるが,TrAdaBoostでは学習の後半で獲得されたものだけを用いる。 2013/3/4 16
  • 17. 今回紹介する手法 TrAdaBoost ◦ Transfer learning + AdaBoost †Boosting for Transfer Learning (W. Dai et al. ICML 2007) TrAdaBag ◦ Transfer learning + Bagging †TrBagg: A Simple Transfer Learning Method and Its Application to Personalization in Collaborative Tagging (T. Kamishima et al. ICDM 2009) 2013/3/4 17
  • 18. Bagging概要与えられたデータセットから、bootstrapと呼ばれているリサンプリング法によって複数の学習データセットを作成し、そのデータを用いて作成した回帰・分類結果を統合・組み合わせる方法で精度を向上させる。 2013/3/4 18
  • 19. Bagging アルゴリズムBaggingInput:データD={(x1,y1)…(xn,yn)},イテレーション数TIteration:t = 1~T D からbootstrapによってDt’生成 Dt’で学習した学習器Output:クラスラベルの推定はで行う。 2013/3/4 19
  • 20. BaggingE[弱学習器の平均2乗誤差]≧平均化した学習器の平均2乗誤差 Bootstrapにより、学習器のパラメー タの推定量が従う分布を近似的に扱っ ている。 2013/3/4 20
  • 21. TrBaggTrBaggtarget domainとsource domainをそれぞれ とする。また、それらを結合したデータを とする。Input:Initialize:Iteration:t = 1~T からbootstrapによって生成 で学習した学習器 …後述Output: 2013/3/4 21
  • 22. TrBaggTrBagg (filtering)Input: で学習した学習器 を に対する予測誤差で昇順にソート による への予測誤差 2013/3/4 22
  • 23. TrBaggTrBagg (filtering)Iteration: t =1…T による多数決で得られた への予測誤差Output:このとき、多数決による予測は、 で行う。 2013/3/4 23
  • 24. TrBaggの利点 パラメータが比較的少ないため、 チューニングが容易 学習器の生成過程は、並列計算が可能 2013/3/4 24

×