Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介

5,386 views

Published on

Published in: Technology

Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介

  1. 1. Model  Transport:  Towards  Scalable  Transfer   Learning  on  Manifolds   論文紹介 2014/8/2   @_kohta
  2. 2. Outline •  問題設定   •  Transfer  Learning   •  多様体、接空間、Parallel  Transport   •  TransporDng  Methods   •  Results   •  所感
  3. 3. 問題設定 •  問題   –  あるドメイン1では沢山データがあるが、そこから移動した ドメイン2ではデータが少ない   –  何とかドメイン2のよいモデルを作れないか?   •  条件   –  ドメイン間の移動の仕方は分かっている   –  データそのものを移動するのはexpensive   port: Towards Scalable Transfer Learning on Manifolds ifeld MA, USA l.mit.edu Søren Hauberg DTU Compute Lyngby, Denmark sohau@dtu.dk Michael J. Black MPI for Intelligent Systems T¨ubingen, Germany black@tue.mpg.de tract tion of two research fields: cs on manifolds. In particu- d-valued data, transfer learn- such as Gaussians distribu- assifiers. Though one would Rn -transfer learning ideas, the . We overcome this by basing -preserving parallel transport, d in other problems of statis- r vision. At first, this straight- (a) Data on a manifold (b) Data models
  4. 4. Transfer  Learning •  あるドメインで学習したモデルを別のドメインでも使 いたい   –  その為の「修正」を改めて学習する   –  色々な問題設定、手法が存在する…  
  5. 5. 多様体、接空間、Parallel  Transport •  多様体   –  多様体は「曲面」を一般化したようなもの  
  6. 6. 多様体、接空間、Parallel  Transport •  多様体   –  多様体は「曲面」を一般化したようなもの   –  ユークリッド空間に埋め込まれた多様体(球面とか)上の 点はベクトルで表せるが、足したり引いたりすることはで きない   多様体上の点ではない! ベクトルの比較も   簡単にはできない!
  7. 7. 多様体、接空間、Parallel  Transport •  意味のあるデータは多様体上にある M.  Alex  O.  Vasilescu,  h1p://alumni.media.mit.edu/~maov/research_index.html  
  8. 8. 多様体、接空間、Parallel  Transport •  意味のあるデータは多様体上にある Parallel Transport on the Manifold Parallel Transport on the Euclidean Space Original Sequence Fig. 7. Comparison between the results of parallel transport on the manifold versus that of Euclidean space. The first sequence (its tangent vector from the leftmost to the rightmost shape) is parallel transported to the face on the second and third row, and the new sequence is synthesized on the manifold (second row) and Euclidean space (third row). corresponding to each AU [29]. Especially for the CK database, since each AU is represented using a sequence of sufficient landmarks on the faces limits our recognition capabilities. For example we cannot recognize the AU-43 S.  Taheri,  et  al.:  Towards  View-­‐Invariant  Expression  Analysis  Using  AnalyGc  Shape  Manifolds
  9. 9. 多様体、接空間、Parallel  Transport •  多様体   –  より正確には、各点で局所座標系(ユークリッド空間への 同相写像)が定義できるような位相空間のこと   –  「近傍」があるような集合と思えば(ビジョン等への応用上 は)たぶんよい
  10. 10. 多様体、接空間、Parallel  Transport •  接空間   –  ある1点で多様体に「接する」平坦な空間(超平面)を考え る事ができる。これを接空間と呼ぶ   –  接空間はベクトル空間なので我々がよく知っている様々 な操作を行うことができる   –  実用上は接空間上でのアルゴリズムを考えるのが普通   Exponential Map Given a Lie group G, with its related Lie Algebra g = TG(I), there always ex smooth map from Lie Algebra g to the Lie group G called exponential ma SO(n) so(n) I A is the point in t reached by travelin geodesic passing th identity in direc for a unit of time (Note: A defines alshIp://www.inf.ethz.ch/personal/lballan/teaching.html 接空間TIM 多様体M :(単位元Iの周りの)接空間上の点を    多様体にマッピング    (接空間上の直線が多様体上の測地線     になるようなマッピング)   log(a) a :多様体上の点を(単位元Iの周りの)      接空間にマッピング      (exponenDal  mapの逆写像)  
  11. 11. 多様体、接空間、Parallel  Transport •  接空間   –  多様体と接空間の間を行き来する写像を定義できること がある   –  ExponenDal  map:  接空間  -­‐>  多様体   –  Logarithm  map:        多様体  -­‐>  接空間   Exponential Map Given a Lie group G, with its related Lie Algebra g = TG(I), there always ex smooth map from Lie Algebra g to the Lie group G called exponential ma SO(n) so(n) I A is the point in t reached by travelin geodesic passing th identity in direc for a unit of time (Note: A defines alshIp://www.inf.ethz.ch/personal/lballan/teaching.html 接空間TIM :(単位元Iの周りの)接空間上の点を    多様体にマッピング    (接空間上の直線が多様体上の測地線     になるようなマッピング)   log(a) a :多様体上の点を(単位元Iの周りの)      接空間にマッピング      (exponenDal  mapの逆写像)   多様体M
  12. 12. 多様体、接空間、Parallel  Transport •  接空間   –  expmap等は、測地線との関係で定義される   –  接空間上の直線が多様体上の測地線にマッピングされる ようなものとして定義   –  多様体の距離構造(計量)に依存して決まる   Exponential Map Given a Lie group G, with its related Lie Algebra g = TG(I), there always ex smooth map from Lie Algebra g to the Lie group G called exponential ma SO(n) so(n) I A is the point in t reached by travelin geodesic passing th identity in direc for a unit of time (Note: A defines alshIp://www.inf.ethz.ch/personal/lballan/teaching.html 接空間TIM :(単位元Iの周りの)接空間上の点を    多様体にマッピング    (接空間上の直線が多様体上の測地線     になるようなマッピング)   log(a) a :多様体上の点を(単位元Iの周りの)      接空間にマッピング      (exponenDal  mapの逆写像)   多様体M
  13. 13. 多様体、接空間、Parallel  Transport •  Lie群   –  Lie群は、「群でありかつ多様体である」ような集合   –  群演算が多様体上の写像になっていて、接空間(Lie代 数)やexpmap等が明示的に構成できることが多いので実 際上便利   –  ビジョンの応用で現れる多様体は(サーフェスを除いて) Lie群であることが多い   : G ⇥ G ! GG 群の定義 集合 とその上の演算              について g, h, k 2 G g (h k) = (g h) k e 2 G, g e = e g = g (結合率) (単位元の存在) (逆元の存在) g 1 2 G, g g 1 = g 1 g = e
  14. 14. 多様体、接空間、Parallel  Transport •  行列とLie群   –  実用上現れる多くのLie群は行列型で、行列積について群 になっている(一般線形群の部分群)   –  このような群に対しては行列の指数関数が自然な exponenDal  mapになっている   exp(X) = 1X n=0 1 n! Xn
  15. 15. 多様体、接空間、Parallel  Transport •  Lie群   –  Lie群の例:  SO(3)  (3次元回転群)   –  so(3):  SO(3)のLie代数(単位元Iの周りでの接空間)   SO(3) = {R | R 2 R3⇥3 , RRT = I, |R| = 1} ⌦ = 0 @ 0 !1 !2 !1 0 !3 !2 !3 0 1 A , !1, !2, !3 2 R exp(⌦) = I + sin |⌦| |⌦| ⌦ + 1 cos |⌦| |⌦|2 ⌦2 log R = 1 2 sin ✓ (R RT ), ✓ = cos 1 ✓ Tr(R) 1 2 ◆
  16. 16. 多様体、接空間、Parallel  Transport •  Parallel  Transport   –  接ベクトル(接空間の元)を 多様体に沿って移動させる   –  接続(connecDon)と呼ばれ る量によって定義される   •  色々な接続を考えることがで きる。通常は接空間のベクト ルの内積を保存する接続 (Levi-­‐Civita接続)を用いる   –  接ベクトルの移動     = 接空間モデルの移動 −1 −0.5 0 0.5 1 −1 −0.5 0 0.5 1 −1 −0.5 0 0.5 1 x1 2 TqMq p x0 2 TpM Figure 5.3: Parallel transport of x0 along the geodesic between p 1. c(0)!c(0)(x0) = x0. 2. Let u, s and t be in [0, 1]. If c(u)!c(t) and c(s)!c(u) are defined in c st : Tc(s)M ! Tc(t)M 曲線c 曲線c上の点c(s)でのベクトルから   点c(t)のベクトルへの写像
  17. 17. Model  Transport •  Karcher  mean  (Frechet  mean) SO(3): Tangent Spaces SO(3) 1-manifold 3-manifold gent spaces of these two manifolds? 多様体 Xf ⌘ argmin X X i d(X, Xi) 効率的な計算法:  X.  Pennec,  ProbabiliDes  and  staDsDcs  on  Riemannian  manifolds:                                                                                                          Basic  tools  for  geometric  measurementss
  18. 18. Model  Transport •  Parallel  Transportの数値計算   –  Schild’s  Ladder 174 Figure 5.6: An illustration of Schild’s Ladder for approximating the parallel transport (for K = 3). See text for details. 5.4.4.2 Schild’s ladder When there is no closed-form solution, we use Schild’s ladder [106], a strikingly simple M.  Lorenzi,  et  al.:  Schild’s  ladder  for  the  parallel  transport  of  deformaDons  in  Dme  series                                                                  of  images  IPMI  2011
  19. 19. TransporDng  Methods •  Task1   –  ドメインLのデータ      が十分にあり、転移先のドメイ ンSのデータ      が少数しかない(平均は計算可能)   –      に対応する分散共分散行列を求めたい   •  Task2   –  ラベル(離散または連続)データ                                ,          とラベルなしデータ がある   –                     のラベルを求めたい(識別、回帰)   {xL i }NL i=1 {xS i }NS i=1 {xA i }NA i=1 {xB i }NB i=1 {xS i } yA i = label(xA i ) {xB i } Cov({pi}N i=1) = 1 N 1 X i logµ(pi) logµ(pi)T P.  T.  Fletcher,  et  al.:  Principal  Geodesic  Analysis  for  the  Study  of  Nonlinear  StaDsDcs  of  Shape                                                                          Trans.  Med.  Imag.  (2004) 分散共分散行列
  20. 20. TransporDng  Methods •  Data  Transport   –  ドメインAのデータをドメインBのまわりにtransportする   •  データ数が多いとexpensive   •  Basis  Transport   –  モデルを構成する(接空間の)基底ベクトルをドメインBの まわりにtransportする   •  モデルの次元数が多いとexpensive  
  21. 21. TransporDng  Methods •  Model  Transport(proposed)   –  モデルに関わる少数のベクトルだけtransportすることが できる   •  (実際は少数にならない場合も多い気がするけど…)   –  基本的な発想は、モデルを構成する(接)ベクトルだけを transportする   port: Towards Scalable Transfer Learning on Manifolds eifeld T MA, USA il.mit.edu Søren Hauberg DTU Compute Lyngby, Denmark sohau@dtu.dk Michael J. Black MPI for Intelligent Systems T¨ubingen, Germany black@tue.mpg.de stract ction of two research fields: ics on manifolds. In particu- ld-valued data, transfer learn- s such as Gaussians distribu- classifiers. Though one would Rn -transfer learning ideas, the it. We overcome this by basing t-preserving parallel transport, ed in other problems of statis- er vision. At first, this straight- er from an obvious shortcom- asets is prohibitively expensive, (a) Data on a manifold (b) Data models
  22. 22. TransporDng  Methods •  PCA  Transport   –  transport前後の点   –  点pの周りの接空間のデータ   –  点qの周りの接空間のデータ   –                       でのPCA,  SVDモデル   p, q 2 M {xi}N i=1 ⇢ TpM XXT = V S2 V T X = V SUT V = [v1, . . . , vn] X = [x1, . . . , xn] {˜xi}N i=1 ⇢ TqM TpM
  23. 23. TransporDng  Methods •  PCA  Transport   –                       でのPCA,  SVDモデル   –  このとき、 でのPCA,  SVDモデルは以下で与えられる   XXT = V S2 V T X = V SUT V = [v1, . . . , vn] ˜V = [˜v1, . . . , ˜vn] ˜X = [˜x1, . . . , ˜xn] ˜X = ˜V SUT X = [x1, . . . , xn] TpM TqM ˜X ˜XT = ˜V S2 ˜V T
  24. 24. TransporDng  Methods •  Linear  Regression  Transport   –  接空間上の回帰モデル   –                     でのモデルは以下で与えられる   ( , 0) = argmin ↵2TpM,↵02R NX i=1 li(xT i ↵ + ↵0) loss  funcDon = AqLA 1 p 0 = 0 Ap, Aq :  点p,qでの計量テンソル L :  pからqへのparallel  transport  (線形変換) TqM
  25. 25. TransporDng  Methods •  実際の適用 ⌃L, VL ⌃ , V ⌃S, VS VF orthogonalize([V , VS]) ⌃ , V ⌃ = ⌃ + (1 )⌃S :  元のドメインでのモデル :  転移先のデータのみを使ったモデル :  LでのモデルをTransportしたモデル :  VΓとVSを両方用いて上位k次元(他のモデルと同じ次元)だけ      とったモデル :  縮小推定によってΓとSのモデルを合成したモデル
  26. 26. Results •  人体モデル(メッシュ)1   –  n  =  129300次元のLie群   –  性別の異なる2つのドメイン(女性から男性にtransfer)   •  女性1000サンプル、男性50サンプル   –  PCAモデル   •  女性モデル:  200次元、 男性モデル:  50次元   •  1000テストサンプル でモデルによるメッシングと真値との誤 差を評価(測地線距離で誤差定義)   •  モデルによるreconstrucDonは   O.  Freifeld  and  M.  J.  Black:  Lie  Bodies:  A  Manifold  RepresentaDon  of  3D  Human  Shape expµ(V V T logµ(zi)) 2 M {zi}
  27. 27. Results •  人体モデル(メッシュ)   –  n  =  129300次元のLie群   –  性別の異なる2つのドメイン(女性から男性にtransfer) O.  Freifeld  and  M.  J.  Black:  Lie  Bodies:  A  Manifold  RepresentaDon  of  3D  Human  Shape Figure 3: Summary for shape experiments. Left: Gender. Right: BMI. The bars represent the overall reconstruction error for VL, VS, V , and VF. For a given model, the height of the bar represents the reconstruction error measured in terms of SGE averaged over the entire test dataset as well as all of the mesh triangles. (a) VL (b) VS (c) V (d) VF (e) V Figure 4: Model mean error: Genders. Blue and red in- dicate small and large errors respectively. The heat maps are overlaid over the points of tangency associated with the models: p for (a), and q for (b-e). See text for details. VL (Wom VS (Men V (PT 女性モデルを   そのまま利用 男性サンプル   からモデル構成 女性モデルを   Transport Fusionモデル 分散共分散行列を   縮小推定
  28. 28. Results •  人体モデル(メッシュ)2   –  n  =  129300次元のLie群   –  BMIの異なる2つのドメイン(BMI<=30からBMI>30にtransfer) BMI<=30モデル   をそのまま利用 BMI>30サンプル   からモデル構成 BMI<=30モデル   をTransport Fusionモデル 分散共分散行列を   縮小推定 ); thus, ticular this M k. The 1]. On SO(3) ble [9], 7,24]). urpris- = 1000 D man- of men on M. riation del the en. We en de- ompute = 200 imated (Fuse) Figure 5: Selected results: Gender. Each column represents a different test body. The heat maps are overlaid on the reconstructions using different models. (a) VL (b) VS (c) V (d) VF (e) V Figure 6: Model mean error: BMI. Analogous to Fig. 4. 1000 test male shapes, whose deformations serve as ground-
  29. 29. Results •  人体モデル(メッシュ)   –  各ケースの誤差値   Figure 3: Summary for shape experiments. Left: Gender. Right: BMI. The bars represent the overall reconstruction error for VL, VS, V , and VF. For a given model, the height of the bar represents the reconstruction error measured in terms of SGE averaged over the entire test dataset as well Groun Truth VL (Wome
  30. 30. Results •  Classifier  Transport   –  斜めのアングルで学習した表情識別(2クラス)を正面アン グルにTransfer   •  画像の1/4分割ごとに5次元特徴量の分散共分散行列(Symmetric   PosiDve  Definite  (SPD)  Matrix)を計算し特徴量とする   –  SPD  Matrixxの集合は多様体になる(Lie群ではない)   –  両ドメイン共に168サンプル ror (SGE) tion. Fix- elding the formance examples. visualize, examples, sh associ- Figure 7: Classifier-transport example. Select images. Top: First data set. Bottom: Second data set. In each row, exam- O.  Tuzel,  et  al.:  Region  Covariance:  A  Fast  Descriptor  for  DetecDon  and  ClassificaDon
  31. 31. Results •  Classifier  Transport   –  斜めのアングルで学習した表情識別(2クラス)を正面アン グルにTransfer   •  斜めアングルの識別器をそのまま利用したケースでは59%の精 度だったものが、Transferありでは67%に改善した   ror (SGE) tion. Fix- elding the formance examples. visualize, examples, sh associ- Figure 7: Classifier-transport example. Select images. Top: First data set. Bottom: Second data set. In each row, exam-
  32. 32. まとめ •  同一の多様体に乗っている2つの異なるドメイン間 で、接空間上のモデルのTransportを行う手法が得 られた   •  人体メッシュモデル、Classifierの場合で、元のドメイ ンの情報を利用してTransport先のドメインでのモデ ル精度の向上が得られた
  33. 33. 所感 •  「接空間モデル」は現実的でない?   –  例えば線形SVMとかでは、大きな特徴ベクトルをそのまま 学習する場合が(実用上)多い   •  多様体が埋め込まれた大きな線形空間に属するベクトルがモデ ルとなる   → 接空間の直交補空間をそのままtransportしてよいかどうか?   –  正例と負例が属する多様体が大きく異なるような場合は どうなる?   •  全体を合わせるとユークリッド空間全体になってしまうかも   –  データの多様体が分かっている前提   •  意味のある多様体がわかっているケースはそんなにあるのかど うか…  
  34. 34. 所感 –  どちらかというと、特徴量設計の時点で多様体を定めてし まうようなケースが想定   •  球面上、SPD、Lie群…   •  効果と応用   –  効果は言うほど大きくないような…   –  学習時はオフラインなんだからデータをtransportすれば いいじゃん、という気もする   –  上手くハマるような使い方がある?   •  オンライン学習   •  トラッキング   –  subspace  trackingとか(Grassmann多様体)  

×