2011/11/27 CV勉強会@関東    ICCV2011祭り 発表資料               takmin
紹介する研究   “Relative Attributes”       Devi Parikh (Toyota Technological Institute Chicago)       Kristen Grauman (Univer...
画像の属性認識   従来研究の属性判定は有/無の2値のみ判定      A     B     C      D     E         F
画像の属性認識   従来研究の属性判定は有/無の2値のみ判定これらはどう判定する?      A       B   C      D       E       F
画像の属性認識   この研究では、他の対象との比較で表す。     BはCよりNatural、BはAよりNaturalでない。     EはFよりSmiling、EはDよりSmilingでない。       A           B    ...
画像の属性認識   属性はそもそも全てが2値で表現できるものばかりでは    ない。   属性を他の対象との比較で表したほうが、より表現とし    て豊かなのでは?         Relative Attributes          ...
発表の流れ Relative Attributesの学習方法 教師データのないカテゴリの画像を学習する  方法(Zero-Shot Learning) 新しい画像/カテゴリの表現方法 実験と結果 まとめ
Relative Attributesの学習法   学習データ    属性mのおける学習画像間の強弱関の係集合    Om :                ・・・                     ,    属性mが同じ強さを持つ学...
Relative Attributesの学習法   属性mのランキングスコアを算出するための重みwmを    学習する。              rm (xi )  w x     T                           ...
Relative Attributesの学習法   属性mのランキングスコアを算出するための重みwmを    学習する。              rm (xi )  w x      T                          ...
Relative Attributesの学習法   サポートベクターマシン(SVM)        *        m                 1     w  arg min  w m  C                ...
Relative Attributesの学習法   サポートベクターマシン(SVM)    Binary Attributesの場合   Relative Attributesの場合
Zero-Shot Learning From Relationships   学習画像データの無いカテゴリを学習!                      N  S U               全カテゴリ数 学習画像有り 学習画像...
Zero-Shot Learning From RelationshipsSeenカテゴリ及びUnseenカテゴリの分布をガウス分布で近似する。
Zero-Shot Learning From Relationships   学習の手順(Seenカテゴリ)    1.   各Seenカテゴリについて、Relative Attributesを学習                  rm ...
Zero-Shot Learning From Relationships   学習の手順(Seenカテゴリ)    1.   各Seenカテゴリについて、Relative Attributesを学習                  rm ...
Zero-Shot Learning From Relationships   学習の手順(Seenカテゴリ)    1.   各Seenカテゴリについて、Relative Attributesを学習                   rm...
Zero-Shot Learning From Relationships   学習の手順(Unseenカテゴリ)    4.       各Unseenカテゴリの分布を以下に従いガウス分布で近似            c (ps )  ...
Zero-Shot Learning From Relationships   学習の手順(Unseenカテゴリ)    4.       各Unseenカテゴリの分布を以下に従いガウス分布で近似            c (ps )  ...
Zero-Shot Learning From Relationships   学習の手順(Unseenカテゴリ)    4.       各Unseenカテゴリの分布を以下に従いガウス分布で近似            c (ps )  ...
Zero-Shot Learning From Relationships   学習の手順(Unseenカテゴリ)    4.       各Unseenカテゴリの分布を以下に従いガウス分布で近似            c (ps )  ...
Zero-Shot Learning From Relationships   学習の手順(Unseenカテゴリ)    4.       各Unseenカテゴリの分布を以下に従いガウス分布で近似            c (ps )  ...
Zero-Shot Learning From Relationships   学習の手順(Unseenカテゴリ)    4.       各Unseenカテゴリの分布を以下に従いガウス分布で近似            c (ps )  ...
Zero-Shot Learning From Relationships   認識    1.   入力画像から各属性の強さを算出し、属性ベクトルを算出                  rm (xi )  wT xi          ...
Zero-Shot Learning From Relationships   認識         クエリー画像                  x
Describing Images in Relative Terms   Relative Attributesを用いた画像表現方法の提案入力画像Aに対して、「属性mについて、画像Bよりも大きく、画像Cより小さい」という表現を行う。入力画像A...
Describing Images in Relative Terms
実験1.       屋外シーン画像の実験        データセット: Outdoor Scene Recognition (OSR) Dataset          2688枚 / 8種類の屋外シーン画像        特徴量: 5...
データセットとAttributes                    T: tall-building                     I : inside-city                     S: street   ...
Attributes認識結果   線形SVMで、Binary Attributesおよび、Relative Attributes    をそれぞれ学習/認識               Binary            Relative  ...
Zero-Shot Learning結果   ベースライン       Direct Attribute Prediction (DAP) model           C. H. Lampert et al., “Learning T...
Zero-Shot Learning結果 Unseenカテゴリ数を変化させた時の認識率の変化 (Seen + Unseen = 8)提案手法が最も良い。Unseenカテゴリ数を増やすと認識率低下。
Zero-Shot Learning結果 Seenカテゴリの学習ペアを増やしていった時の結果学習ペアが2つ以降は、ほぼ安定
Zero-Shot Learning結果 Unseenカテゴリの属性ラベルの数を減らしていった 場合DAPよりも認識率低下は緩やか
Zero-Shot Learning結果Unseenカテゴリにラベルを付けるとき、Seenカテゴリの属性の大きさが、より離れたものを使った場合属性の距離はほとんど関係ない!
Describing Images実験   人間の被験者に、2つの画像表現を見せて、元の画像    が何かを当ててもらう。           属性    属性の有無の表現    画像          識別器                ...
Describing Images実験   人間の被験者に、2つの画像表現を見せて、元の画像    が何かを当ててもらう。       被験者数 18人       20枚のPubFigと10枚のOSR画像をランダムに選択       ...
被験者へ提示したインターフェース
Describing Images結果
Relative Attributesによる表現例(OSR)           Binary Image                                   Relative descriptions         desc...
Relative Attributesによる表現例(PubFig)             Binary Image                                   Relative descriptions        ...
まとめと結論   Relative Attributesという画像間の比較で属性を表す方    法を提案       学習方法       Zero-Shot Learning       画像を属性の比較により表現   Zero-S...
Q&A
Upcoming SlideShare
Loading in …5
×

Relative attributes

5,284 views

Published on

0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
5,284
On SlideShare
0
From Embeds
0
Number of Embeds
2,269
Actions
Shares
0
Downloads
51
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

Relative attributes

  1. 1. 2011/11/27 CV勉強会@関東 ICCV2011祭り 発表資料 takmin
  2. 2. 紹介する研究 “Relative Attributes”  Devi Parikh (Toyota Technological Institute Chicago)  Kristen Grauman (University of Texas at Austin)
  3. 3. 画像の属性認識 従来研究の属性判定は有/無の2値のみ判定 A B C D E F
  4. 4. 画像の属性認識 従来研究の属性判定は有/無の2値のみ判定これらはどう判定する? A B C D E F
  5. 5. 画像の属性認識 この研究では、他の対象との比較で表す。 BはCよりNatural、BはAよりNaturalでない。 EはFよりSmiling、EはDよりSmilingでない。 A B C D E F
  6. 6. 画像の属性認識 属性はそもそも全てが2値で表現できるものばかりでは ない。 属性を他の対象との比較で表したほうが、より表現とし て豊かなのでは? Relative Attributes (関連属性)の提案
  7. 7. 発表の流れ Relative Attributesの学習方法 教師データのないカテゴリの画像を学習する 方法(Zero-Shot Learning) 新しい画像/カテゴリの表現方法 実験と結果 まとめ
  8. 8. Relative Attributesの学習法 学習データ 属性mのおける学習画像間の強弱関の係集合 Om :  ・・・ , 属性mが同じ強さを持つ学習画像ペアの集合 Sm :  ・・・ ,
  9. 9. Relative Attributesの学習法 属性mのランキングスコアを算出するための重みwmを 学習する。 rm (xi )  w x T m i ランキングスコア 画像iから抽出した 特徴ベクトル以下の条件を満たすように! (i, j )  Om : wT xi  wT x j m m  (i, j )  Sm : wT xi  wT x j m m 
  10. 10. Relative Attributesの学習法 属性mのランキングスコアを算出するための重みwmを 学習する。 rm (xi )  w x T m i ランキングスコア 画像iから抽出した 特徴ベクトル以下の条件を満たすように! (i, j )  Om : wT xi  wT x j  1  ij m m ij  0 マージン (i, j )  Sm : wT xi  wT x j   ij m m  ij  0
  11. 11. Relative Attributesの学習法 サポートベクターマシン(SVM) * m 1 w  arg min  w m  C 2  2 ij       2 ij  wm 2 以下の条件を満たすように! (i, j )  Om : wT (xi  x j )  1  ij m ij  0 (i, j )  Sm : wT (xi  x j )   ij m  ij  0
  12. 12. Relative Attributesの学習法 サポートベクターマシン(SVM) Binary Attributesの場合 Relative Attributesの場合
  13. 13. Zero-Shot Learning From Relationships 学習画像データの無いカテゴリを学習! N  S U 全カテゴリ数 学習画像有り 学習画像無し カテゴリ数 カテゴリ数 S(Seen)カテゴリ: • 画像+カテゴリ間の各m個のAttributesの相対関係 • ex. 「ライオンは犬より大きく、虎と同じくらい。象より小さい」 U(Unseen)カテゴリ: • Sカテゴリとの各Attributesの相対関係Attribute mについて c (s) (u ) c (s) c c(u ) q (s) c r c (ps )  cqu ) ( p q rUカテゴリqはSカテゴリpより小さ UカテゴリqはSカテゴ UカテゴリqはSカテゴくSカテゴリrより大きい リpより大きい リpより小さい
  14. 14. Zero-Shot Learning From RelationshipsSeenカテゴリ及びUnseenカテゴリの分布をガウス分布で近似する。
  15. 15. Zero-Shot Learning From Relationships 学習の手順(Seenカテゴリ) 1. 各Seenカテゴリについて、Relative Attributesを学習 rm (xi )  w x T m i 学習
  16. 16. Zero-Shot Learning From Relationships 学習の手順(Seenカテゴリ) 1. 各Seenカテゴリについて、Relative Attributesを学習 rm (xi )  w x T m i 学習 2. 各Seenカテゴリの画像から、属性ベクトルを算出 ~  r (x ),, r (x ),, r (x )T xi 1 i m i M i
  17. 17. Zero-Shot Learning From Relationships 学習の手順(Seenカテゴリ) 1. 各Seenカテゴリについて、Relative Attributesを学習 rm (xi )  w x T m i 学習 2. 各Seenカテゴリの画像から、属性ベクトルを算出 ~  r (x ),, r (x ),, r (x )T xi 1 i m i M i 3. Seenカテゴリの分布をガウス分布で近似 c (ps )  N (μ (ps ) , Σ(ps ) ) c (s ) に属する ~i の平均 p x c (s ) に属する ~i の共分散 p x
  18. 18. Zero-Shot Learning From Relationships 学習の手順(Unseenカテゴリ) 4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似  c (ps )  cqu )  cr( s ) の時、 ( 1 (s) μ (u ) qm  ( μ pm  μrm) ) (s 2  c (ps )  cqu ) の時、 ( μqm)  μ (pm  d m (u s) 1 S (s) Σ (ju )   Σi  cqu )  cr( s ) の時、 ( S i 1 μqm)  μrm)  d m (u (s  それ以外(関連が記述されない場合) 1 μ (u ) qm   rm (xi ) S iS
  19. 19. Zero-Shot Learning From Relationships 学習の手順(Unseenカテゴリ) 4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似  c (ps )  cqu )  cr( s ) の時、 ( 1 (s) μ (u ) qm  ( μ pm  μrm) ) (s 2 属性mについてカテゴリpの平均と カテゴリrの平均の中間
  20. 20. Zero-Shot Learning From Relationships 学習の手順(Unseenカテゴリ) 4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似  c (ps )  cqu )  cr( s ) の時、 ( 1 (s) μ (u ) qm  ( μ pm  μrm) ) (s 2  c (ps )  cqu ) の時、 ( μqm)  μ (pm  d m (u s) 1 d m   rm (xi )  μ (pm s) S iS 属性mの強さについて、Seenカテゴリの全画 像とカテゴリpの平均との距離の平均
  21. 21. Zero-Shot Learning From Relationships 学習の手順(Unseenカテゴリ) 4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似  c (ps )  cqu )  cr( s ) の時、 ( 1 (s) μ (u ) qm  ( μ pm  μrm) ) (s 2  c (ps )  cqu ) の時、 ( μqm)  μ (pm  d m (u s)  cqu )  cr( s ) の時、 ( μqm)  μrm)  d m (u (s
  22. 22. Zero-Shot Learning From Relationships 学習の手順(Unseenカテゴリ) 4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似  c (ps )  cqu )  cr( s ) の時、 ( 1 (s) μ (u ) qm  ( μ pm  μrm) ) (s 2  c (ps )  cqu ) の時、 ( μqm)  μ (pm  d m (u s)  cqu )  cr( s ) の時、 ( μqm)  μrm)  d m (u (s  それ以外 1 μ (u ) qm   rm (xi ) 属性mの強さについて、Seenカ S iS テゴリの全画像の平均
  23. 23. Zero-Shot Learning From Relationships 学習の手順(Unseenカテゴリ) 4. 各Unseenカテゴリの分布を以下に従いガウス分布で近似  c (ps )  cqu )  cr( s ) の時、 ( 1 (s) μ (u ) qm  ( μ pm  μrm) ) (s 2  c (ps )  cqu ) の時、 ( μqm)  μ (pm  d m (u s) 1 S (s) Σ (ju )   Σi  cqu )  cr( s ) の時、 ( S i 1 μqm)  μrm)  d m (u (s 全Seenカテゴリの共 分散行列の平均  それ以外 1 μ (u ) qm   rm (xi ) S iS
  24. 24. Zero-Shot Learning From Relationships 認識 1. 入力画像から各属性の強さを算出し、属性ベクトルを算出 rm (xi )  wT xi m ~  r (x ),, r (x ),, r (x )T xi 1 i m i M i 2. 最も尤度の高いカテゴリを選ぶ c*  arg max P(~i | μ p , Σ p ) x p1,, N 
  25. 25. Zero-Shot Learning From Relationships 認識 クエリー画像 x
  26. 26. Describing Images in Relative Terms Relative Attributesを用いた画像表現方法の提案入力画像Aに対して、「属性mについて、画像Bよりも大きく、画像Cより小さい」という表現を行う。入力画像Aと近すぎず、遠すぎない、適切な画像Bと画像Cを選ぶ。 •AB間とAC間にそれぞれデータセットの1/8が入るように
  27. 27. Describing Images in Relative Terms
  28. 28. 実験1. 屋外シーン画像の実験  データセット: Outdoor Scene Recognition (OSR) Dataset  2688枚 / 8種類の屋外シーン画像  特徴量: 512次元gist特徴(Spatial Envelope)2. 顔画像での実験  データセット: Public Figure Face Database (PubFig)  800枚 / 8人の顔画像  特徴量: gistと45次元Labカラーヒストグラムをつなげたもの
  29. 29. データセットとAttributes T: tall-building I : inside-city S: street H: highway C: coast O: open-country M: mountain F: forest A: Alex Rodriguez C: Clive Owen H: Hugh Laurie J : Jared Leto M: Miley Cyrus S : Scarlett Johansson V: Viggo Mortensen Z: Zac Efron
  30. 30. Attributes認識結果 線形SVMで、Binary Attributesおよび、Relative Attributes をそれぞれ学習/認識 Binary Relative Attributes Attributes OSR 80% 89% PubFig 67% 82%
  31. 31. Zero-Shot Learning結果 ベースライン  Direct Attribute Prediction (DAP) model  C. H. Lampert et al., “Learning To Detect Unseed Object Class by Between-Class Attribute Transfer”, CVPR2009  Score-based Relative Attributes (SRA) wT  二値の属性に対して学習した m x i をスコアとし、あとは本手法と同じ 学習方法  Seenカテゴリ数:6、Unseenカテゴリ数:2  Seenカテゴリから4つのペアを用いて属性のランクを学習  Unseenカテゴリは各属性の近傍2つのSeenカテゴリを選択し て学習  訓練画像: 各カテゴリ30枚
  32. 32. Zero-Shot Learning結果 Unseenカテゴリ数を変化させた時の認識率の変化 (Seen + Unseen = 8)提案手法が最も良い。Unseenカテゴリ数を増やすと認識率低下。
  33. 33. Zero-Shot Learning結果 Seenカテゴリの学習ペアを増やしていった時の結果学習ペアが2つ以降は、ほぼ安定
  34. 34. Zero-Shot Learning結果 Unseenカテゴリの属性ラベルの数を減らしていった 場合DAPよりも認識率低下は緩やか
  35. 35. Zero-Shot Learning結果Unseenカテゴリにラベルを付けるとき、Seenカテゴリの属性の大きさが、より離れたものを使った場合属性の距離はほとんど関係ない!
  36. 36. Describing Images実験 人間の被験者に、2つの画像表現を見せて、元の画像 が何かを当ててもらう。 属性 属性の有無の表現 画像 識別器 関連属性の表現 被験者正解画像 属性の有無で表現 関連属性で表現
  37. 37. Describing Images実験 人間の被験者に、2つの画像表現を見せて、元の画像 が何かを当ててもらう。  被験者数 18人  20枚のPubFigと10枚のOSR画像をランダムに選択  画像ごとに3つの属性をランダムに選んで、表現とその関連 画像を提示正解画像 属性の有無で表現 関連属性で表現
  38. 38. 被験者へ提示したインターフェース
  39. 39. Describing Images結果
  40. 40. Relative Attributesによる表現例(OSR) Binary Image Relative descriptions descriptions more natural than tallbuilding, less natural than forest not natural more open than tallbuilding, less open than coast not open more perspective than tallbuilding perspective not natural more natural than insidecity, less natural than highway not open more open than street, less open than coast perspective more perspective than highway, less perspective than insidecity more natural than tallbuilding, less natural than natural mountain open more open than mountain perspective less perspective than opencountry
  41. 41. Relative Attributesによる表現例(PubFig) Binary Image Relative descriptions descriptions more White than AlexRodriguez White more Smiling than JaredLeto, less Smiling than not Smiling ZacEfron VisibleForehead more VisibleForehead than JaredLeto, less VisibleForehead than MileyCyrus more White than AlexRodriguez, less White White than MileyCyrus not Smiling less Smiling than HughLaurie not more VisibleForehead than ZacEfron, less VisibleForehead VisibleForehead than MileyCyrus more Young than CliveOwen, less Young than ScarlettJohansson not Young more BushyEyebrows than ZacEfron, less BushyEyebrows BushyEyebrows than AlexRodriguez RoundFace more RoundFace than CliveOwen, less RoundFace than ZacEfron
  42. 42. まとめと結論 Relative Attributesという画像間の比較で属性を表す方 法を提案  学習方法  Zero-Shot Learning  画像を属性の比較により表現 Zero-Shot Learningでは、属性の二値表現よりも高い認 識率を実現 新しい画像表現方法は、人間の被験者にとって、より判 別がつきやすいものであることを確認
  43. 43. Q&A

×