論文紹介

1. Learning to Discover Objects
in RGB-D Images
Using Correlation Clustering
の紹介
西村 仁志
2014/7/14

2. 論文について
“Learning to discover objects in RGB-D images using correlation clustering”
M Firman, D Thomas, S Julier, A Sugimoto
Intelligent Robots and Systems (IROS), 2013

3. 1. Abstract & INTRODUCTION
見えが異なったとしても同一の物体は類似性があ
ることに着目し，セグメンテーションされた物体画像
の類似性を用いて，シーン画像中の物体数が未知
の状態であったとしても，物体発見する手法を提案
する．
• 提案手法は，類似性を元に物体の発見を行うた
め，教師あり学習を全ての物体において行う必
要がないという特徴がある．
• 2物体間の類似性を見るため，複数の物体画像
において，同一のサイズ，形，色などが表れたと
きには，それが同一の物体であると判断できる
ようになる．これにより，図1のように，同一物体
の位置が分かるようになる．さらに同一物体の
類似性を元に物体画像の補完ができるようにな
る．

4. ・物体間のマッチングには，セグメンテーションされた物体画像（セグメント）間の確
率値を類似度として用いる．
・確率値を得るため，少量の物体画像にはラベルを与え，教師あり分類器を構築
するが，これは類似度を得るためにだけ用いる．
※分類器構築の際に付けられた物体ラベルと，発見対象の物体のラベルは同一
である必要はない．
・少量の学習データのみで，多くの異なる種類の物体を発見できる．
・Correlation clusteringを用いることで，セグメンテーションを行い，自動的にクラス
タ数を得ることができる．

5. 2. PROBLEM STATEMENT
・物体には，その物体の「テンプレート」がある．テンプレートは形状や色，素材など，物理
的な性質により，構成されると考える．
・本研究で用いるシーン画像は，1物体もしくは複数物体を含み，照明下でかつ壁や床な
どの背景がある画像である．
・目標１：RGB-D画像が複数枚与えられたとき，物体テンプレート数とそれらのアピアラン
スモデルを得ること．
目標２：画像において，それぞれの物体に対応したピクセル群を得ること．

6. 3. RELATED WORK
• 従来の物体発見手法は，最初にシーン画像から物体のセグメンテーションを行う．本研
究も同様である．
• クラスタリングを用いて物体発見を行う手法は過去にも提案されているが以下のような
問題がある．
• 1つ目の問題は，シーン画像中の物体数を予め知っておく必要があることである．
→ 提案手法では，物体の類似度を用いて，複数のシーン画像を用いて物体を発見する
ため，物体数を予め知っておく必要がない．
• 2つ目の問題は，クラスタリングの際，ユークリッド距離を用いるため特徴空間のスケー
ルの影響を受けやすく，セグメンテーションがうまくできているときでないと効果が発揮で
きないことである．
→ 提案手法はこの問題を解決するために[13]の手法を用いた．
※Vicenteら [13]は，ground truthのセグメンテーションのペアから相関度を学習し，画像のペアを
正しくクラスタリングした．しかし，一度につき1クラスの物体のみしか物体発見ができず，さらに，1
画像につき1つの物体しかないことを仮定していた．筆者らはcorrelation clustering [8], [7]を用いた
ので，この問題を解決し，Random Forest [14]を組み合わせることで，従来のクラスタリング手法に
おける問題をも解決した．

7. 4. METHODLOGY
4ステップで構成される (Fig. 2)．
A 画像を領域分割する．
B それぞれの領域ごとに特徴表現を計算する．
C 領域のペアそれぞれが同じ物体を表してい
る確率を計算する．
D ペアワイズ確率を用いて矛盾のないセグメ
ントを行う．

8. A. Segmentation
画像の中の物体の領域を抽出する．
を求める．＝
1, RANSACを用いて，平面領域の除去を行う．
2, ある2つのピクセルに着目し，2D画像中で
近傍，かつ，それらの3D距離が閾値 よりも
低ければ，同じ領域とする．
3, 領域の大半が，画像の枠と共有している領
域は，除去する．
dt

9. B. Feature vector representation of each region
それぞれの領域 から特徴ベクトル
を得る．

10. C. Pairwise scores between
regions
知りたいこと：領域のペア が与えられたとき，2つの領域が同じ物体を
示すのかどうか
問題：領域が背景を表し，物体を表していないことが多い→確率を用いる
)Pr( jiijij yp   (1)
ijp
ijy
ji  ,
iR jR領域 と領域 が同じ物体を示している確率 は
：2つの領域が同じ物体を示しているかどうか
：領域が物体を示しているかどうか
(2)
式(1)を条件付き確率を用いて分解すると，
)Pr()|Pr()Pr( jijiijjiij yy  

11. 1) Computing )|Pr( jiijy  
|| jiij xxx  (3)
学習データを用いてRandom Forestによってモデリングする．
（学習データの作り方については後述）
)|(),|( jiijjiij yy   が得られる．テストの際，
Random Forest
・最もクラス分離ができるような特徴を自動的に選択してくれる
・それぞれの次元について独立に処理を行うので，特徴のスケール
の違いに頑健
特徴ベクトルとして差ベクトルを用いる．
2つの物体領域があったとき，それらが同じ物体を示しているかどうか

12. 2) Computing )Pr( ji  
領域が物体を示しているかどうか
Neaural Networkを用いてモデリングされた既存手法を用いる．
・物体 ‘props’（pillows，bottles） ，‘furniture’ →この2クラスの出力値の和を とする
・非物体 ’wall’，’ceiling’
)Pr()Pr()Pr( jiji  独立より，
)Pr( i

13. D. Finding matching groups of segments
目標： が高くなるような領域のペアを同じクラスタとする（ は既知）ijp
問題： をそのまま用いてクラスタリングすると，全ての領域が同じラベルとなってしまう．
（False positiveが増える）
ijp
→ も考慮してクラスタリングする．ijp1
ijp
Y
：同じラベルであれば1，そうでなければ0
(4)
Adaptive-Label ICM solver [7]を用いて解く．
（初期値を設定して，Greedyに繰り返す．初期値を変えて何度も行い，局所解を防ぐ．）
Correlation clusteringを用いる．以下のエネルギー関数が最小となるような を求める．
，

14. E. Recovering the object templates
Dで得られたクラスタリングの結果は，各物体のテンプレートモデルの一部を示している．
こうして物体のテンプレートが得られると，次に新たなテストデータセットで物体発見タスク
を行う際，新しい物体を発見することができる．
また，テンプレートにユーザが意味的なラベルを付与することもできる．
（学習）

15. 5. TRAINING AND TEST DATA
A. Training dataset
・RGB-D dataset [1]：155物体各20方向からの画像，合計3100枚
・既に物体セグメンテーションされている（オクルージョンなし）
・Random foresの正例・負例にそれぞれ，37,500ペアを使用
B. Test dataset
・インスタンスレベルでも，カテゴリレベルでも，Training datesetに存在しない物体を使用
・二種類のデータセットを用いている
Fully segmented dataset
Training dataset の一部を使用．100領域．
全ての について，
Real-world scene dataset
8動画からの21フレームを用いた．
画像はそれぞれ異なるシーンを撮影したものである．
（いくつかの画像は同じ環境を撮影したものだが，撮影角度が大きく異なる．）
セグメンテーションの後，ground truthラベルを与える（オーバーラップが70%以上のとき）
余った領域は一つにまとめる
1D
2D
1)Pr( ii

16. 6. EVALUATION
クラスタリングアルゴリズムを，ARI指標を用いて評価．（0～1）
A. Clustering evaluation on dataset
Correlation clusteringと，k-means，Spectral clustering，Affinity propagationとを比較
○実験条件：
・k-meansは特徴のスケールに大きく影響を受けるので，条件を合わせるために，
特徴ごとに実験を行った．
1D

17. ○結果
Fig. 3
Fig. 4 Fig. 5(a)

18. B. Segmentation and unary terms on scenes dataset
Correlation clusteringと，k-means，Spectral clustering，Affinity propagationとを比較
105物体中85物体は5-B節のように物体名ラベルが与えられる．
85物体のうち9物体はどの領域にも属さないというラベルが与えられる．
85「object」領域に加えて，94「clutter」領域が存在する．
objectとclutterを識別する， 分類器の評価を行うと，0.754であった．
2D
)Pr( i

19. C. Evaluation on scenes dataset
Correlation clusteringと，k-means，Spectral clustering，Affinity propagationとを比較
○実験条件：
2D

20. ○結果
Fig. 4
他手法よりも精度が良い

21. ○結果
Fig.

22. ○結果
Fig. 6
Fig. 7
clutter △○
セグメンテーション，
照明条件の差
unary probability
が間違って高くなってし
まったとき
→ テストデータと同じ
状況の画像を用いて，
をモデリングする
必要あり．
)Pr( i
)Pr( i

23. D. Timing and complexity
セグメンテーション 1.59s
特徴計算 10.8s
Random forestによる分類 1.26s
correlation clustering 10.8s

24. 6. CONCLUSIONS AND FUTURE WORK
・RGB-Dデータを用いた物体発見の手法を開発し，実験を行った．
・従来の，クラス数が限定された教師ありの手法と違い，単に，物体のペアが同じかそうで
ないかを学習させるだけでよい．
→クラス数を固定しなくてもよいし，新しい物体の発見も可能となる．
・今後
unary scoreingの精度を向上させたい．
得られた物体テンプレートの利用を行いたい．
非常に大きなデータセットで実験を行いたい．
オンライン学習も取り入れたい．