SIFTなどのdescriptor評価において、opencvではおかしな結果となる原因について考察。

1. 複数のキーポイント対応付け
から、１対1対応に変換
熊大 上瀧 2015/1/28
1

2. 同じ位置に二つ
キーポイントが
重なっているとする
A
B
C
オリエンテーション
【概要】
OpenCVのDetector/Descriptor評価はevaluateFeatureDetector関数を使っている。
これは、キーポイント間の、①正解の対応付けと、
descriptorマッチングで対応付けた②検出対応付け、を比較する。
①正解の対応付けの抽出は単純に射影変換後のdescriptor計算領域の
面積の重なりで行っている。
しかし、SIFTなどでは同じ座標（同じスケール）でオリエンテーションだけが
異なるキーポイントを検出するが、上記の判定ではオリエンテーションの類似性を
評価できないので、”誤った対応付け”を正解として検出する恐れがある。
キーポイントAの真の対応付けを見つけたい
2

3. 同じ位置に二つ
キーポイントが
重なっているとする
A
B
C
理想的な対応付け。
キーポイントAの真の対応付けを見つけたい
3

4. 同じ位置に二つ
キーポイントが
重なっているとする
OpenCV:
①Aを射影変換して、B-Cとの面積の重なりが しきい値以上であれば対応付け候補として抽出
A
B
C
キーポイントAの真の対応付けを見つけたい
4

5. 同じ位置に二つ
キーポイントが
重なっているとする
OpenCV:
①Aを射影変換して、B-Cとの面積の重なりが しきい値以上であれば対応付け候補として抽出
②1対1対応にするために、重複面積の大きな方を対応付ける。
→この場合、B・Cどちらも同じ面積なので、適当にBが選ばれてしまった。
【対策】
・人間が気合で対応付け
・オリエンテーションを使う（オリエンテーションが正しいという保証はないが）
・descriptorマッチング or テンプレートマッチング(SSD等)を使う。
descriptorの評価にdescriptorマッチを使うのはどうかと思うが、やらないよりはまし。
A
B
C
キーポイントAの真の対応付けを見つけたい
5