Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2014/9/25 CVPR2014勉強会@九大1 
Locally Optimized Product Quantization 
for Approximate Nearest Neighbor Search 
Yannis Kalanti...
p.1のFigure.1 
2 
TPAMI2011 
ベクトル量子化 
CVPR2013 提案手法:CVPR2014
まえがき:何の論文? 3 
プロダクト量子化を使ったベクトル最近傍探索の改良 
データxi 
クエリ 
y 
重心Cj 
距離が一番近い要素を探す 
2 
argmin x y i 
i 
 
全探索は時間がかかるので、クラスタ分割。 
クラ...
まえがき:何の論文? 4 
プロダクト量子化 
ベクトル要素を分割。各分割した空間で量子化→次元の呪いを回避 
例)次元6のベクトルを2分割 
部分空間v1 部分空間v2 
 1 2 3 4 5 6  x  x , x , x | x ,...
粗量子化(coarse quantization) 
◆K-meansで粗くクラスタリングした後に 
各要素をプロダクト量子化(TPAMI2011) 
5 
zi = xi - cj 
cj 
ポイント: 
クラスタ重心との 
差分データで 
...
p.1のFigure.1 
6 
TPAMI2011 
ベクトル量子化 
CVPR2013 提案手法:CVPR2014 
回転も許し 
て、空間を 
有効活用 
局所的に 
(クラスタ毎に) 
回転行列を 
最適化したら 
いいのでは?
Optimized プロダクト量子化(CVPR2013)と提案手法7 
量子化誤差を最小とするプロダクト量子化器Cと回転行列Rを求める 
 
min 
 
 
z Z 
j 
R c C 
z Rc 
j 
2 
, 
⇒効率的に解くア...
性能評価8 
dim データ数クエリ 
MNIST 784 7万1000 
SIFT1M 128 100万10K 
GIST1M 960 100万10K 
SIFT1B 120 10億10K 
提案手法が量子化誤差Eも少なく、recallも高い...
性能評価9
まとめ10 
・データを2分割PQ粗量子化でクラスタリング(セル分割) 
・各クラスタ内で局所的なOPQ実行 
・recallの改善を確認 
IMIのグループも同じことを同時期に発見しているらしい 
Artem Babenko, Victor ...
Upcoming SlideShare
Loading in …5
×

Locally Optimized Product Quantization for Approximate Nearest Neighbor Search CVPR勉強会@九大

2014/9/25の九大西新プラザで行われて
CVPR2014勉強会の資料

  • Login to see the comments

Locally Optimized Product Quantization for Approximate Nearest Neighbor Search CVPR勉強会@九大

  1. 1. 2014/9/25 CVPR2014勉強会@九大1 Locally Optimized Product Quantization for Approximate Nearest Neighbor Search Yannis Kalantidis and Yannis Avrithis こうたき 熊本大学上瀧剛 gou_koutaki@twitter
  2. 2. p.1のFigure.1 2 TPAMI2011 ベクトル量子化 CVPR2013 提案手法:CVPR2014
  3. 3. まえがき:何の論文? 3 プロダクト量子化を使ったベクトル最近傍探索の改良 データxi クエリ y 重心Cj 距離が一番近い要素を探す 2 argmin x y i i  全探索は時間がかかるので、クラスタ分割。 クラスタ要素内を探索 2 argmin x y i i C j   クラスタリングはk-meansが有名。 ベクトル量子化とも呼ばれる。 ベクトル量子化の問題点: 次元が高いと効率が悪くなる。次元の呪い。
  4. 4. まえがき:何の論文? 4 プロダクト量子化 ベクトル要素を分割。各分割した空間で量子化→次元の呪いを回避 例)次元6のベクトルを2分割 部分空間v1 部分空間v2  1 2 3 4 5 6  x  x , x , x | x , x , x 1 C1 2 C1 3 C1 4 table[C1 部分空間v1 部分空間v2 C1 i C2 j 1 C2 2 C2 3C2 4 C2 C1 i] [C2 j]にx を登録。 クエリyを検索をする際は、 同様に分割・各軸で最近傍の重心インデックスを求めて、 同じテーブル内の要素を全探索(バケット探索) シンプルだが考案されたのはTPAMI2011と最近のこと。 実際には、粗量子化(coarse quantization)を組み合わせる。
  5. 5. 粗量子化(coarse quantization) ◆K-meansで粗くクラスタリングした後に 各要素をプロダクト量子化(TPAMI2011) 5 zi = xi - cj cj ポイント: クラスタ重心との 差分データで PQを実行 ◆粗量子化にも分割数2のPQを使う(IMI, CVPR2012) ⇒本論文もこれを採用 2という値に理論的な 根拠はない。
  6. 6. p.1のFigure.1 6 TPAMI2011 ベクトル量子化 CVPR2013 提案手法:CVPR2014 回転も許し て、空間を 有効活用 局所的に (クラスタ毎に) 回転行列を 最適化したら いいのでは?
  7. 7. Optimized プロダクト量子化(CVPR2013)と提案手法7 量子化誤差を最小とするプロダクト量子化器Cと回転行列Rを求める  min   z Z j R c C z Rc j 2 , ⇒効率的に解くアルゴリズムがある 提案手法:クラスタ毎に回転行列を最適化   min   z Z j j R c C z R c j j 2 , ⇒粗量子化でセル内のサンプル少。 次元の呪いが発生する。 ⇒粗量子化で2分割のPQを行う。回転行列も分割した空間毎に用意する。      z Z j j j j min 1 2 R R c c C z R c z R c j j j j 2 2 2 2 2 1 1 1 , , , 1 1 ※2という値に理論的な根拠はない。
  8. 8. 性能評価8 dim データ数クエリ MNIST 784 7万1000 SIFT1M 128 100万10K GIST1M 960 100万10K SIFT1B 120 10億10K 提案手法が量子化誤差Eも少なく、recallも高い 提案手法 データセット
  9. 9. 性能評価9
  10. 10. まとめ10 ・データを2分割PQ粗量子化でクラスタリング(セル分割) ・各クラスタ内で局所的なOPQ実行 ・recallの改善を確認 IMIのグループも同じことを同時期に発見しているらしい Artem Babenko, Victor Lempitsky, Improving Bilayer Product Quantization for Billion-Scale Approximate Nearest Neighbors in High Dimensions, arxiv.org プレプリント, 2014

×