PRMU 201312 subpixel object detection survey

3,230
-1

Published on

Published in: Technology
0 Comments
15 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,230
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
72
Comments
0
Likes
15
Embeds 0
No embeds

No notes for slide

PRMU 201312 subpixel object detection survey

  1. 1. Machine Vision Group サーベイ論文:サブピクセル物体検出 上瀧剛†,  井尻善久‡   †熊本⼤大学⼤大学院  情報科学研究科   ‡オムロン株式会社  インダストリアルオートメーションビジネスカンパニー   1   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  2. 2. なぜ我々が? Machine Vision Group •  企業経験者   •  実⽤用上、⾮非常に重要(後述)   –  ⼤大きなビジネス   •  なのに、ニッチ   –  ⼀一部のアプリケーションにおいては実⽤用的精度度との GAPが⾮非常に⼤大きい。   –  対象サイズの20%程度度まで検出と判定している?   •  View、MVA、SSIIなどで話するうちに、サブピク セル盛り上げようぜ!と意気投合   2   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  3. 3. 発表の概要 Machine Vision Group •  •  •  •  定義   アプリケーション   課題   既存⼿手法の総括   –  相関値ピーク検出   –  誤差最⼩小化   •  評価 •  今後の展開   井尻 上瀧 井尻 上瀧 3   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  4. 4. Machine Vision Group サブピクセル物体検出とは? ①⼊入⼒力力画像内に、予め定義された注⽬目対象が存在するかどうかを判定   ②存在した場合にはその位置・姿勢を推定すること   ③サブピクセル、サブ⾓角度度レベルの精度度で位置・姿勢を出⼒力力すること x y 94.4279 113.7725 次の4つの情報を 実数値精度度で推定 -10.1422° 1.0 scale: 023 ・位置   (x,y)座標 ・回転⾓角度度 ・拡⼤大率率率 4   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  5. 5. Machine Vision Group なぜサブピクセル物体検出? •  なぜ物体検出?   –  対象を⾒見見つけるのは、ほとんどの視覚情報処 理理の基本   •  しかし何故サブピクセル精度度?   –  主に次のアプリケーションでは精度度が重要   •  複数画像の合成   •  ⾃自動⽣生産における位置決め   •  ARにおける重畳表⽰示の安定化   5   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  6. 6. Machine Vision Group 関連する研究  –レジストレーション(剛体) 画像全体 局所的 レジストレーション 物体検出   サブピクセル物体検出 レジストレーション ホモグラフィ推定   ICP、RecOficaOon   サブピクセル物体検出   スティッチング 検 出 オプティカルフロー   トラッキング   姿 勢 推 定 オプティカルフロー   平面推定(PTAM等)   KinectFusion等   SfM,  SLAMも関連あり   トラッキング   SfM,  SLAMも関連あり   検 出 静 止 画 姿 勢 推 定 動 画   ・ 複 数 画 像 6   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  7. 7. Machine Vision Group 関連する研究 局所特徴量量に基づく物体検出 by 藤吉先⽣生 画像局所特徴量SIFTとそれ以降のアプローチ http://www.slideshare.net/hironobufujiyoshi/miru2013sift   ・局所特徴量量記述   http://www.vision.cs.chubu.ac.jp/CVTutorial/ MIRU2013チュートリアル 2013年7月29日 藤吉 弘亘 中部大学工学部情報工学科(ロボット理工学科) 1 テンプレートマッチングに基づく物体検出 by 橋本先⽣生 Intelligent Sensing Laboratory, Chukyo University 第19回 画像センシングシンポジウム チュートリアル講演会 2013年6月12日 テンプレートマッチングの魅力 http://isl.sist.chukyo-u.ac.jp/Archives/SSII2013TS-Hashimoto.pdf ~ 物体検出・位置決めの定番技術 ~ ・局所特徴量量記述   中京大学 工学部 橋本 学 mana@isl.sist.chukyo-u.ac.jp http://isl.sist.chukyo-u.ac.jp/ Google 画像レジストレーション(主に画像全体)   by  ⽟玉⽊木先⽣生   テンプレートマッチング 48万件, Template Matching 981万件 SSII2012 2012/6/6 13:45 15:45 (120 ) http://www.slideshare.net/ttamaki/ssii2012-2d3d31   ・剛体   ・⾮非剛体   ・2D&3D   1 2 @ttttamaki @payashim tamaki@hiroshima-u.ac.jp mhayashi@aoki-medialab.org 1 SSII2012 2D&3D © 2012 Toru Tamaki 7   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  8. 8. アプリケーション Machine Vision Group •  ⼯工場⾃自動化:FA  (Factory  AutomaOon)   –  位置合わせ   •  LSI、FPD  (Flat  Panel  Display)、PV  (Photovoltaics)製造   –  露露光装置、薄膜形成装置、基板貼りあわせ装置   •  要求精度度   –  数μm  〜~  サブμm  =  0.1  [pix]  〜~  0.01  [pix]   •  拡張現実:AR   –  姿勢推定   •  付加情報の現実世界への重畳表⽰示   –  誤差0.5度度程度度の繰り返し精度度で安定表⽰示   8   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  9. 9. ディスプレイ: FPD Machine Vision Group 半導体製造工程 焼き付け マスクA マスクB ・・・ ウェハ ウェハとマスクの位置決めが必要 ウェハ 液晶工程 張り合わせ ガラス基板A ガラス基板B 張り合わせ時に   位置決めが必要 9   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  10. 10. Machine Vision Group 半導体: Semiconductor ⽣生産効率率率向上のため   半導体ウェーハサイズ拡⼤大   従来のノッチ⽅方式ではウェーハの   クラック懸念念が⾼高まり、ノッチレス ウェーハーの位置決めが⼤大きな課題に! SUMCO  HPより 10   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. G450C資料料
  11. 11. Machine Vision Group 基板実装: Surface  Mount wikipedia クリーム半田   印刷 チップマウント リフロー   半田付け 検査 11   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  12. 12. Machine Vision Group ロボット組付け: Robotic  Assembly FUNAC  HPより 12   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  13. 13. Machine Vision Group 拡張現実: Augmented  Reality Metaio,  inc 13   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  14. 14. Machine Vision Group 800.0   マーケットは右肩上がり! World  Wide  Machine  Vision  Industry 600.0   SEMI AUTO 400.0   200.0   0.0   2009   2010   AutomoOve   Packaging   Semiconductor&Electronics   2011   2012   2013   Cehmical  &  PharmaceuOcal   Photovoltaics   Others   2014   2015   Food&Beverage   RoboOcs   source:  HIS  IMS  Research   14   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  15. 15. 課題 Machine Vision Group MNX  HP View2013アルコン 対象   ・電⼦子・機械部品     ・⾦金金属反射、透明部品等     ・テクスチャなし。   ・個体差   ・低コントラスト   ・パターンが形状変化   環境/撮影条件   ・ぼけ   ・照明不不均⼀一   ・背景複雑   要求精度度   ・1/10-­‐1/100pix精度度 Alignment  mark 検索 15   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  16. 16. Machine Vision Group 2値化   重⼼心   モーメント 本発表で紹介 歴史 1980 1990 2000 MSERs 直線(多項式)当てはめ,Hough変換 楕円当てはめキャリブレーション 超精度 楕円当てはめ ARtoolKit (マーカー認識に直線当てはめ) 相関値ピーク 1次/2次多項式当てはめ            エラーキャンセル法(ECC) 動画フレーム間予測  H.263 テンプレートマッチング     正規化相互相関(NCC) ⽅方向符号化照合(OCM),  DOT 周波数空間:位相限定相関, RIPOC ICPアルゴリズム Lucas-­‐Kanade   オプティカルフロー KLT  tracker ASMs, AAMs, 輪輪郭マッチング 平⾯面推定・平⾯面トラッキング ESM, MULK キーポイント検出 Harris, SIFT, FAST テイラー展開/多項式当てはめ 姿勢推定: RANSAC, バンドル調整,SfM OpenCV 画像を⾼高解像度度化 サブピクセル   エッジ・ライン検出 HALCON 2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. 16  
  17. 17. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   17   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  18. 18. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   18   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  19. 19. Machine Vision Group 相関ピーク検出 テンプレートマッチングに限定します。 入力画像とテンプレートとの一致度評価値からピーク位置を補間推定。 一致度評価(照合スコア) ・正規化相互相関 (NCC; Normalized Cross Correlation) ・輝度差の総和 (SAD/SSD; Sum of Absolute/Squared Difference) ・エッジ方向の相関 (増分/方向符号化照合ISM/OCM, HOG, DOTなど) ・位相限定相関 (POC; Phase Only Correlation) 照合方法 ・画像空間上の照合 (テンプレートを入力画像に直接畳み込む) ・周波数空間上の照合 (一度、FFTして畳み込み、その後IFFT) 19   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  20. 20. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   20   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  21. 21. 画像空間上の照合 Machine Vision Group 1パラメータの場合 等角直線(一次)当てはめ 2次曲線当てはめ f( 一致度評価値 ) x f( 1) - -1 f( 1) - f(1) f(0) 0 xsub f( ) x 傾きが大きな方の直線を反転 +1 x f(1) f(0) -1 0 xsub +1 x SAD/SSDの場合は最小値をとる位置,相関系は最大値をとる位置を求める。 SADでは等角直線、SSDでは2次曲線当てはめがよいとされる。 21   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  22. 22. 画像空間上の照合 Machine Vision Group 1パラメータの場合 ガウス関数当てはめ [Ikram 1999] ガウス関数+オフセット f( ) x f( ) x f(0) f(0) f(1) f( 1) - -1 0 xsub +1 f(1) f( 1) - x -1 0 xsub +1 x 非線形最適化で当てはめる必要あり 他にも、ラグランジュ関数当てはめもある 22   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  23. 23. Machine Vision Group 画像空間上の照合 多パラメータの場合 ・各パラメータで独立に1パラメータ推定実行 ・多次元多項式を当てはめる(例:xyの2次曲面、xyθ高次曲面) p( x, y ) = ax 2 + bxy + cy 2 + dx + ey + f ・サブピクセル同時推定法 [清水2004] ●・・・独立に2次曲線当てはめて     求めた位置 直線当てはめ 23   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  24. 24. Machine Vision Group 画像空間上の照合 エラーキャンセル法(ECC) [清水2001] ピクセルロッキング現象:サブピクセル推定結果が整数位置付近に偏る現象 整数位置に偏り SADで オプティカル フロー算出 ステレオペア X方向の変位量のヒストグラム[pix] ①通常の推定結果 ①+② 若干解消 ②半画素ずらした画像での結果 24   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  25. 25. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   25   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  26. 26. Machine Vision Group 周波数空間上の照合 高速フーリエ変換FFT ライブラリが充実 (fftw, MKL:Intel Math Kernel Library, cuFFTW) 画像サイズが2のべき乗でなくとも動く。 512×512の画像に対する画像乗算(畳込)+IFFTの処理時間@core i7 2.4GHz fftw コア数 time[ms] コア数 time[ms] 1 3.98 1 3.38 2 2.31 2 2.01 3 1.81 3 1.68 4 1.33 4 1.39 fftw cuFFTW : 1.08[ms] @GeForce GT640 MKL コア数 time[ms] 倍精度(double) コア数 time[ms] 1 7.54 1 6.74 2 4.58 2 3.91 3 3.36 3 3.04 4 2.54 4 2.70 8.00 7.00 処理理時間[msec] 単精度(float) MKL ICC_float VC_float ICC_double VC_double 6.00 5.00 4.00 3.00 2.00 1.00 0.00 1 2 コア数 3 4 26   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  27. 27. Machine Vision Group 周波数空間上の照合 位相限定相関 (POC) 相関を求める際に位相成分を振幅成分で除算してからIFFTをかける ⇒ 鋭いピークがでる * ⎤ ⎡ −1 F ⋅ G 通常の相関: f * g 画像 g ⎥ 位相限定相関: ( f , g ) = F ⎢ 画像 f POC F ⋅ G * ⎥ ⎢ ⎣ ⎦ 以下の連続なモデル関数(位相限定関数)に当てはめる ⇒ 1/100[pix]以上の位置精度 回転やスケールに対応した回転不変位相限定相関(RIPOC)もある [青木2011] 2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. 27  
  28. 28. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   28   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  29. 29. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   29   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  30. 30. Machine Vision Group 誤差最小化: 輝度ベース 前提:テンプレート画像からの輝度度や形状の変化はない、もしくは少ない         ⼤大まかな初期位置(変形パラメータ  p)が与えられている。   問題:テンプレート画像と変形が⽣生じた画像輝度度値の差分を最⼩小化する最適な  p* を求める。   テンプレート画像  T(x) 変換後画像  I(W(x;p)) 変形W 30   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  31. 31. Machine Vision Group Lucas-Kanade法  (1981) 輝度度誤差最⼩小化 ⾮非線形最⼩小⼆二乗法で解くことを考える。   Step1:  ⽬目的関数のテイラー⼀一次近似 輝度度勾配 ヤコビアンJ パラメータ更更新 Step2:  ⽬目的関数のマトリクス微分を計算し、p←p+Δp の更更新式を得る。 Lucas-­‐Kanade法はGauss-­‐Newton法:  H=JTJ,     H = Iの場合はSteepest  Descent,  H=JTJ + λJTJの場合はLevenberg-­‐Marquardt   Gauss  NewtonとLevenberg-­‐Marquardtが最も収束速度度・頻度度の観点から良良い。   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. 31  
  32. 32. Machine Vision Group Lucas-Kanade法の問題点 処理理時間が遅い:パラメータの反復復更更新の度度に、⼤大量量の計算が必要   ヘッシアン 画素全体で和 変形・勾配 ヤコビアン 回避⼿手段:   ・パラメータを直接更更新するのではなく、変換⾏行行列列を合成  (変形合成法)   ・テンプレートと対象画像に変換を分割  (変形逆合成法)   From To 32   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  33. 33. Machine Vision Group Inverse  Compositional法   (Baker,  2001) テンプレート画像  T(W(x;Δp)) 変換後画像  I(W(x;p)) 変形W S. Baker and I. Matthews, “Lucas-Kanade 20 Years On: A Unifying Framework,” IJCV, vol.56, no.3, pp.221–255, 2004. 33   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  34. 34. Machine Vision Group Inverse  Compositional法 輝度度誤差最⼩小化 ⾮非線形最⼩小⼆二乗法で解くことを考える。   Step1:  ⽬目的関数のテイラー⼀一次近似 Step2:  ⽬目的関数のマトリクス微分を計算し、W←W(x;p)・W(x;Δp)  の更更新式を得る。 ヘッシアン テンプレート ヤコビアン 輝度度勾配 事前にほとんどの計算をやっておけるので⾼高速。しかもLK法と等価   S. Baker and I. Matthews, “Lucas-Kanade 20 Years On: A Unifying Framework,” IJCV, vol.56, no.3, pp.221–255, 2004. 34   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  35. 35. Machine Vision Group Efficient  Second-order  Minimization (Malis,  2004) 効率率率的⼆二次近似最⼩小化、ビジュアルサーボ/トラッキングの⽂文脈で提案   Step1:  ⽬目的関数のテイラー⼆二次近似 Step2:  ヤコビアンのテイラー展開 Step3:  Step2の結果をStep1に代⼊入し Step4:  次の更更新式を得る。 E. Malis, “Improving vision-based control using efficient second-order minimization techniques,” IEEE International Conference on Robotics and Automation, vol.2, pp.1843–1848, 2004. S. Benhimane and E. Malis, “Real-time image-based tracking of planes using efficient second-order minimization,” IROS’04, vol.1, pp.943–948, 2004. C. Mei, S. Benhimane, E. Malis, and P. Rives, “Effi- cient Homography-Based Tracking and 3-D Reconstruc- tion for Single-Viewpoint Sensors,” IEEE 35   Transactions on Robotics, vol.24, no.6, pp.1352–1364, 2008. 2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  36. 36. Machine Vision Group ESMの特徴 •  制御の世界(ICRA,  IROS)からビジュアルサーボ技 術として提案された。   •  Computer  visionにおけるデファクトスタンダード のInverse  ComposiOonal法より   –  収束速度度が⾼高速   –  収束頻度度が⾼高く、安定   •  ⽐比較的⾼高速な計算   –  Mei(2008)による、線形リー群を⽤用いたパラメータ化 により⾼高速化   •  輝度度ベース誤差最⼩小化の”state-­‐of-­‐the-­‐art” 36   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  37. 37. 輝度ベース誤差最小化の拡張 Machine Vision Group •  ⾼高速化   –  ピクセルサンプリング   –  ピクセルに重み付け   •  ⾼高精度度化   –  距離離指標のロバスト化   •  相互情報量量等  (MILK  by  Dowsonら(2008)など)   –  テンプレートの更更新   •  ボケ・回転への対応  (Itoら(2011),  Jinら(2005),  ESM-­‐blur  by  Park(2009) など)   •  安定化   –  勾配法の改良良   •  Levenberg-­‐Marquarldt法等  (MILK  by  Dowsonら(2008)など)   37   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  38. 38. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   38   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  39. 39. Machine Vision Group 誤差最小化:特徴点ベース 前提:テンプレート画像のエッジ等、再現性の⾼高い特徴点が得られる。         仮の対応が作りやすい。         ⼤大まかな初期位置(変形パラメータ  p)が与えられている。   問題:テンプレート画像と変形が⽣生じた対応点間の誤差を最⼩小化する最適な  p* を 求める。   変換後画像上の   対応点  W(p)xi テンプレート画像上   特徴点  ti 2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. 39  
  40. 40. Machine Vision Group Iterative  Closest  Point法 (Zhang,  1994) 当初は三次元点群のフィッティングのために提案されたが、   ⼆二次元点群にも応⽤用可能 Step1:  特徴点の抽出   Step2:  特徴点間の仮の対応付け   Step3:  特徴点間誤差の最⼩小化   Step4:  Step2-­‐3の繰り返しおよび収束判定 特徴点としては、⼆二次元ではエッジ点が利利⽤用されることが多い。   理理由:エッジの再現性は⾮非常に⾼高いため。   問題点:対応点が取りにくい。 ほとんどの距離離指標において、変形パラメータに対して線形になるため、   簡単な⽅方程式を解くだけで良良いことになり⾮非常に⾼高速 40   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  41. 41. Machine Vision Group 理理想 対応点垂直探索法 (Cootes,1996;  木戸,  2009) 変形画像上の   再近接点 テンプレート上の   コントロール点 これを変形の度度に推定する のは計算時間がかかる。 そこで 変形画像上の コントロール点   テンプレート上の 再近接点   変形画像上のコントロール 点から再近接点を⾒見見つける。 先にテンプレート上のコントロール点を 設定し、その法線方向の探索点を   事前に計算しておくことで更に高速化 なお、エッジ点は   サブピクセルエッジ推定する。 2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. 41  
  42. 42. Machine Vision Group 対応点間誤差最小化 内積最小化 垂直探索索法の問題点   必ずしも正しい対応点ではない。   特に横⽅方向の位置ずれが⼤大きい。 探索索ライン テンプレート上 コントロール点 対応エッジ点 探索索ライン 対応エッジ点の探索索 テンプレートコントロール点 真の対応エッジ点 ⾒見見つかった対応エッジ点 内積最⼩小化  (Steger,  2002)   現在の変形Wで投影した点とコントロー ル点を結ぶベクトルは、コントロール点 における接線上に来るように内積最⼩小化。   特に直線成分が⻑⾧長く続く時に効果を発揮   その他、射影距離離最⼩小化  (Silver,  2005)等もあり   変形W 探索索ライン テンプレートコントロール点 ⾒見見つかった対応エッジ点 モデル上での対応エッジ点 2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. 42  
  43. 43. Machine Vision Group サブピクセル物体検出技術の分類 サブピクセル物体検出 補間   超解像   ピーク検出   誤差最小化   画像が⼤大きくなり   計算コストが増⼤大 学習   ベース   対象の変わる度度に   学習が必要 画像 ドメイン   周波数   ドメイン   輝度   ベース   特徴点   ベース   43   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  44. 44. 各手法の特徴 Machine Vision Group FA,  ARでは、⾼高速性と正確性の両⽴立立が可能な特徴点ベース誤差最⼩小化が⼀一般的   パラダイム 利用する   特徴 速度[ms] 特徴 1/2  –  1/4   数十 画像サイズが大きくなると速度低下   1/10     数十 探索時のサンプリングと精度トレードオフ 周波数空間 1/100     数十 画像サイズが大きくなると速度低下 1/10   1-­‐10 精度が初期値に依存 1/100   <1 精度が初期値や特徴点/エッジ点の選択に依 存 画像補間 画像空間 ピーク検出 精度   [pix] 輝度 誤差最小化 特徴点 44   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  45. 45. Machine Vision Group 評価方法 ■ 人工画像を用いた評価(シミュレーション評価)   テンプレートをサブピクセル単位で変形して貼り付け   -画素補間による生成   -サイズの大きなテンプレート画像を用いて縮小   真値がわかっているため容易に実行可能 ■実画像評価 ①精密機械ステージを用いた評価 ②繰り返し精度評価 ③リニアリティ評価 シミュレーション画像 45   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  46. 46. Machine Vision Group 評価方法:実画像評価 ①精密機械ステージを用いた評価 -ステージ原点位置からの相対的なズレを評価 -事前にキャリブレーション  画素/寸法換算、レンズ歪み、座標系合わせ -ステージ誤差(例): 0.01[mm]  視野角が300[mm]の512x512[pix]の画像の場合は 1[pix] = 0.58[mm] 1/10[pix]程度は評価できる -ステージ移動は累積誤差が伴う場合がある  ⇒ステージ原点復帰を行いながら撮影 XYθステージ 6自由度ステージ 46   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  47. 47. Machine Vision Group 評価方法:実画像評価 ②繰り返し精度評価 カメラとターゲットを固定して画像を複数撮影 推定値のバラツキを見る ③リニアリティ評価 ステージ移動量を横軸、推定値を縦軸のグラフをプロットして 直線で当てはめて、直線との最大誤差を見る 47   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  48. 48. Machine Vision Group 評価方法:実画像評価 ARなどでカメラ位置・姿勢が大きく変動する場合 -ロボットアームにカメラ [Andrew I. Comport IEEE TCVG2006] -多関節機械式プローブにカメラ [上瀧 ViEW2013] -ターゲットに垂直なキャリブレーションボード設置 多関節機械式プローブ [伊藤 MIRU2011] 垂直マーカー 48   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  49. 49. 今後 Machine Vision Group •  ⼆二次元から三次元へ!   –  ビンピッキング   •  ロボティクスとの連携   –  ⽣生産現場   –  制御との連携:ヴィジュアルサーボ   –  実世界への適応   •  ARの⼀一般化  (google  glasses等)   –  マーカレスARのさらなる⾼高精度度化   •  バーコード読み取りの⾼高精度度化   –  ⾃自動倉庫等の普及   •  ⾮非剛体レジストレーション   •  ベンチマークの整備   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved. デンソーウェーブHPより 49  
  50. 50. Machine Vision Group ご清聴 ありがとうございました。 50   2013  (c)  Kumamoto  Univ.  and  OMRON  Corp.  All  rights  reserved.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×