2011-04-08
伊神 大貴
@_Nonane_
コンピュータビジョン最先端ガイド6巻
幾何学的推定のための最適化手法:
最小化を超えて
4~4.2節
いろいろ
2
担当範囲:4~4.2節
-計2.7ページ
本日参加した理由
「最尤推定解の精度がさらに向上する」
「幾何学的推定は評価関数の最小化に基づく必要
はない」
研究
ロバスト推定,非凸問題の大域的最適化
-理論派ではなく感覚派(?)
所属:
東京大学 相澤・山崎研究室 博士課程2年
幾何学的推定
3
Line Fitting: 𝑎𝑥 + 𝑏𝑦 + 𝑐 = 0
min
𝑎,𝑏,𝑐
෍
𝑖
𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐 2
s. t. b = −1 s. t. a2 + b2 = 1 s. t. a2 + b2 + c2 = 1
(最小二乗法)(Taubin,最尤推定)(𝑦 = 𝑎𝑥 + 𝑐)
幾何学的推定
4
Line Fitting: 𝑎𝑥 + 𝑏𝑦 + 𝑐 = 0
min
𝑎,𝑏,𝑐
෍
𝑖
𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐 2
s. t. b = −1 s. t. a2 + b2 = 1 s. t. a2 + b2 + c2 = 1
(最小二乗法)(Taubin,最尤推定)(𝑦 = 𝑎𝑥 + 𝑐)
幾何学的推定
5
s. t. a2 + b2 = 1
(Taubin,最尤推定)
点と直線の距離:
𝑑𝑖 =
𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐
𝑎2 + 𝑏2
min
𝑎,𝑏,𝑐
෍
𝑖
𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐 2
𝑎2 + 𝑏2
= min
𝛉
෍
𝑖
𝛏𝑖, 𝛉 2
𝛉, 𝐕0 𝛉
𝛉 = 𝑎, 𝑏, 𝑐
𝛏𝑖 = 𝑥𝑖, 𝑦𝑖, 1
𝐕0 =
1 0 0
0 1 0
0 0 0
𝛉, 𝐕0 𝛉 = 𝑎2 + 𝑏2
= min
𝛉
෍
𝑖
𝛏𝑖, 𝛉 2
s. t. 𝛉, 𝐕0 𝛉 = 1
幾何学的推定
6
Circle Fitting:
=
𝑎 𝑥 𝑖
2
+𝑦𝑖
2
+𝑏
2
4𝑎2 𝑥 𝑖
2+𝑦𝑖
2 :サンプソン距離
min
𝑎,𝑏
෍
𝑖
𝑎 𝑥𝑖
2
+ 𝑦𝑖
2
+ 𝑏
2
4𝑎2 𝑥𝑖
2
+ 𝑦𝑖
2
= min
𝛉
෍
𝑖
𝛏𝑖, 𝛉 2
𝛉, 𝐕0[𝛏𝑖]𝛉
𝛉 = 𝑎, 𝑏
𝛏𝑖 = 𝑥𝑖
2
+ 𝑦𝑖
2
, 1
𝐕0 𝛏𝑖 = 4𝑥𝑖
2
+ 4𝑦𝑖
2
0
0 0
𝛉, 𝐕0 𝛉 = 4𝑎2 𝑥𝑖
2
+ 𝑦𝑖
2
𝑑𝑖
2
= 𝑥𝑖
2
+ 𝑦𝑖
2
− 𝑟
2
~
1
4
𝑥𝑖
2
+ 𝑦𝑖
2
−
𝑟2
𝑥 𝑖
2
+𝑦𝑖
2
2
Taubin法の解釈
7
min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝛏 𝛼, 𝛉 2
𝛉, 𝐕0 𝛏 𝛼 𝛉
サンプソン誤差最小化:
Taubin法:
min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝛏 𝛼, 𝛉 2
𝛉, ഥ𝐕0 𝛉
, ഥ𝐕0 =
1
𝑁
෍
𝛼=1
𝑁
𝐕𝟎 𝛏 𝛼
𝐕0を平均で近似した
Taubin法の解釈2
8
Taubin法:
min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝛉, 𝐌𝛉 2
𝛉, ഥ𝐕0 𝛉
, 𝐌 =
1
𝑁
෍
𝛼=1
𝑁
𝛏 𝛼 𝛏 𝛼
⊤
, ഥ𝐕0 =
1
𝑁
෍
𝛼=1
𝑁
𝐕𝟎 𝛏 𝛼
𝐌の真値 ഥ𝐌と観測される𝐌の期待値E 𝐌 の関係は
E 𝐌 = ഥ𝐌 + 𝜎2 𝐍※ ※平均 𝜇 ,分散 𝜎 の確率変数 𝑋 について,
E 𝑋2 = 𝜇 + 𝜎2になるのと同じ話
求めたいのはഥ𝐌𝛉 = 𝟎なので
𝐌 − 𝜎 𝟐 𝐍 𝛉 = 𝟎
→ 𝐌𝛉 = 𝜎 𝟐
𝐍𝛉
𝜎 𝟐は小さいので𝐌𝛉 = 𝜆𝐍𝛉の最小固有値問題を解く.
この ഥ𝐌とE 𝐌 のずれをどうにかするのがTaubin法
重み反復法
9
min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝑤 𝛼 =
1
𝛉, 𝐕𝟎 𝛏 𝛼 𝛉
𝛉 𝑡
= min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝛉, 𝛉 = 1
サンプソン誤差最小化:
重み反復法:
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 , 𝐕𝟎 𝛏 𝛼 𝛉 𝑡
最小化に基づかない方法?
10
min
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 𝐱 1
例:スパースコーディング
𝐱 𝑡
= argmin
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖
𝑡
𝑥𝑖
2
𝑤𝑖
𝑡
=
1
𝑥𝑖
𝑡
Iterative reweight method:
これは等価?
最小化に基づかない方法?
11
min
𝐱,𝐰
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖 𝑥𝑖
2
+ 𝜆 ෍
𝑖
1
𝑤𝑖
𝐱 𝑡
= argmin
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖
𝑡
𝑥𝑖
2
Iterative optimization:
最小化に基づかない方法?
12
min
𝐱,𝐰
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖 𝑥𝑖
2
+ 𝜆 ෍
𝑖
1
𝑤𝑖
𝐱 𝑡
= argmin
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖
𝑡
𝑥𝑖
2
𝑤𝑖
𝑡
= argmin
𝐰
෍
𝑖
𝑤𝑖 𝑥𝑖
𝑡
2
+ ෍
𝑖
1
𝑤𝑖
Iterative optimization:
=
1
𝑥𝑖
𝑡
最小化に基づかない方法?
13
min
𝐱,𝐰
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖 𝑥𝑖
2
+ 𝜆 ෍
𝑖
1
𝑤𝑖
𝐱 𝑡
= argmin
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖
𝑡
𝑥𝑖
2
𝑤𝑖
𝑡
= argmin
𝐰
෍
𝑖
𝑤𝑖 𝑥𝑖
𝑡
2
+ ෍
𝑖
1
𝑤𝑖
Iterative optimization:
=
1
𝑥𝑖
𝑡
→Iterative reweightと
等価なアルゴリズム
最小化に基づかない方法?
14
min
𝐱,𝐰
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖 𝑥𝑖
2
+ 𝜆 ෍
𝑖
1
𝑤𝑖
= min
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
1
|𝑥𝑖|
𝑥𝑖
2
+ 𝜆 ෍
𝑖
𝑥𝑖
= min
𝐱
𝐲 − 𝐃𝐱 2
2
+ 2𝜆 ෍
𝑖
𝑥𝑖
最小化に基づかない方法?
15
min
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖 𝑥𝑖
2
𝑠. 𝑡. 𝑤𝑖 =
1
𝑥𝑖
𝐱 𝑡 = argmin
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑤𝑖
𝑡
𝑥𝑖
2
𝑤𝑖
𝑡
=
1
𝑥𝑖
𝑡
等価でない
min
𝐱
𝐲 − 𝐃𝐱 2
2
+ 2𝜆 ෍
𝑖
𝑥𝑖
min
𝐱
𝐲 − 𝐃𝐱 2
2
+ 𝜆 ෍
𝑖
𝑥𝑖 ⇔
⇔
重み反復法
16
min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝑤 𝛼 =
1
𝛉, 𝐕𝟎 𝛏 𝛼 𝛉
𝛉 𝑡
= min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝛉, 𝛉 = 1
サンプソン誤差最小化:
重み反復法:
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 , 𝐕𝟎 𝛏 𝛼 𝛉 𝑡
くりこみ法
17
サンプソン誤差最小化:
くりこみ法:
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 , 𝐕𝟎 𝛏 𝛼 𝛉 𝑡
𝐍 =
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝐕𝟎 𝛏 𝛼
min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝑤 𝛼 =
1
𝛉, 𝐕𝟎 𝛏 𝛼 𝛉
𝛉 𝑡
= min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝛉, 𝐍𝛉 = 1
例:Line Fitting(重み反復法)
18
𝛉 = 𝑎, 𝑏, 𝑐
𝛏𝑖 = 𝑥𝑖, 𝑦𝑖, 1
𝐕0 =
1 0 0
0 1 0
0 0 0
𝛉, 𝐕0 𝛉 = 𝑎2 + 𝑏2
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 ,𝐕 𝟎 𝛉 𝑡 は𝛼によらず
常に一定,最小二乗法と等価
𝛉 𝑡
= min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝛉, 𝛉 = 1
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 , 𝐕𝟎 𝛏 𝛼 𝛉 𝑡
例:Ellipse Fitting(重み反復法)
19
𝛉 = 𝑎, 𝑏, 𝑐
𝛏𝑖 = 𝑥𝑖
2
, 𝑥𝑖 𝑦𝑖, 𝑦𝑖
2
, 𝑥𝑖, 𝑦𝑖, 1
𝐕0[𝛏𝑖] =
𝑥𝑖
2
𝑥𝑖 𝑦𝑖 ⋯
𝑥𝑖 𝑦𝑖 𝑥𝑖
2
+ 𝑦𝑖
2
⋯
⋮ ⋮ ⋱
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 ,𝐕 𝟎 𝛉 𝑡 は𝛼に依存,
観測点ごとに異なる重み
(ノイズの非一様性を考慮)
𝛉 𝑡
= min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝛉, 𝛉 = 1
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 , 𝐕𝟎 𝛏 𝛼 𝛉 𝑡
例:Ellipse Fitting(Taubin法)
20
𝛉 = 𝑎, 𝑏, 𝑐
𝛏𝑖 = 𝑥𝑖
2
, 𝑥𝑖 𝑦𝑖, 𝑦𝑖
2
, 𝑥𝑖, 𝑦𝑖, 1
𝐕0[𝛏𝑖] =
𝑥𝑖
2
𝑥𝑖 𝑦𝑖 ⋯
𝑥𝑖 𝑦𝑖 𝑥𝑖
2
+ 𝑦𝑖
2
⋯
⋮ ⋮ ⋱
観測点ごとに一様な重み
(ノイズは一様と仮定)
非線形変換データ𝛏の共分散
(ノイズの異方性を考慮)
𝐍 =
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝐕𝟎 𝛏 𝛼
𝛉 𝑡
= min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝛉, 𝐍𝛉 = 1
例:Ellipse Fitting(くりこみ法)
21
𝛉 = 𝑎, 𝑏, 𝑐
𝛏𝑖 = 𝑥𝑖
2
, 𝑥𝑖 𝑦𝑖, 𝑦𝑖
2
, 𝑥𝑖, 𝑦𝑖, 1
𝐕0[𝛏𝑖] =
𝑥𝑖
2
𝑥𝑖 𝑦𝑖 ⋯
𝑥𝑖 𝑦𝑖 𝑥𝑖
2
+ 𝑦𝑖
2
⋯
⋮ ⋮ ⋱
観測点ごとに異なる重み
(ノイズの非一様性)
Taubin法的な制約
(ノイズの異方性)
𝑤 𝛼
𝑡
=
1
𝛉 𝑡 , 𝐕𝟎 𝛏 𝛼 𝛉 𝑡
𝐍 =
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝐕𝟎 𝛏 𝛼
𝛉 𝑡
= min
𝛉
1
𝑁
෍
𝛼=1
𝑁
𝑤 𝛼 𝛏 𝛼, 𝛉 2
𝑠. 𝑡. 𝛉, 𝐍𝛉 = 1
まとめ
22
-実験ではFNS法が不安定というが,同じサンプソン
-誤差を最小化するHEIV法は安定して収束する?
個人的な感想:サンプソン誤差最小化でいいのでは?
-目的関数があるという安心感
Taubin法:ノイズの異方性に対処
重み反復法:ノイズの非一様性に対処
くりこみ法:上二つの組み合わせ
最小二乗法:ノイズの影響は一様かつ等方と仮定

コンピュータビジョン最先端ガイド6 第2章:4~4.2節