2018/10/20コンピュータビジョン勉強会@関東「ECCV読み会2018」発表資料
Yew, Z. J., & Lee, G. H. (2018). 3DFeat-Net: Weakly Supervised Local 3D Features for Point Cloud Registration. European Conference on Computer Vision.
2018/10/20コンピュータビジョン勉強会@関東「ECCV読み会2018」発表資料
Yew, Z. J., & Lee, G. H. (2018). 3DFeat-Net: Weakly Supervised Local 3D Features for Point Cloud Registration. European Conference on Computer Vision.
This slides explain about scanning picture feature points that is made by SIFT(Scale Invariant Feature Transform) which uses Gaussian Filter Difference Logic (DoG).
This slides explain about scanning picture feature points that is made by SIFT(Scale Invariant Feature Transform) which uses Gaussian Filter Difference Logic (DoG).
* Satoshi Hara and Kohei Hayashi. Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach. AISTATS'18 (to appear).
arXiv ver.: https://arxiv.org/abs/1606.09066#
* GitHub
https://github.com/sato9hara/defragTrees
12. 学習アルゴリズム
Random Forestsの学習アルゴリズム
・前処理
− データ集合 S から T 個のサブセット作成
・For t = 1, 2, …, T サブセットの数だけ木を作成
IF エントロピー H(S)=0 or 指定した深さDに達した
・末端ノード作成
ELSE
・分岐関数候補をランダムに K 個選択
・ For k = 1, 2, …, K
- 候補 k を用いてサンプルの分割
- 候補 k の情報利得算出
・最も情報利得Iが高い候補を選択
・単純ベイズ識別器作成
12
13. サブセットの作成
• サンプル集合 S を用意
‒ サンプルi ∈ S には特徴ベクトル vi, 教師信号 ci が付与
• サブセットの作成
‒ T 個のサブセットをランダムに作成
サンプル集合 S
サブセット S1
サブセット S2
サブセット ST
13
15. 学習アルゴリズム
Random Forestsの学習アルゴリズム
・前処理
− データ集合 S から T 個のサブセット作成
・For t = 1, 2, …, T サブセットの数だけ木を作成
IF エントロピー H(S)=0 or 指定した深さDに達した
・末端ノード作成
ELSE
・分岐関数候補をランダムに K 個選択
・ For k = 1, 2, …, K
- 候補 k を用いてサンプルの分割
- 候補 k の情報利得算出
・最も情報利得Iが高い候補を選択
・単純ベイズ識別器作成
15
20. 学習アルゴリズム
Random Forestsの学習アルゴリズム
・前処理
− データ集合 S から T 個のサブセット作成
・For t = 1, 2, …, T サブセットの数だけ木を作成
IF エントロピー H(S)=0 or 指定した深さDに達した
・末端ノード作成
ELSE
・分岐関数候補をランダムに K 個選択
・ For k = 1, 2, …, K
- 候補 k を用いてサンプルの分割
- 候補 k の情報利得算出
・最も情報利得Iが高い候補を選択
・単純ベイズ識別器作成
20
21. サンプルの分割と情報利得の算出
• 分岐関数候補を用いてサンプルを分割
Sl
Sr
= {i
Sj |fk (vi ) < tk }
= Sj Sl
Sl : 左に分岐するサンプル集合
Sr : 右に分岐するサンプル集合
• 情報利得 I により候補を評価
Ij = H(Sj )
i=L,R
= H(Sj )
i
|Sj |
i
H(Sj )
|Sj |
|Sl |
H(Sl )
|Sj |
H : 情報エントロピー
Sj : 親ノードのサンプル集合
|Sr |
H(Sr )
|Sj |
21
30. 学習アルゴリズム
Random Forestsの学習アルゴリズム
・前処理
− データ集合 S から T 個のサブセット作成
・For t = 1, 2, …, T サブセットの数だけ木を作成
IF エントロピー H(S)=0 or 指定した深さDに達した
・末端ノード作成
ELSE
・分岐関数候補をランダムに K 個選択
・ For k = 1, 2, …, K
- 候補 k を用いてサンプルの分割
- 候補 k の情報利得算出
・最も情報利得Iが高い候補を選択
・単純ベイズ識別器作成
30
35. 実装上の注意点
• 学習サンプルの各クラスのサンプル数が不均等の場合
→ Inverse Label Frequencyが必要
• 学習サンプル I すべてを用いてクラスの頻度分布を作成
‒ あるサンプル i ∈ I に付けられているラベルを ciを利用
c
=
[c = ci ]
頻度
1
i I
カテゴリ C
• カテゴリの頻度分布作成時に重み付け
35
36. 学習アルゴリズム
Random Forestsの学習アルゴリズム
・前処理
− データ集合 S から T 個のサブセット作成
・For t = 1, 2, …, T サブセットの数だけ木を作成
IF エントロピー H(S)=0 or 指定した深さDに達した
・末端ノード作成
ELSE
・分岐関数候補をランダムに K 個選択
・ For k = 1, 2, …, K
- 候補 k を用いてサンプルの分割
- 候補 k の情報利得算出
・最も情報利得Iが高い候補を選択
・単純ベイズ識別器作成
36
37. 単純ベイズ識別器の作成
• T 個の決定木をトラバーサル
v
v
tree tT
tree t1
……
1
Average
+
……
+
P1 (c|v)
識別結果の統合:
単純ベイズ識別器:
T
Pt (c|v)
1
P (c|v) =
T
=
8
4 523
7
6
T
Pt (c|v)
t=1
Ci = arg max P (ci |v)
ci
37
96. CL
V (x) =
d
t t=1
p(E(x)|I(y); {Tt }T )
t=1
(13)
分岐関数の設計
F (S, Ti ) τi
F (S, Ti ) τi
otherwise
CL
otherwise
テンプレートとサンプルの距離計算により左右に分岐
F (S, T ) τ
•
i
i
(14)
(14)
otherwise
‒ Holistic RFとPatch-based RFで同じ分岐関数を使用
T
SN
t
T
F (S, Ti ) τi :左に分岐
otherwise
:右に分岐
SN
t
分岐関数:
SP P
t S
t
未知サンプルの
S : 未知サンプル
Ti : テンプレート
τi : しきい値
(14)
テンプレートの
バイナリコード
未知サンプル
バイナリコード
T
P T = = 0) 1, 2, · · , n
FF (S,T ))=
(S, Ti =
δ(P ⊗ dPd 0) d = d = ·1, 2, · · ·
S
Pd
S ∈S
Pd ∈S AND演算子
T ∈T
Pd
T
Pd ∈T
S
Pd
FP(S, T ) =
T
d
S
分岐ノード P1
T
P1
S
P2
T
P2
ss
δ(Pd d
⊗
,n
(15)
n : セルの数
S
P2 0 1 0 0 1 0 1 0
s
T
δ(Pd ⊗ Pd = 0) d = 1, 2, · · ·
T
P2 0 1 0 1 0 1 0 1
S
Pd ∈S
テンプレート
T
Pd ∈T 0 1 0 0 0 0 0 0 ≠ 0 )
δ(
1
(15)
,n
95
144. CV分野への応用1
• 距離画像からの人体姿勢推定 [Girshick R. et al., 2011]
‒ Regression Forestにより,直接関節の三次元位置を回帰して推定
‒ 入力:距離画像の2点間の距離差( [Shotton et al., 2011]と同じ)
‒ 出力:人体の関節3次元位置
143
145. CV分野への応用2
• Conditional Regression Forestsによる
顔向き推定と顔特徴点の推定 [Dantone, M. et al., 2012]
etection using Conditional Regression Forests
‒ 入力:パッチ(Haar-like特徴:領域間の輝度差)
1,3
Gall1,2
Gabriele Fanelli1
for Intelligent Systems, Germany
ch
3
Luc Van Gool
KU Leuven, Belgium
‒ 出力:顔向き,器官位置
vangool@esat.kuleuven.be
jgall@tue.mpg.de
mages is a
ethods that
es. Here we
ask. While
acial image
m the entire
he relations
xperiments,
emonstrate
regression
aluated the
e Wild [20]
ieved while
like human
ature point
Figure 1. Our approach estimates facial feature points from 2D
images in real-time.
spatial relations between image patches and facial features
144
172. チュートリアル資料:Random Forests[Criminisi et al., 2011]
• Classification, Regression, Density Estimation,
Manifold Learning and Semi-Supervised Learning
チュートリアル: http://research.microsoft.com/en-us/groups/vision/decisionforests.aspx
171
173. 参考文献1
1. Random Forests
-
[Breiman, 2001] L. Breiman, Random Forests., Machine Learning 45 (1): 5‒32,
2001.
-
[Lepetit et al., 2006] V. Lepetit and P. Fua, Keypoint Recognition using
Randomized Trees , IEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. 28, Nr. 9, pp. 1465-1479, 2006.
-
[Shotton et al., 2008] J. Shotton, M. Johnson, R. Cipolla, Semantic Texton
Forests for Image Categorization and Segmentation. , In Proc. IEEE CVPR 2008.
-
[Amit Geman, 1997] Y. Amit and D. Geman Y, Shape Quantization and
Recognition with Randomized Trees , Neural Computation, vol. 9, pp.
1545-1588, 1996
-
[Moosmann et al., 2006] F. Moosmann, B. Triggs, and F. Jurie, Fast
Discriminative Visual Codebooks using Randomized Clustering Forests. , In
NIPS, 2006.
-
[山下 et al., 2010] 山下隆義, 山内悠嗣, 藤吉弘亘, Boosted Randomized Trees によ
る人物検出と行動の同時認識, 第13回画像の認識・理解シンポジウム(MIRU2010),
2010.
-
[Geurts et al., 2006] P. Gurts, D. Ernst, and L. Wehenkel, Extremely Randomized
Trees , Machine Learning, vol. 63, issue 1, pp. 3-42, 2006.
172
174. 参考文献1
2. 学習を用いたキーポイントマッチングの高速化
-
[西村 et al., 2010] 西村孝, 清水彰一, 藤吉弘亘, 2段階のRandomized Treesを用いた
キーポイントの分類, 第13回画像の認識・理解シンポジウム(MIRU2010), 2010.
-
[Özuysal et al.,2010] M. Özuysal, M. Calonder, V. Lepetit, P. Fua, Fast Keypoint
Recognition using Random Ferns IEEE Transactions on Pattern Analysis and
Machine Intelligence, Vol. 32, Nr. 3, pp. 448 - 461, 2010.
3. Random Forestsを用いた物体検出
-
[Gall et al., 2011] J.Gall, A.Yao, N.Razavi, L.Van Gool, and V. Lempitsky, Hough
forests for object detection, tracking and action recognition , IEEE Transactions
on Pattern Analysis and Machine Itelligence, vol. 33, no. 11, pp. 2188-2202,
2011.
-
[Dahang et al., 2012] Tang Danhang, Yang Liu, and Tae-Kyun Kim. Fast
Pedestrian Detection by Cascaded Random Forest with Dominant Orientation
Templates , BMVC, pp. 58.1-58.11, 2012
-
[Hinterstoisser et al., 2010] S.Hinterstoisser, V. Lepetit, S. llic, P. Fua, and N.
Navab, Dominant Orientation Templates for Real-Time Detection of TextureLess Objects , IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2010.
173
175. 参考文献3
4. Random Forestsを用いた人体姿勢推定
-
[Shotton et al., 2011] Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby
Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake, Real-Time
Human Pose Recognition in Parts from Single Depth Images ,Computer Vision
and Pattern Recognition,vol.2,pp.1297-1304,2011.
-
[Criminisi et al., 2011] A. Criminisi, J. Shotton, and E. Konukoglu, Decision
Forests for Classification, Regression, Density Estimation, Manifold Learning
and Semi-Supervised Learning, no. MSR-TR-2011-114, 28 October 2011.
5. Regression Forests
-
[Girshick R. et al., 2011] Girshick R., Shotton J., Kohli P., Criminisi A., and
Fitzgibbon A., Efficient regression of general-activity human poses from depth
images , Computer Vision (ICCV), 2011 IEEE International Conference on, 415
-422, 2011.
-
[Dantone, M. et al., 2012] Dantone M., Gall J., Fanelli G., and Van Gool L., Realtime facial feature detection using conditional regression forests , Computer
Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, 2578 -2585,
2012.
174