SlideShare a Scribd company logo
1 of 31
Download to read offline
CV勉強会@関東 発表資料
P-N Learning: Bootstrapping Binary
Classifiers by Structural Constraints
2015/05/30 takmin
自己紹介
テクニカル・ソリューション・アーキテクト
皆川 卓也(みながわ たくや)
フリーエンジニア(ビジョン&ITラボ)
「コンピュータビジョン勉強会@関東」主催
博士(工学)
テクニカル・ソリューション・アーキテクト
皆川 卓也(みながわ たくや)
フリーエンジニア(ビジョン&ITラボ)
「コンピュータビジョン勉強会@関東」主催
博士(工学)
略歴:
1999-2003年
日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得(2014年)
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事
2
http://visitlab.jp
紹介する論文
3
 P-N Learning: Bootstrapping Binary Classifiers by
Structural Constraints
 Z. Kalal, J. Matas, K. Mikolajczyk
 CVPR 2010
 P-N Learningという二値分類を行う識別器をラベルなし
サンプルから学習させるパラダイムの定式化
 やってることはトラッキングだけど、論文自体はもっと上段に
構えてる
 デモ動画
 https://www.youtube.com/watch?v=1GhNXHCQGsM
 OpenCV3.0に実装される予定
P-N Learningを用いたトラッキング
4
 1つのサンプル(黄色)から物体検出器を学習し、赤のよ
うな違う姿勢の物体も検出
P-N Learning
5
 ラベルつきサンプルとラベルなしサンプルを使用して二
値分類の識別器を学習
 サンプル間の依存関係(構造)を利用して、サンプルにラ
ベルを付与する
 Positive Constraints
 Positiveラベルをつける構造パターン
 Negative Constraints
 Negativeラベルをつける構造パターン
トラッキングの例
6
 軌跡に近いパッチをPositiveサンプル、遠いパッチを
Negativeサンプルとする
ラベルなしサンプルの活用例
7
 半教師有学習
 EMアルゴリズム
 self-learning
 co-training
P-N Learningの流れ
8
ラベル有サンプルから
最初の識別器を学習
P-N Learningの流れ
9
ラベル無しサンプル
を識別
ラベル無し
サンプル
P-N Learningの流れ
10
ラベル有り
サンプル
制約を用いてラ
ベルを付け直し
ラベル有りサン
プルを拡張
P-N Learningの流れ
11
識別器を再
トレーニング
P-N Learningの流れ
12
ラベル無しサンプル
を識別
以下、繰り返し
動画からの物体検出器の学習
13
第1フレームの
追跡対象から
生成
Randomized
fern
追跡対象近くが正例
遠くが負例
入力フレームから
Sliding Windowで生成
fern
14
各ノードは2bitパターン
𝑃𝑟(𝑦 = 1|𝒙)
𝒙 =
2
1
1
特徴ベクトル
識別結果
Randomized fern
15
 様々なサイズのウィンドウで画像内を探索
 複数のfernの識別結果の平均が50%以上なら追跡対象
(正例)
Structural Constraints
16
Lucas-Kanade Trackerで追跡
Structural Constraints
17
識別器で物体と判定された近くのパッチを正例サンプルに追加
Structural Constraints
18
識別器で背景と判定された軌跡周辺のパッチを負例サンプル
に追加
動画から学習の流れ
19
 最初の識別器は第1フレームにラベルづけされた対象領
域をランダムにアフィン変換した300枚の正例を用いて学
習。
 第1フレームにラベルづけされた対象領域をLKトラッカー
で追跡。
 LKトラッカーが追跡に失敗したり、軌跡よりも遠い位置に
識別器が物体を検出した場合
 学習サンプルを全て破棄
 学習済み識別器を用いてLKトラッカーを再初期化
 最後のフレームまで学習された識別器=Final Detector
収束条件
20
識別器でラベル無しデータにラベルをつけたら、
当然間違えるものも出てくるよね?発散しな
い?
どのようなケースでP-N Learningが収束するの
かを理論的に検証
収束条件
21
False Positive数
False Negative数
𝛼 𝑘 + 1 = 𝛼 𝑘 − 𝑛 𝑐
−
𝑘 + 𝑛 𝑓
+
𝑘
𝑘: 学習回数
𝛽 𝑘 + 1 = 𝛽 𝑘 − 𝑛 𝑐
+
𝑘 + 𝑛 𝑓
−
𝑘
False Positive
を正しく負例と
変換した数
True Negative
を誤って正例
と変換した数
False Negative
を正しく正例と
変換した数
True Positive
を誤って負例
と変換した数
(1a)
(1b)
収束条件
22
P-Precision
𝑃+ =
𝑛 𝑐
+
𝑛 𝑐
+
+ 𝑛 𝑓
+
𝑃− =
𝑛 𝑐
−
𝑛 𝑐
−
+ 𝑛 𝑓
−
𝑅+ =
𝑛 𝑐
+
𝛽 𝑘
𝑅−
=
𝑛 𝑐
−
𝛼 𝑘
P-Recall
N-Precision N-Recall
False Positive
を正しく負例と
変換した数
True Negative
を誤って正例と
変換した数
False Negative
を正しく正例と
変換した数
True Positive
を誤って負例
と変換した数
False Negative数
False Positive数
これらを前の式(1a),(1b)へ代入
収束条件
23
𝛼 𝑘 + 1
𝛽 𝑘 + 1
=
1 − 𝑅−
1 − 𝑃+
𝑃+
𝑅+
1 − 𝑃−
𝑃−
𝑅− 1 − 𝑅+
𝛼 𝑘
𝛽 𝑘
(2)
固有値が1より小さいとき収束する
𝛼 𝑘 + 1 = 𝛼 𝑘 − 𝑛 𝑐
−
𝑘 + 𝑛 𝑓
+
𝑘
𝛽 𝑘 + 1 = 𝛽 𝑘 − 𝑛 𝑐
+
𝑘 + 𝑛 𝑓
−
𝑘
(1a)
(1b)
収束条件
24
 固有値ごとのエラー収束の様子
(1a)
(1b)
実験
25
 P-N Learningの学習に使用するサンプルのラベルを操
作して、𝑃+
, 𝑅+
, 𝑃−
, 𝑅−
を任意変化させることで、性能評
価を行った
𝑃+
= 𝑅+
= 𝑃−
= 𝑅−
= 1 − 𝜖
0から0.9の間で変化させる
(0.5より小さいと収束)
実験で使用した動画
実験
26
 𝜖を変化させたときのF値
実験
27
 𝜖 = 0の時
実験
28
 以下の10個の動画に対して実験
 カメラの動きやモーションブラーあり
実験
29
 1-6の動画に対して既存手法との比較
27フレームでLKトラッカーが追跡失敗し、
識別器も学習サンプルが不十分
実験
30
 10個の動画の評価結果
結論
31
 P-N Learningというラベル有り及びラベル無しの学習サ
ンプルを用いて識別器を学習させる新しいフレームワー
クを提案
 ラベル無しサンプルが構造的な場合に適用可能
 収束条件を明確にした
 動画に対して適用し、最初の1フレームのラベルからオン
ラインで物体検出器を学習
 時空間の制約を使用
 20fpsで学習
 state-of-the-artの追跡性能

More Related Content

What's hot

What's hot (20)

第34回CV勉強会「コンピュテーショナルフォトグラフィ」発表資料
第34回CV勉強会「コンピュテーショナルフォトグラフィ」発表資料第34回CV勉強会「コンピュテーショナルフォトグラフィ」発表資料
第34回CV勉強会「コンピュテーショナルフォトグラフィ」発表資料
 
20160417dlibによる顔器官検出
20160417dlibによる顔器官検出20160417dlibによる顔器官検出
20160417dlibによる顔器官検出
 
20170806 Discriminative Optimization
20170806 Discriminative Optimization20170806 Discriminative Optimization
20170806 Discriminative Optimization
 
「コンピュータビジョン勉強会@関東」紹介資料
「コンピュータビジョン勉強会@関東」紹介資料「コンピュータビジョン勉強会@関東」紹介資料
「コンピュータビジョン勉強会@関東」紹介資料
 
Curiosity driven exploration
Curiosity driven explorationCuriosity driven exploration
Curiosity driven exploration
 
run Keras model on opencv
run Keras model on opencvrun Keras model on opencv
run Keras model on opencv
 
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングLiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
 
Show and tell takmin
Show and tell takminShow and tell takmin
Show and tell takmin
 
Semantic segmentation2
Semantic segmentation2Semantic segmentation2
Semantic segmentation2
 
[CV勉強会]Active Object Localization with Deep Reinfocement Learning
[CV勉強会]Active Object Localization with Deep Reinfocement Learning[CV勉強会]Active Object Localization with Deep Reinfocement Learning
[CV勉強会]Active Object Localization with Deep Reinfocement Learning
 
object detection with lidar-camera fusion: survey (updated)
object detection with lidar-camera fusion: survey (updated)object detection with lidar-camera fusion: survey (updated)
object detection with lidar-camera fusion: survey (updated)
 
20200910コンピュータビジョン今昔物語(JPTA講演資料)
20200910コンピュータビジョン今昔物語(JPTA講演資料)20200910コンピュータビジョン今昔物語(JPTA講演資料)
20200910コンピュータビジョン今昔物語(JPTA講演資料)
 
3DFeat-Net
3DFeat-Net3DFeat-Net
3DFeat-Net
 
センシングサイエンティストが経費精算を自動化したらこうなった
センシングサイエンティストが経費精算を自動化したらこうなったセンシングサイエンティストが経費精算を自動化したらこうなった
センシングサイエンティストが経費精算を自動化したらこうなった
 
BERT の解剖学: interpret-text による自然言語処理 (NLP) モデル解釈
BERT の解剖学: interpret-text による自然言語処理 (NLP) モデル解釈	BERT の解剖学: interpret-text による自然言語処理 (NLP) モデル解釈
BERT の解剖学: interpret-text による自然言語処理 (NLP) モデル解釈
 
20180527 ORB SLAM Code Reading
20180527 ORB SLAM Code Reading20180527 ORB SLAM Code Reading
20180527 ORB SLAM Code Reading
 
AIによる簡単レコメンドシステム実装
AIによる簡単レコメンドシステム実装AIによる簡単レコメンドシステム実装
AIによる簡単レコメンドシステム実装
 
20181130 lidar object detection survey
20181130 lidar object detection survey20181130 lidar object detection survey
20181130 lidar object detection survey
 
Self-Critical Sequence Training for Image Captioning (関東CV勉強会 CVPR 2017 読み会)
Self-Critical Sequence Training for Image Captioning (関東CV勉強会 CVPR 2017 読み会)Self-Critical Sequence Training for Image Captioning (関東CV勉強会 CVPR 2017 読み会)
Self-Critical Sequence Training for Image Captioning (関東CV勉強会 CVPR 2017 読み会)
 
ロボットアームをPythonで動かす
ロボットアームをPythonで動かすロボットアームをPythonで動かす
ロボットアームをPythonで動かす
 

Similar to Pn learning takmin

[Jjug]java small object programming
[Jjug]java small object programming[Jjug]java small object programming
[Jjug]java small object programming
Yuichi Hasegawa
 
EXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDappEXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDapp
blockchainexe
 
格言にみるリーダーシップ
格言にみるリーダーシップ格言にみるリーダーシップ
格言にみるリーダーシップ
Jun Inose
 
クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~
クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~
クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~
Kimihiko Kitase
 

Similar to Pn learning takmin (20)

[Jjug]java small object programming
[Jjug]java small object programming[Jjug]java small object programming
[Jjug]java small object programming
 
フォルダー系コネクタを使ったほんとの自動化
フォルダー系コネクタを使ったほんとの自動化フォルダー系コネクタを使ったほんとの自動化
フォルダー系コネクタを使ったほんとの自動化
 
機械学習 温故知新(第47回 Machine Learning 15minutes! Broadcast)
機械学習 温故知新(第47回 Machine Learning 15minutes! Broadcast)機械学習 温故知新(第47回 Machine Learning 15minutes! Broadcast)
機械学習 温故知新(第47回 Machine Learning 15minutes! Broadcast)
 
Microsoft Power Platform release wave
Microsoft Power Platform release waveMicrosoft Power Platform release wave
Microsoft Power Platform release wave
 
NoOpsへの挑戦
NoOpsへの挑戦 NoOpsへの挑戦
NoOpsへの挑戦
 
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Machine Learning Operations (MLOps): Overview, Definition, and ArchitectureMachine Learning Operations (MLOps): Overview, Definition, and Architecture
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
 
LEANSTARTUPアンチパターン #devlove #leanstartup
LEANSTARTUPアンチパターン #devlove #leanstartupLEANSTARTUPアンチパターン #devlove #leanstartup
LEANSTARTUPアンチパターン #devlove #leanstartup
 
Tech on meetup online#01
Tech on meetup online#01Tech on meetup online#01
Tech on meetup online#01
 
EXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDappEXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDapp
 
格言にみるリーダーシップ
格言にみるリーダーシップ格言にみるリーダーシップ
格言にみるリーダーシップ
 
20180921 Twilio Smart Communication Award 2018
20180921 Twilio Smart Communication Award 201820180921 Twilio Smart Communication Award 2018
20180921 Twilio Smart Communication Award 2018
 
サービスデザイン思考×ピクト図解 V1.1
サービスデザイン思考×ピクト図解 V1.1 サービスデザイン思考×ピクト図解 V1.1
サービスデザイン思考×ピクト図解 V1.1
 
20140211 ピクト図解 wikiトレ
20140211 ピクト図解 wikiトレ20140211 ピクト図解 wikiトレ
20140211 ピクト図解 wikiトレ
 
DOO-012_FinTech だけじゃモッタイない! ブロックチェーンとクラウドが作る未来
DOO-012_FinTech だけじゃモッタイない! ブロックチェーンとクラウドが作る未来DOO-012_FinTech だけじゃモッタイない! ブロックチェーンとクラウドが作る未来
DOO-012_FinTech だけじゃモッタイない! ブロックチェーンとクラウドが作る未来
 
Lead the webmasters to future with "IA Thinking" for UX Design
Lead the webmasters to future with "IA Thinking" for UX DesignLead the webmasters to future with "IA Thinking" for UX Design
Lead the webmasters to future with "IA Thinking" for UX Design
 
人前で話すことは “特別” ではない!~ 特別にしない方法について ~
人前で話すことは “特別” ではない!~ 特別にしない方法について ~人前で話すことは “特別” ではない!~ 特別にしない方法について ~
人前で話すことは “特別” ではない!~ 特別にしない方法について ~
 
758 dev meijo_unv-prof_suzuki_20200217
758 dev meijo_unv-prof_suzuki_20200217758 dev meijo_unv-prof_suzuki_20200217
758 dev meijo_unv-prof_suzuki_20200217
 
Arduino で組み込み開発 - 京都TECH オープンキャンパス2021
Arduino で組み込み開発 - 京都TECH オープンキャンパス2021Arduino で組み込み開発 - 京都TECH オープンキャンパス2021
Arduino で組み込み開発 - 京都TECH オープンキャンパス2021
 
研究室紹介
研究室紹介研究室紹介
研究室紹介
 
クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~
クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~
クラウドAPIを利用した開発について ~ セルフポータル、ストレージサービス、Infrastructure as a code ~
 

More from Takuya Minagawa

車載カメラの映像から歩行者に関わる危険を予測する技術
車載カメラの映像から歩行者に関わる危険を予測する技術車載カメラの映像から歩行者に関わる危険を予測する技術
車載カメラの映像から歩行者に関わる危険を予測する技術
Takuya Minagawa
 

More from Takuya Minagawa (18)

MobileNeRF
MobileNeRFMobileNeRF
MobileNeRF
 
点群SegmentationのためのTransformerサーベイ
点群SegmentationのためのTransformerサーベイ点群SegmentationのためのTransformerサーベイ
点群SegmentationのためのTransformerサーベイ
 
Learning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal ProblemsLearning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal Problems
 
ConditionalPointDiffusion.pdf
ConditionalPointDiffusion.pdfConditionalPointDiffusion.pdf
ConditionalPointDiffusion.pdf
 
楽しいコンピュータビジョンの受託仕事
楽しいコンピュータビジョンの受託仕事楽しいコンピュータビジョンの受託仕事
楽しいコンピュータビジョンの受託仕事
 
20210711 deepI2P
20210711 deepI2P20210711 deepI2P
20210711 deepI2P
 
20201010 personreid
20201010 personreid20201010 personreid
20201010 personreid
 
2020/07/04 BSP-Net (CVPR2020)
2020/07/04 BSP-Net (CVPR2020)2020/07/04 BSP-Net (CVPR2020)
2020/07/04 BSP-Net (CVPR2020)
 
20200704 bsp net
20200704 bsp net20200704 bsp net
20200704 bsp net
 
20190825 vins mono
20190825 vins mono20190825 vins mono
20190825 vins mono
 
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation
 
20190307 visualslam summary
20190307 visualslam summary20190307 visualslam summary
20190307 visualslam summary
 
Visual slam
Visual slamVisual slam
Visual slam
 
20190131 lidar-camera fusion semantic segmentation survey
20190131 lidar-camera fusion semantic segmentation survey20190131 lidar-camera fusion semantic segmentation survey
20190131 lidar-camera fusion semantic segmentation survey
 
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
 
object detection with lidar-camera fusion: survey
object detection with lidar-camera fusion: surveyobject detection with lidar-camera fusion: survey
object detection with lidar-camera fusion: survey
 
CVPR2018のPointCloudのCNN論文とSPLATNet
CVPR2018のPointCloudのCNN論文とSPLATNetCVPR2018のPointCloudのCNN論文とSPLATNet
CVPR2018のPointCloudのCNN論文とSPLATNet
 
車載カメラの映像から歩行者に関わる危険を予測する技術
車載カメラの映像から歩行者に関わる危険を予測する技術車載カメラの映像から歩行者に関わる危険を予測する技術
車載カメラの映像から歩行者に関わる危険を予測する技術
 

Recently uploaded

Recently uploaded (10)

Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 

Pn learning takmin