Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
15/12/22
〜サーベイ〜
Modified Quadratic Discriminant Function
とその応用
A Survey of Modified Quadratic Discriminant
Function and it...
〜Modified Quadratic Discriminant Functionとその応用〜
Agenda
15/12/22(2)
1. 背景
2. MQDFの導出
• 2次識別関数の導出と問題点
• MQDFの導出と性能
3. MQDFの改...
〜Modified Quadratic Discriminant Functionとその応用〜
背景
15/12/22(3)
〜Modified Quadratic Discriminant Functionとその応用〜15/12/22(4)
• MQDFは手書き文字認識の認識性能向上に
大きく寄与した技術
– 現在でも手書き漢字認識における中心的技術
– 多くの改良...
〜Modified Quadratic Discriminant Functionとその応用〜
背景
15/12/22(5)
1987 20151990 2000 2005 2010
Kimura et al, “MQDF” C.-L. Liu...
〜Modified Quadratic Discriminant Functionとその応用〜
背景
15/12/22(6)
• MQDFの改良・応用・発展手法として数多くの
提案がされているが網羅的サーベイは
存在しない.
• 本発表ではMQ...
〜Modified Quadratic Discriminant Functionとその応用〜
2次識別関数の導出と問題点
15/12/22(7)
• 2次識別関数の導出
クラスωiにおけるxの確率密度関数
クラスωiの事前確率xの確率密度関数...
〜Modified Quadratic Discriminant Functionとその応用〜
2次識別関数の導出と問題点
15/12/22(8)
2次識別関数
に対して対数を取り,符号を反転
2次識別関数の決定則
〜Modified Quadratic Discriminant Functionとその応用〜
2次識別関数の導出と問題点
15/12/22(9)
• 2次識別関数の性質
以下の条件を満たす時,平均誤り確率が最小と
なる最適識別関数
各クラス...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの導出と性能
15/12/22(10)
• Regularized Discriminant Analysis(Friedman, 1989...
〜Modified Quadratic Discriminant Functionとその応用〜
2次識別関数の導出と問題点
15/12/22(11)
• 2次識別関数の固有値・固有ベクトル表現
降順に並べた の固有値
固有値と対応するように並べ...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの導出と性能
15/12/22(12)
• 正則化識別関数からのMQDFの導出
– 正則化2次識別関数の計算量・記憶容量の削減
 で と仮...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの導出と性能
15/12/22(13)
• MQDFの導出(IEEE Trans. PAMI, 1987)
MQDFの決定則
MQDF
にお...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの導出と性能
15/12/22(14)
• 共分散行列の推定量
– Parzen window法を用いた一種の擬似ベイズ
推定量とみなせる....
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの導出と性能
15/12/22(15)
• パラメータの決定
用いる固有ベクトルの数k
トレードオフパラメータα
 予備実験により最適...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの導出と性能
15/12/22(16)
• MQDFの性能
1) 2次識別関数と比べて高い識別性能
共分散行列として擬似ベイズ推定量を用い...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの改良,応用手法
15/12/22(17)
Kimura et al, “MQDF”, 1987
B.-H. Juang et al, “M...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(18)
• Minimum Classification Error...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(19)
• Minimum Classification Error...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(20)
• Minimum Classification Error...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(21)
• Discriminative Learning QDF(...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(22)
③ 学習サンプル集合に対する損失関数の期待値
③ 確率的勾配...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(23)
C.-L. Liu et al, 2004より引
用
NIS...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(24)
• GPU-Fast Training(M.-K. Zhou...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(25)
• Sample Separation Margin bas...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(26)
• Perceptron Learning of MQDF(...
〜Modified Quadratic Discriminant Functionとその応用〜
Discriminative Learningとの組み合わせ
15/12/22(27)
• Cost-sensitive MQDF(S. Lu et...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの改良,応用手法
15/12/22(28)
Kimura et al, “MQDF”, 1987
Y. Wang et al, “Impor...
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(29)
• アイデア
– 識別境界付近のサンプル・誤分類するサンプル
は汎化性能の...
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(30)
• MQDFのパラメータは付与された重みの下で
以下の式で計算される.
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(31)
• Rejection sampling strategyによる推定
– ...
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(32)
• boosting algorithmによる推定
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(33)
• MCEによる推定
– 損失関数を以下の式で定義
– 最小化すべき目的関...
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(34)
• Importance Sampling
– サンプリングが容易な分布 ...
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(35)
• Importance Weightをどうするか
正分類
正分類
ライバ...
〜Modified Quadratic Discriminant Functionとその応用〜
Importance Samplingとの併用
15/12/22(36)
aSIW MQDF
すべてのサンプルの重みが等しい
rSIW Cascad...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの改良,応用手法
15/12/22(37)
X.Y. Zhang et al, “Locally Smoothed MQDF”, 2013
...
〜Modified Quadratic Discriminant Functionとその応用〜
共分散行列のSmoothingによる認識精度向上
15/12/22(38)
• Regularized Discriminant Analysis(...
〜Modified Quadratic Discriminant Functionとその応用〜
共分散行列のSmoothingによる認識精度向上
15/12/22(39)
• 差分分布を用いたSmoothing(武部 et al, 2002)
...
〜Modified Quadratic Discriminant Functionとその応用〜
共分散行列のSmoothingによる認識精度向上
15/12/22(40)
• Locally Smoothed MQDF(X.Y. Zhang e...
〜Modified Quadratic Discriminant Functionとその応用〜
共分散行列のSmoothingによる認識精度向上
15/12/22(41)
CASIA-HWDB1.1での実験結果
X.Y. Zhang et al...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの改良,応用手法
15/12/22(42)
Kimura et al, “MQDF”, 1987
勝山 et al, “Hybrid Com...
〜Modified Quadratic Discriminant Functionとその応用〜
辞書サイズの削減
15/12/22(43)
• MQDFの辞書サイズ
– 辞書サイズの計算式
C=3036, d=392, k=50,データ型をf...
〜Modified Quadratic Discriminant Functionとその応用〜
辞書サイズの削減
15/12/22(44)
• MQDFの辞書サイズ削減
– 特徴ベクトルの次元数を削減する方法
特徴ベクトルの次元を小さくしすぎ...
〜Modified Quadratic Discriminant Functionとその応用〜
辞書サイズの削減
15/12/22(45)
• Compact MQDF(T. Long et al, 2008)
– MQDFの固有ベクトルをVe...
〜Modified Quadratic Discriminant Functionとその応用〜
• Compact MQDF(T. Long et al, 2008)
– アルゴリズム
clusterindex sub-vector
・
・
c...
〜Modified Quadratic Discriminant Functionとその応用〜
辞書サイズの削減
15/12/22(47)
• Hybrid Compact MQDF(勝山 et al, 2015)
– Compact MQDF...
〜Modified Quadratic Discriminant Functionとその応用〜
辞書サイズの削減
15/12/22(48)
ほぼ同じ辞書容量でのCompact MQDFと
Hybrid Compact MQDFの比較
勝山 et...
〜Modified Quadratic Discriminant Functionとその応用〜
辞書サイズの削減
15/12/22(49)
• SH-MQDF(G. Pengcheng et al, 2014)
① バイナリハッシング手法の一種...
〜Modified Quadratic Discriminant Functionとその応用〜
MQDFの改良,応用手法
15/12/22(50)
Kimura et al, “MQDF”, 1987
K. Ding et al, “Incre...
〜Modified Quadratic Discriminant Functionとその応用〜
その他
15/12/22(51)
• Kernel MQDF(D. Yang et al, 2007)
– セットアップ
中心化グラム行列
非線形関...
〜Modified Quadratic Discriminant Functionとその応用〜
その他
15/12/22(52)
• Kernel MQDF(D. Yang et al, 2007)
クラスωiのサンプル数
RBFカーネルを用い...
〜Modified Quadratic Discriminant Functionとその応用〜
その他
15/12/22(53)
• Discriminative Incremental MQDF
– 高精度な筆記者適応を実現するためにLDAに...
〜Modified Quadratic Discriminant Functionとその応用〜
その他
15/12/22(54)
• 分類器の結合(Y. Wang et al, 2014)
– MQDFとCNNのハイブリッド
generali...
〜Modified Quadratic Discriminant Functionとその応用〜
まとめ
15/12/22(55)
• 本発表ではMQDFとその改良,応用手法を
以下の5種類に分類してサーベイした.
1) Discriminati...
Upcoming SlideShare
Loading in …5
×

(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用

0 views

Published on

MQDFの応用についてのサーベイ発表のスライドです。

Published in: Technology
  • Be the first to comment

(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用

  1. 1. 15/12/22 〜サーベイ〜 Modified Quadratic Discriminant Function とその応用 A Survey of Modified Quadratic Discriminant Function and its Application 三重大学大学院工学研究科 寺田智貴,大山航,若林哲史,木村文隆 パターン認識・メディア理解研究会(信州大学)
  2. 2. 〜Modified Quadratic Discriminant Functionとその応用〜 Agenda 15/12/22(2) 1. 背景 2. MQDFの導出 • 2次識別関数の導出と問題点 • MQDFの導出と性能 3. MQDFの改良,応用手法 • Discriminative Learningとの組み合わせ • Importance Samplingとの併用 • 共分散行列のSmoothingによる認識精度向上 • 辞書サイズの削減 • その他 4. まとめ
  3. 3. 〜Modified Quadratic Discriminant Functionとその応用〜 背景 15/12/22(3)
  4. 4. 〜Modified Quadratic Discriminant Functionとその応用〜15/12/22(4) • MQDFは手書き文字認識の認識性能向上に 大きく寄与した技術 – 現在でも手書き漢字認識における中心的技術 – 多くの改良手法や応用手法が提案されている. • Chinese Handwriting Recognition Competition – Offline Isolate Character Recognition 手書き漢字認識はMQDF or CNN ICDAR2011:4/6チーム ICDAR2013:3/5チーム 背景
  5. 5. 〜Modified Quadratic Discriminant Functionとその応用〜 背景 15/12/22(5) 1987 20151990 2000 2005 2010 Kimura et al, “MQDF” C.-L. Liu et al, “Discriminative Learning QDF” Y. Wang et al, “Sample-Separation-Margin based MCE training” T.H. Su et al, “Perceptron Learning of MQDF” S. Lu et al, “Cost-sensitive MQDF” Q. Fu et al, “Cascade MQDF” Q. Fu et al, “Boosted MQDF” Y. Wang et al, “Importance Sampling based MQDF” 武部 et al, “学習擬似ベイズ” X.Y. Zhang et al, “Locally Smoothed MQDF” Friedman, “Regularized Discriminant Analysis” T. Long et al, “Compact MQDF” 勝山 et al, “Hybrid Compact MQDF” G. Pengcheng et al, “SH-MQDF” 織田 et al, “MQDFの調査” D. Yang et al, “Kernel MQDF” K. Ding et al, “Incremental Learning of MQDF” Y. Wang et al, “MQDF-CNN Hybrid” Y. Wang et al, “MQDF Discriminative Learning”
  6. 6. 〜Modified Quadratic Discriminant Functionとその応用〜 背景 15/12/22(6) • MQDFの改良・応用・発展手法として数多くの 提案がされているが網羅的サーベイは 存在しない. • 本発表ではMQDFを基点として,その後の 識別手法の改良・応用・発展について紹介する. – MQDFを識別器として用いて応用する手法は 対象外とする.(例えばMQDFを識別器として用い て多言語文字認識を実現する手法)
  7. 7. 〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(7) • 2次識別関数の導出 クラスωiにおけるxの確率密度関数 クラスωiの事前確率xの確率密度関数 クラスωiの事後確率 全クラスに共通なので省略 確率密度関数が多次元正規分布に従う場合 ベイズ決定則を用いてCクラス分類問題を定式化
  8. 8. 〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(8) 2次識別関数 に対して対数を取り,符号を反転 2次識別関数の決定則
  9. 9. 〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(9) • 2次識別関数の性質 以下の条件を満たす時,平均誤り確率が最小と なる最適識別関数 各クラスの確率密度関数が多次元正規分布に従う. 平均ベクトル,共分散行列が既知 • 2次識別関数の問題 1) 標本推定量の推定誤差のために誤り確率が増加する. 2) ピーキング現象が発生する. 3) 各クラスの平均ベクトルと共分散行列を記憶するために 必要な容量が多く,計算量も多い. 未知であり,標本推定量を使用
  10. 10. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(10) • Regularized Discriminant Analysis(Friedman, 1989) ① 共分散行列の正則化(推定誤差軽減) 一種の擬似ベイズ推定量 ② 正則化2次識別関数 トレードオフパラメータ
  11. 11. 〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(11) • 2次識別関数の固有値・固有ベクトル表現 降順に並べた の固有値 固有値と対応するように並べた の固有ベクトル 共分散行列の固有値分解
  12. 12. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(12) • 正則化識別関数からのMQDFの導出 – 正則化2次識別関数の計算量・記憶容量の削減  で と仮定すると MQDFの決定則 MQDF
  13. 13. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(13) • MQDFの導出(IEEE Trans. PAMI, 1987) MQDFの決定則 MQDF における を で置換
  14. 14. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(14) • 共分散行列の推定量 – Parzen window法を用いた一種の擬似ベイズ 推定量とみなせる.→擬似ベイズ識別関数
  15. 15. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(15) • パラメータの決定 用いる固有ベクトルの数k トレードオフパラメータα  予備実験により最適な値を決定 置き換えのための値  予備実験により最適な値を決定  全クラス全固有値の平均  k番目の固有値  Monghaddam et al, 1997  加藤 et al, 1998
  16. 16. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(16) • MQDFの性能 1) 2次識別関数と比べて高い識別性能 共分散行列として擬似ベイズ推定量を用いる. 共分散行列が未知の場合の最適識別関数に近い. 2) ピーキング現象が発生しにくい. 3) 計算量および記憶容量の大幅な削減 4) 文字認識における非文字棄却性能が高い. 確率密度関数を用いていることに起因 5) 新たなクラスが追加されるような問題に対して 容易に適用ができる. 6) 少サンプル問題に対して有効
  17. 17. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良,応用手法 15/12/22(17) Kimura et al, “MQDF”, 1987 B.-H. Juang et al, “Minimum Classification Error”, 1992 C.-L. Liu et al, “Discriminative Learning QDF”, 2004 C.-L, Liu et al, “LQDF”, 2002 R.Zhang et al, “MCE training MQDF”, 2002 T.H. Su et al, “Perceptron Learning of MQDF”, 2011 S. Lu et al, “Cost-sensitive MQDF”, 2015 +misclassification cost +perceptron learning +GPU implementation +MCE training based MQDF +MCE training based MQDF Y. Wang et al, “Sample-Separation-Margin based MCE training”, 2010 +sample-separation-margin M.-K. Zhou et al, “GPU-Based Fast Training DLQDF”, 2013 MCE training Discriminative Learningとの組み合わせ
  18. 18. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(18) • Minimum Classification Error(B.-H. Juang et al, 1992) – 多クラス分類における最小分類誤り確率状態達成を 直接的に目指した識別関数学習法 – MCE学習は誤認識率を表す評価関数がパラメータ 集合に関する連続関数として与えられるため, 通常の降下法によって最適化問題を解くことができる. MQDFに適用可能 これまでMCE学習によるMQDFの認識性能向上手法が 数々提案されている.
  19. 19. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(19) • Minimum Classification Error(B.-H. Juang et al, 1992) ① 誤認識率を関数表現するため パターンベクトルxに対する誤分類尺度を定義  の時 ① 誤分類尺度を損失関数に変換 識別関数 識別関数のパラメータ集合 平滑化パラメータ クラスωi以外で 最大となるクラスの識別関数値 正認識の場合 誤認識の場合
  20. 20. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(20) • Minimum Classification Error(B.-H. Juang et al, 1992) ③ 学習サンプル集合に対する損失関数の期待値は  誤認識率の最小化問題は識別関数のパラメータに関して 滑らかな評価関数の最小化問題として定義される. ④ 最急降下法を用いた場合,以下の式でパラメータ を更新,最適化 指標関数
  21. 21. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(21) • Discriminative Learning QDF(C.-L. Liu et al, 2002, 2004) – MCE学習をMQDFに適用 固有値が常に正となることを保証するために変数変換 ① 誤分類尺度を定義 ① 損失関数を定義 識別関数のパラメータ
  22. 22. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(22) ③ 学習サンプル集合に対する損失関数の期待値 ③ 確率的勾配降下法により学習サンプル一つごとに パラメータを更新,最適化 最尤推定による悪影響を軽減するための 正則化項 正則化係数
  23. 23. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(23) C.-L. Liu et al, 2004より引 用 NISTにおける識別器の 認識性能の比較実験 合成した非文字における 識別器の非文字棄却性能の比較実験 全てのサンプルを更新した DLQDF MQDF DLQDF MQDF
  24. 24. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(24) • GPU-Fast Training(M.-K. Zhou et al, 2013) – GPU実装による高速化 – 学習用データが十分にあるとき,MCE学習による 認識性能の向上が大きい. Data Augmentationが効果的
  25. 25. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(25) • Sample Separation Margin based MCE(Y. Wang et al, 2010) – 識別境界付近のサンプルを識別境界から遠ざける 識別境界 パターンxと識別境界との距離 Sample Separation Marginの定義 損失関数 オンライン手書き中国語文字認識における比較実験 平均ベクトル のみを更新
  26. 26. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(26) • Perceptron Learning of MQDF(T.-H. Su et al, 2011) – 誤分類するデータのみを用いる – MCE学習:0/1損失,パーセプトロン学習:ヒンジ損失 誤分類尺度 目的関数 MNISTにおける比較実験 USPSにおける比較実験 適応的なマージンによる正則化
  27. 27. 〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(27) • Cost-sensitive MQDF(S. Lu et al, 2015) – 手書き中国語住所認識における Class Imbalance Problemを解決 損失関数に誤分類コストを組み込む 損失関数の期待値 クラスωiの発生頻度 (クラスωiのデータ数/総住所データ数) 手書き中国語住所データセットにおける比較実験
  28. 28. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良,応用手法 15/12/22(28) Kimura et al, “MQDF”, 1987 Y. Wang et al, “Importance Sampling based MQDF”, 2015 Q. Fu et al, “Cascade MQDF”, 2007 +カスケード +Importance Sampling, MCE Y. Wang et al, “MQDF Discriminative Learning”, 2011 +sample importance weight +adaboost Q. Fu et al, “Boosted MQDF”, 2008 generalized recognition confidence Y. Wang et al, “MQDF Retrained on Selected Sample Set”, 2011 +識別境界付近のサンプルで再学習 X.Lin et al, “Adaptive confidence transform”, 1998 Importance Samplingとの併用
  29. 29. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(29) • アイデア – 識別境界付近のサンプル・誤分類するサンプル は汎化性能の高い識別境界を構築するにあたり 他のサンプルと比べてより重要な情報を与える – パラメータ推定時に,Importance Samplingの 枠組みを適用 SVMによる2次元データの分類の例 (http://arx.ee.utsunomiya-u.ac.jp/research/svm/)から引用 識別モデルであるSVMにおいて分離超平面の決定に寄与 するのはサポートベクターのみ
  30. 30. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(30) • MQDFのパラメータは付与された重みの下で 以下の式で計算される.
  31. 31. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(31) • Rejection sampling strategyによる推定 – generalized recognition confidenceを用いた サンプル選択 – しきい値 以下のサンプルを用いて再学習 Training Set Level 1 Training Set Level 2 Training Set Level N MQDF Level 1 MQDF Level 2 MQDF Level N Training with MLE Training with MLE Training with MLE Testing Testing Cascade Cascade Cascade Sample selection Sample selection Sample selection ・・・ ・・・ Cascade MQDFの学習法 選択された全てのサンプルは 同じ重みを持つ. 最も信頼度が高いレベルを選択
  32. 32. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(32) • boosting algorithmによる推定
  33. 33. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(33) • MCEによる推定 – 損失関数を以下の式で定義 – 最小化すべき目的関数 – を更新 σはMCEで最適化が可能 Y. Wang et al, 2015.より引 用
  34. 34. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(34) • Importance Sampling – サンプリングが容易な分布 を用いてある関数 の確率分布 の基での期待値評価の精度を向上 importance weight:求めたいものとは異なった分布からサンプリン グ することで生じてしまうバイアスを補正する. サンプリングが容易な提案分布を利用 ある関数 確率分布 確率分布 ではサンプリングされにくいサンプルを 提案分布 を用いることでサンプリングする.
  35. 35. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(35) • Importance Weightをどうするか 正分類 正分類 ライバルクラスとの境界付近 ライバルクラスに誤分類 generalized recognition confidence MQDF値を用いた式に変換 正分類 誤分類 識別境界 正規化項 generalized recognition confidenceの拡張 sample importance weight model function
  36. 36. 〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(36) aSIW MQDF すべてのサンプルの重みが等しい rSIW Cascade MQDF 選択されたサンプルの重みが1/K, それ以外は0 bSIW Boosted MQDF サンプルの重みを逐次的に更新 iSIW MCE + MQDF MCEによりサンプルの重みを推定 Y. Wang et al, 2015より引用 Regular + Cursive Regular Cursive Cursive Cursive Cursive
  37. 37. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良,応用手法 15/12/22(37) X.Y. Zhang et al, “Locally Smoothed MQDF”, 2013 武部 et al, “学習擬似ベイズ”, 2002 +差分分布によるsmoothing +近傍の共分散行列を用いてsmoothing Kimura et al, “MQDF”, 1987 Friedman, “Regularized Discriminant Analysis”, 1989 共分散行列のsmoothingと正則化 共分散行列のsmoothingによる推定誤差軽減
  38. 38. 〜Modified Quadratic Discriminant Functionとその応用〜 共分散行列のSmoothingによる認識精度向上 15/12/22(38) • Regularized Discriminant Analysis(J. Friedman, 1989) – 2次識別関数において,共分散行列の正則化と Smoothingを行う. – パラメータの推定誤差軽減 – 2次識別関数と比較して,大幅な認識性能向上 – β=0のときMQDFの共分散行列の推定量と一致 全クラスの共分散行列の加重和 対角要素の和の平均トレードオフパラメータ
  39. 39. 〜Modified Quadratic Discriminant Functionとその応用〜 共分散行列のSmoothingによる認識精度向上 15/12/22(39) • 差分分布を用いたSmoothing(武部 et al, 2002) – 差分ベクトル集合の統計的性質に文字パターン集 合の変動が反映されると仮定し,共分散行列の Smoothingを行う. 差分ベクトル 自己相関行列 未知サンプル集合全体を一度認識した後, 正解確率が高いものから求める. 差分分布を用いたSmoothing手法のイメージ図
  40. 40. 〜Modified Quadratic Discriminant Functionとその応用〜 共分散行列のSmoothingによる認識精度向上 15/12/22(40) • Locally Smoothed MQDF(X.Y. Zhang et al, 2013) – クラス のk個の最近傍クラスの共分散行列を 用いてSmoothingを行う. – RDAはグローバルなSmoothing手法 LSMQDFは局所的なSmoothing手法 トレードオフパラメータ k個の最近傍クラス
  41. 41. 〜Modified Quadratic Discriminant Functionとその応用〜 共分散行列のSmoothingによる認識精度向上 15/12/22(41) CASIA-HWDB1.1での実験結果 X.Y. Zhang et al, 2013より引用 CASIA-OLHWDB1.1での実験結果 X.Y. Zhang et al, 2013より引用 MQDFにRDA,LSMQDFのSmoothing手法を組み込んだ結果 マルチフォント文書での実験結果 武部 et al, 2002より引用 劣化文書での実験結果 武部 et al, 2002より引用 差分分布によるSmoothing手法を組み込んだ結果
  42. 42. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良,応用手法 15/12/22(42) Kimura et al, “MQDF”, 1987 勝山 et al, “Hybrid Compact MQDF”, 2015 T. Long et al, “Compact MQDF”, 2008 G. Pengcheng et al, “SH-MQDF”, 2014 +spectral hashingによるバイナリベクトルを用いる +類似文字は非圧縮パラメータで分類 Y. Linde et al, “vector quntiization”, 1980 Y. Weiss et al, “Spectral hashing”, 2008 ベクトル量子化 +固有ベクトルをベクトル量子化で圧縮 織田 et al, “MQDFの調査”, 2007 +用いる固有ベクトルの数,次元数と認識率の関係の調査 スペクトラルハッシング 辞書サイズの削減
  43. 43. 〜Modified Quadratic Discriminant Functionとその応用〜 辞書サイズの削減 15/12/22(43) • MQDFの辞書サイズ – 辞書サイズの計算式 C=3036, d=392, k=50,データ型をfloatとすると 約243Mバイト – スマートフォンやタブレットへの搭載には大きすぎる. – ほとんどを固有ベクトル部分が占める. 固有ベクトル部分だけで約238Mバイト 総クラス数 次元数 用いる 固有ベクトル数 用いる 固有軸ベクトル数 平均ベクトルの データ型 固有ベクトルの データ型 固有値の データ型
  44. 44. 〜Modified Quadratic Discriminant Functionとその応用〜 辞書サイズの削減 15/12/22(44) • MQDFの辞書サイズ削減 – 特徴ベクトルの次元数を削減する方法 特徴ベクトルの次元を小さくしすぎると認識性能が低下 d=196の時,約122Mバイト – 固有ベクトル数kを減らす方法 第5位認識率で比較すると 特徴ベクトルの次元数dと 固有ベクトル数kをかなり小さく しても認識性能の低下が少ない. オンライン手書き文字データベースにおけるMQDFの評価結果 織田 et al, 2007より引用
  45. 45. 〜Modified Quadratic Discriminant Functionとその応用〜 辞書サイズの削減 15/12/22(45) • Compact MQDF(T. Long et al, 2008) – MQDFの固有ベクトルをVector Quantization(ベクト ル量子化)法を利用して近似したベクトルに置き換 えて辞書サイズを削減 – MQDFの認識性能を保ったまま 固有ベクトル部分の辞書サイズの大幅な圧縮 C=3036, d=392, =4, Q=98, L=500, k=50, をunsigned short, をfloat とすると 約30Mバイト(MQDFでは約238Mバイト) 総クラス数用いる 固有ベクトル数 固有ベクトルの 分割数 インデックス番号の 精度 部分ベクトルの 一つの要素の データ型 部分ベクトルの 次元数 クラスタ数
  46. 46. 〜Modified Quadratic Discriminant Functionとその応用〜 • Compact MQDF(T. Long et al, 2008) – アルゴリズム clusterindex sub-vector ・ ・ class eigen value index to cluster ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・・ ・・ ・・ ・・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・・ ・ ・ ・ ・ ・ ・ Codebook Indices ① d次元固有ベクトルをQ個の 次元部分ベクトルに分割 ① 全ての固有ベクトルから生成された 部分ベクトルを一つの集合とし, クラスタリングを用いてL個のクラスタを作成 ② 元の部分ベクトルは小さなL個の 次元部分ベクトルのプロトタイプに クラスタリングされる. ③ 元の固有ベクトル中の部分ベクトルはその 最近傍の部分ベクトルのプロトタイプで近似 され,インデックス番号で表される. 辞書サイズの削減 15/12/22(46) Compact MQDFにおける固有ベクトル部分の辞書 総クラス数用いる 固有ベクトル数 固有ベクトルの 分割数 インデックス番号の 精度 部分ベクトルの 一つの要素の データ型 部分ベクトルの 次元数 クラスタ数 Indices Codebook
  47. 47. 〜Modified Quadratic Discriminant Functionとその応用〜 辞書サイズの削減 15/12/22(47) • Hybrid Compact MQDF(勝山 et al, 2015) – Compact MQDFでは類似カテゴリーの部分ベクトルが 同じクラスタに分類され,類似カテゴリー集合内で 固有ベクトルが完全に一致してしまう可能性がある. 全クラスの固有ベクトルを一律にクラスタリングするため – Hybrid Compact MQDFではあらかじめ全てのクラスを 類似カテゴリー集合と非類似カテゴリー集合に分類し, 非類似カテゴリー集合に分類されたクラスのみに Compact MQDFの手法を適用する. 階層的クラスタリングを用いてクラスタ間距離がしきい値 を超えた時停止し,1クラスタに複数のクラスが存在するも のを類似カテゴリー集合とする.
  48. 48. 〜Modified Quadratic Discriminant Functionとその応用〜 辞書サイズの削減 15/12/22(48) ほぼ同じ辞書容量でのCompact MQDFと Hybrid Compact MQDFの比較 勝山 et al, 2015より引用 用いる固有ベクトル数kを制限する手法との比較 勝山 et al, 2015より引用
  49. 49. 〜Modified Quadratic Discriminant Functionとその応用〜 辞書サイズの削減 15/12/22(49) • SH-MQDF(G. Pengcheng et al, 2014) ① バイナリハッシング手法の一種である Spectral Hashingを用いて特徴ベクトルを コンパクトなバイナリベクトルに変換 ② バイナリベクトルを用いてMQDFの値を計算 – 216次元のGIST特徴ベクトルを128bitの バイナリコードに変換した場合,MQDFの認識性能 を維持しつつ計算速度の向上,辞書サイズの削減 が可能 全データセットに対してのMQDFの認識性能と ハミング距離による大分類後のデータセットに対しての SH-MQDFの認識性能の比較
  50. 50. 〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良,応用手法 15/12/22(50) Kimura et al, “MQDF”, 1987 K. Ding et al, “Incremental Learning of MQDF”, 2010 +カーネル法 +筆者適応のためのIncremental Learning Y. Wang et al, “MQDF-CNN Hybrid”, 2014 +CNNとのハイブリッド X.Lin et al, “Adaptive confidence transform”, 1998 generalized recognition confidence D. Yang et al, “Kernel MQDF”, 2007 L. Jin et al, “Incremental Learning of LDA”, 2010 筆者適応のためのIncremental Learning その他
  51. 51. 〜Modified Quadratic Discriminant Functionとその応用〜 その他 15/12/22(51) • Kernel MQDF(D. Yang et al, 2007) – セットアップ 中心化グラム行列 非線形関数 グラム行列 高次元空間における 平均ベクトル 高次元空間における 共分散行列 中心化グラム行列の固有ベクトル 中心化グラム行列の固有値 高次元空間における 共分散行列の固有ベクトル 高次元空間における 共分散行列の固有値
  52. 52. 〜Modified Quadratic Discriminant Functionとその応用〜 その他 15/12/22(52) • Kernel MQDF(D. Yang et al, 2007) クラスωiのサンプル数 RBFカーネルを用いた時の KMQDFの認識性能 多項式カーネルを用いた時の KMQDFの認識性能とMQDFの認識性能の比較
  53. 53. 〜Modified Quadratic Discriminant Functionとその応用〜 その他 15/12/22(53) • Discriminative Incremental MQDF – 高精度な筆記者適応を実現するためにLDAによる 次元削減とIncremental learningを組み合わせ L. Jin et al, 2010 の方法で求めたLDAの変換行列 次 元 削 減 逐 次 学 習 様々なIncremental Learning手法の比較 元のデータセットに含まれるサンプル 筆記者適応のために加えるデータセット に含まれるサンプル
  54. 54. 〜Modified Quadratic Discriminant Functionとその応用〜 その他 15/12/22(54) • 分類器の結合(Y. Wang et al, 2014) – MQDFとCNNのハイブリッド generalized recognition confidenceの値がしきい値Thより 大きい時,MQDFを用いて分類 しきい値Th以下の時,MQDFの値を事後確率に変換 MQDFとCNNを以下の式で結合 Linear Confidence Accumulation Y.S. Huang et al. 1995 Multiplication Confidence J.J. Kim et al. 2000 MQDF, CNN単体それぞれ LCA, MCを用いた結合それぞれ の比較
  55. 55. 〜Modified Quadratic Discriminant Functionとその応用〜 まとめ 15/12/22(55) • 本発表ではMQDFとその改良,応用手法を 以下の5種類に分類してサーベイした. 1) Discriminative Learningとの組み合わせ 2) Importance Samplingとの併用 3) 共分散行列のSmoothingによる認識精度向上 4) 辞書サイズの削減 5) その他 • MQDFの応用範囲の拡大を期待する.

×