(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用

(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用
15/12/22 〜サーベイ〜 Modified Quadratic Discriminant Function とその応用 A Survey of Modified Quadratic Discriminant Function and its Application 三重大学大学院工学研究科寺田智貴，大山航，若林哲史，木村文隆パターン認識・メディア理解研究会（信州大学）
〜Modified Quadratic Discriminant Functionとその応用〜 Agenda 15/12/22(2) 1. 背景 2. MQDFの導出 • 2次識別関数の導出と問題点 • MQDFの導出と性能 3. MQDFの改良，応用手法 • Discriminative Learningとの組み合わせ • Importance Samplingとの併用 • 共分散行列のSmoothingによる認識精度向上 • 辞書サイズの削減 • その他 4. まとめ
〜Modified Quadratic Discriminant Functionとその応用〜背景 15/12/22(3)
〜Modified Quadratic Discriminant Functionとその応用〜15/12/22(4) • MQDFは手書き文字認識の認識性能向上に大きく寄与した技術 – 現在でも手書き漢字認識における中心的技術 – 多くの改良手法や応用手法が提案されている． • Chinese Handwriting Recognition Competition – Offline Isolate Character Recognition 手書き漢字認識はMQDF or CNN ICDAR2011:4/6チーム ICDAR2013:3/5チーム背景
〜Modified Quadratic Discriminant Functionとその応用〜背景 15/12/22(5) 1987 20151990 2000 2005 2010 Kimura et al, “MQDF” C.-L. Liu et al, “Discriminative Learning QDF” Y. Wang et al, “Sample-Separation-Margin based MCE training” T.H. Su et al, “Perceptron Learning of MQDF” S. Lu et al, “Cost-sensitive MQDF” Q. Fu et al, “Cascade MQDF” Q. Fu et al, “Boosted MQDF” Y. Wang et al, “Importance Sampling based MQDF” 武部 et al, “学習擬似ベイズ” X.Y. Zhang et al, “Locally Smoothed MQDF” Friedman, “Regularized Discriminant Analysis” T. Long et al, “Compact MQDF” 勝山 et al, “Hybrid Compact MQDF” G. Pengcheng et al, “SH-MQDF” 織田 et al, “MQDFの調査” D. Yang et al, “Kernel MQDF” K. Ding et al, “Incremental Learning of MQDF” Y. Wang et al, “MQDF-CNN Hybrid” Y. Wang et al, “MQDF Discriminative Learning”
〜Modified Quadratic Discriminant Functionとその応用〜背景 15/12/22(6) • MQDFの改良・応用・発展手法として数多くの提案がされているが網羅的サーベイは存在しない． • 本発表ではMQDFを基点として，その後の識別手法の改良・応用・発展について紹介する． – MQDFを識別器として用いて応用する手法は対象外とする．（例えばMQDFを識別器として用いて多言語文字認識を実現する手法）
〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(7) • 2次識別関数の導出クラスωiにおけるxの確率密度関数クラスωiの事前確率xの確率密度関数クラスωiの事後確率全クラスに共通なので省略確率密度関数が多次元正規分布に従う場合ベイズ決定則を用いてCクラス分類問題を定式化
〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(8) 2次識別関数に対して対数を取り，符号を反転 2次識別関数の決定則
〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(9) • 2次識別関数の性質以下の条件を満たす時，平均誤り確率が最小となる最適識別関数 各クラスの確率密度関数が多次元正規分布に従う． 平均ベクトル，共分散行列が既知 • 2次識別関数の問題 1) 標本推定量の推定誤差のために誤り確率が増加する． 2) ピーキング現象が発生する． 3) 各クラスの平均ベクトルと共分散行列を記憶するために必要な容量が多く，計算量も多い．未知であり，標本推定量を使用
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(10) • Regularized Discriminant Analysis(Friedman, 1989) ① 共分散行列の正則化（推定誤差軽減）一種の擬似ベイズ推定量 ② 正則化2次識別関数トレードオフパラメータ
〜Modified Quadratic Discriminant Functionとその応用〜 2次識別関数の導出と問題点 15/12/22(11) • 2次識別関数の固有値・固有ベクトル表現降順に並べたの固有値固有値と対応するように並べたの固有ベクトル共分散行列の固有値分解
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(12) • 正則化識別関数からのMQDFの導出 – 正則化2次識別関数の計算量・記憶容量の削減  でと仮定すると MQDFの決定則 MQDF
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(13) • MQDFの導出（IEEE Trans. PAMI, 1987) MQDFの決定則 MQDF におけるをで置換
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(14) • 共分散行列の推定量 – Parzen window法を用いた一種の擬似ベイズ推定量とみなせる．→擬似ベイズ識別関数
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(15) • パラメータの決定 用いる固有ベクトルの数k トレードオフパラメータα  予備実験により最適な値を決定 置き換えのための値  予備実験により最適な値を決定  全クラス全固有値の平均  k番目の固有値  Monghaddam et al, 1997  加藤 et al, 1998
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの導出と性能 15/12/22(16) • MQDFの性能 1) 2次識別関数と比べて高い識別性能 共分散行列として擬似ベイズ推定量を用いる． 共分散行列が未知の場合の最適識別関数に近い． 2) ピーキング現象が発生しにくい． 3) 計算量および記憶容量の大幅な削減 4) 文字認識における非文字棄却性能が高い． 確率密度関数を用いていることに起因 5) 新たなクラスが追加されるような問題に対して容易に適用ができる． 6) 少サンプル問題に対して有効
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良，応用手法 15/12/22(17) Kimura et al, “MQDF”, 1987 B.-H. Juang et al, “Minimum Classification Error”, 1992 C.-L. Liu et al, “Discriminative Learning QDF”, 2004 C.-L, Liu et al, “LQDF”, 2002 R.Zhang et al, “MCE training MQDF”, 2002 T.H. Su et al, “Perceptron Learning of MQDF”, 2011 S. Lu et al, “Cost-sensitive MQDF”, 2015 +misclassification cost +perceptron learning +GPU implementation +MCE training based MQDF +MCE training based MQDF Y. Wang et al, “Sample-Separation-Margin based MCE training”, 2010 +sample-separation-margin M.-K. Zhou et al, “GPU-Based Fast Training DLQDF”, 2013 MCE training Discriminative Learningとの組み合わせ
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(18) • Minimum Classification Error(B.-H. Juang et al, 1992) – 多クラス分類における最小分類誤り確率状態達成を直接的に目指した識別関数学習法 – MCE学習は誤認識率を表す評価関数がパラメータ集合に関する連続関数として与えられるため，通常の降下法によって最適化問題を解くことができる． MQDFに適用可能 これまでMCE学習によるMQDFの認識性能向上手法が数々提案されている．
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(19) • Minimum Classification Error(B.-H. Juang et al, 1992) ① 誤認識率を関数表現するためパターンベクトルxに対する誤分類尺度を定義  の時 ① 誤分類尺度を損失関数に変換識別関数識別関数のパラメータ集合平滑化パラメータクラスωi以外で最大となるクラスの識別関数値正認識の場合誤認識の場合
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(20) • Minimum Classification Error(B.-H. Juang et al, 1992) ③ 学習サンプル集合に対する損失関数の期待値は  誤認識率の最小化問題は識別関数のパラメータに関して滑らかな評価関数の最小化問題として定義される． ④ 最急降下法を用いた場合，以下の式でパラメータを更新，最適化指標関数
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(21) • Discriminative Learning QDF(C.-L. Liu et al, 2002, 2004) – MCE学習をMQDFに適用 固有値が常に正となることを保証するために変数変換 ① 誤分類尺度を定義 ① 損失関数を定義識別関数のパラメータ
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(22) ③ 学習サンプル集合に対する損失関数の期待値 ③ 確率的勾配降下法により学習サンプル一つごとにパラメータを更新，最適化最尤推定による悪影響を軽減するための正則化項正則化係数
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(23) C.-L. Liu et al, 2004より引用 NISTにおける識別器の認識性能の比較実験合成した非文字における識別器の非文字棄却性能の比較実験全てのサンプルを更新した DLQDF MQDF DLQDF MQDF
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(24) • GPU-Fast Training(M.-K. Zhou et al, 2013) – GPU実装による高速化 – 学習用データが十分にあるとき，MCE学習による認識性能の向上が大きい． Data Augmentationが効果的
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(25) • Sample Separation Margin based MCE(Y. Wang et al, 2010) – 識別境界付近のサンプルを識別境界から遠ざける 識別境界 パターンxと識別境界との距離 Sample Separation Marginの定義 損失関数オンライン手書き中国語文字認識における比較実験平均ベクトルのみを更新
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(26) • Perceptron Learning of MQDF(T.-H. Su et al, 2011) – 誤分類するデータのみを用いる – MCE学習:0/1損失，パーセプトロン学習:ヒンジ損失 誤分類尺度 目的関数 MNISTにおける比較実験 USPSにおける比較実験適応的なマージンによる正則化
〜Modified Quadratic Discriminant Functionとその応用〜 Discriminative Learningとの組み合わせ 15/12/22(27) • Cost-sensitive MQDF(S. Lu et al, 2015) – 手書き中国語住所認識における Class Imbalance Problemを解決 損失関数に誤分類コストを組み込む 損失関数の期待値クラスωiの発生頻度 (クラスωiのデータ数/総住所データ数) 手書き中国語住所データセットにおける比較実験
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良，応用手法 15/12/22(28) Kimura et al, “MQDF”, 1987 Y. Wang et al, “Importance Sampling based MQDF”, 2015 Q. Fu et al, “Cascade MQDF”, 2007 +カスケード +Importance Sampling, MCE Y. Wang et al, “MQDF Discriminative Learning”, 2011 +sample importance weight +adaboost Q. Fu et al, “Boosted MQDF”, 2008 generalized recognition confidence Y. Wang et al, “MQDF Retrained on Selected Sample Set”, 2011 +識別境界付近のサンプルで再学習 X.Lin et al, “Adaptive confidence transform”, 1998 Importance Samplingとの併用
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(29) • アイデア – 識別境界付近のサンプル・誤分類するサンプルは汎化性能の高い識別境界を構築するにあたり他のサンプルと比べてより重要な情報を与える – パラメータ推定時に，Importance Samplingの枠組みを適用 SVMによる2次元データの分類の例 (http://arx.ee.utsunomiya-u.ac.jp/research/svm/)から引用識別モデルであるSVMにおいて分離超平面の決定に寄与するのはサポートベクターのみ
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(30) • MQDFのパラメータは付与された重みの下で以下の式で計算される．
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(31) • Rejection sampling strategyによる推定 – generalized recognition confidenceを用いたサンプル選択 – しきい値以下のサンプルを用いて再学習 Training Set Level 1 Training Set Level 2 Training Set Level N MQDF Level 1 MQDF Level 2 MQDF Level N Training with MLE Training with MLE Training with MLE Testing Testing Cascade Cascade Cascade Sample selection Sample selection Sample selection ・・・・・・ Cascade MQDFの学習法選択された全てのサンプルは同じ重みを持つ．最も信頼度が高いレベルを選択
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(32) • boosting algorithmによる推定
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(33) • MCEによる推定 – 損失関数を以下の式で定義 – 最小化すべき目的関数 – を更新 σはMCEで最適化が可能 Y. Wang et al, 2015.より引用
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(34) • Importance Sampling – サンプリングが容易な分布を用いてある関数の確率分布の基での期待値評価の精度を向上 importance weight:求めたいものとは異なった分布からサンプリングすることで生じてしまうバイアスを補正する．サンプリングが容易な提案分布を利用ある関数確率分布確率分布ではサンプリングされにくいサンプルを提案分布を用いることでサンプリングする．
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(35) • Importance Weightをどうするか正分類正分類ライバルクラスとの境界付近ライバルクラスに誤分類 generalized recognition confidence MQDF値を用いた式に変換正分類誤分類識別境界正規化項 generalized recognition confidenceの拡張 sample importance weight model function
〜Modified Quadratic Discriminant Functionとその応用〜 Importance Samplingとの併用 15/12/22(36) aSIW MQDF すべてのサンプルの重みが等しい rSIW Cascade MQDF 選択されたサンプルの重みが1/K，それ以外は0 bSIW Boosted MQDF サンプルの重みを逐次的に更新 iSIW MCE + MQDF MCEによりサンプルの重みを推定 Y. Wang et al, 2015より引用 Regular + Cursive Regular Cursive Cursive Cursive Cursive
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良，応用手法 15/12/22(37) X.Y. Zhang et al, “Locally Smoothed MQDF”, 2013 武部 et al, “学習擬似ベイズ”, 2002 +差分分布によるsmoothing +近傍の共分散行列を用いてsmoothing Kimura et al, “MQDF”, 1987 Friedman, “Regularized Discriminant Analysis”, 1989 共分散行列のsmoothingと正則化共分散行列のsmoothingによる推定誤差軽減
〜Modified Quadratic Discriminant Functionとその応用〜共分散行列のSmoothingによる認識精度向上 15/12/22(38) • Regularized Discriminant Analysis(J. Friedman, 1989) – 2次識別関数において，共分散行列の正則化と Smoothingを行う． – パラメータの推定誤差軽減 – 2次識別関数と比較して，大幅な認識性能向上 – β=0のときMQDFの共分散行列の推定量と一致全クラスの共分散行列の加重和対角要素の和の平均トレードオフパラメータ
〜Modified Quadratic Discriminant Functionとその応用〜共分散行列のSmoothingによる認識精度向上 15/12/22(39) • 差分分布を用いたSmoothing(武部 et al, 2002) – 差分ベクトル集合の統計的性質に文字パターン集合の変動が反映されると仮定し，共分散行列の Smoothingを行う．差分ベクトル自己相関行列未知サンプル集合全体を一度認識した後，正解確率が高いものから求める．差分分布を用いたSmoothing手法のイメージ図
〜Modified Quadratic Discriminant Functionとその応用〜共分散行列のSmoothingによる認識精度向上 15/12/22(40) • Locally Smoothed MQDF(X.Y. Zhang et al, 2013) – クラスのk個の最近傍クラスの共分散行列を用いてSmoothingを行う． – RDAはグローバルなSmoothing手法 LSMQDFは局所的なSmoothing手法トレードオフパラメータ k個の最近傍クラス
〜Modified Quadratic Discriminant Functionとその応用〜共分散行列のSmoothingによる認識精度向上 15/12/22(41) CASIA-HWDB1.1での実験結果 X.Y. Zhang et al, 2013より引用 CASIA-OLHWDB1.1での実験結果 X.Y. Zhang et al, 2013より引用 MQDFにRDA,LSMQDFのSmoothing手法を組み込んだ結果マルチフォント文書での実験結果武部 et al, 2002より引用劣化文書での実験結果武部 et al, 2002より引用差分分布によるSmoothing手法を組み込んだ結果
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良，応用手法 15/12/22(42) Kimura et al, “MQDF”, 1987 勝山 et al, “Hybrid Compact MQDF”, 2015 T. Long et al, “Compact MQDF”, 2008 G. Pengcheng et al, “SH-MQDF”, 2014 +spectral hashingによるバイナリベクトルを用いる +類似文字は非圧縮パラメータで分類 Y. Linde et al, “vector quntiization”, 1980 Y. Weiss et al, “Spectral hashing”, 2008 ベクトル量子化 +固有ベクトルをベクトル量子化で圧縮織田 et al, “MQDFの調査”, 2007 +用いる固有ベクトルの数，次元数と認識率の関係の調査スペクトラルハッシング辞書サイズの削減
〜Modified Quadratic Discriminant Functionとその応用〜辞書サイズの削減 15/12/22(43) • MQDFの辞書サイズ – 辞書サイズの計算式 C=3036, d=392, k=50,データ型をfloatとすると約243Mバイト – スマートフォンやタブレットへの搭載には大きすぎる． – ほとんどを固有ベクトル部分が占める． 固有ベクトル部分だけで約238Mバイト総クラス数次元数用いる固有ベクトル数用いる固有軸ベクトル数平均ベクトルのデータ型固有ベクトルのデータ型固有値のデータ型
〜Modified Quadratic Discriminant Functionとその応用〜辞書サイズの削減 15/12/22(44) • MQDFの辞書サイズ削減 – 特徴ベクトルの次元数を削減する方法 特徴ベクトルの次元を小さくしすぎると認識性能が低下 d=196の時，約122Mバイト – 固有ベクトル数kを減らす方法 第5位認識率で比較すると特徴ベクトルの次元数dと固有ベクトル数kをかなり小さくしても認識性能の低下が少ない．オンライン手書き文字データベースにおけるMQDFの評価結果織田 et al, 2007より引用
〜Modified Quadratic Discriminant Functionとその応用〜辞書サイズの削減 15/12/22(45) • Compact MQDF(T. Long et al, 2008) – MQDFの固有ベクトルをVector Quantization（ベクトル量子化）法を利用して近似したベクトルに置き換えて辞書サイズを削減 – MQDFの認識性能を保ったまま固有ベクトル部分の辞書サイズの大幅な圧縮 C=3036, d=392, =4, Q=98, L=500, k=50, をunsigned short，をfloat とすると約30Mバイト(MQDFでは約238Mバイト) 総クラス数用いる固有ベクトル数固有ベクトルの分割数インデックス番号の精度部分ベクトルの一つの要素のデータ型部分ベクトルの次元数クラスタ数
〜Modified Quadratic Discriminant Functionとその応用〜 • Compact MQDF(T. Long et al, 2008) – アルゴリズム clusterindex sub-vector ・・ class eigen value index to cluster ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ Codebook Indices ① d次元固有ベクトルをQ個の次元部分ベクトルに分割 ① 全ての固有ベクトルから生成された部分ベクトルを一つの集合とし，クラスタリングを用いてL個のクラスタを作成 ② 元の部分ベクトルは小さなL個の次元部分ベクトルのプロトタイプにクラスタリングされる． ③ 元の固有ベクトル中の部分ベクトルはその最近傍の部分ベクトルのプロトタイプで近似され，インデックス番号で表される．辞書サイズの削減 15/12/22(46) Compact MQDFにおける固有ベクトル部分の辞書総クラス数用いる固有ベクトル数固有ベクトルの分割数インデックス番号の精度部分ベクトルの一つの要素のデータ型部分ベクトルの次元数クラスタ数 Indices Codebook
〜Modified Quadratic Discriminant Functionとその応用〜辞書サイズの削減 15/12/22(47) • Hybrid Compact MQDF(勝山 et al, 2015) – Compact MQDFでは類似カテゴリーの部分ベクトルが同じクラスタに分類され，類似カテゴリー集合内で固有ベクトルが完全に一致してしまう可能性がある． 全クラスの固有ベクトルを一律にクラスタリングするため – Hybrid Compact MQDFではあらかじめ全てのクラスを類似カテゴリー集合と非類似カテゴリー集合に分類し，非類似カテゴリー集合に分類されたクラスのみに Compact MQDFの手法を適用する． 階層的クラスタリングを用いてクラスタ間距離がしきい値を超えた時停止し，1クラスタに複数のクラスが存在するものを類似カテゴリー集合とする．
〜Modified Quadratic Discriminant Functionとその応用〜辞書サイズの削減 15/12/22(48) ほぼ同じ辞書容量でのCompact MQDFと Hybrid Compact MQDFの比較勝山 et al, 2015より引用用いる固有ベクトル数kを制限する手法との比較勝山 et al, 2015より引用
〜Modified Quadratic Discriminant Functionとその応用〜辞書サイズの削減 15/12/22(49) • SH-MQDF(G. Pengcheng et al, 2014) ① バイナリハッシング手法の一種である Spectral Hashingを用いて特徴ベクトルをコンパクトなバイナリベクトルに変換 ② バイナリベクトルを用いてMQDFの値を計算 – 216次元のGIST特徴ベクトルを128bitのバイナリコードに変換した場合，MQDFの認識性能を維持しつつ計算速度の向上，辞書サイズの削減が可能全データセットに対してのMQDFの認識性能とハミング距離による大分類後のデータセットに対しての SH-MQDFの認識性能の比較
〜Modified Quadratic Discriminant Functionとその応用〜 MQDFの改良，応用手法 15/12/22(50) Kimura et al, “MQDF”, 1987 K. Ding et al, “Incremental Learning of MQDF”, 2010 +カーネル法 +筆者適応のためのIncremental Learning Y. Wang et al, “MQDF-CNN Hybrid”, 2014 +CNNとのハイブリッド X.Lin et al, “Adaptive confidence transform”, 1998 generalized recognition confidence D. Yang et al, “Kernel MQDF”, 2007 L. Jin et al, “Incremental Learning of LDA”, 2010 筆者適応のためのIncremental Learning その他
〜Modified Quadratic Discriminant Functionとその応用〜その他 15/12/22(51) • Kernel MQDF(D. Yang et al, 2007) – セットアップ中心化グラム行列非線形関数グラム行列高次元空間における平均ベクトル高次元空間における共分散行列中心化グラム行列の固有ベクトル中心化グラム行列の固有値高次元空間における共分散行列の固有ベクトル高次元空間における共分散行列の固有値
〜Modified Quadratic Discriminant Functionとその応用〜その他 15/12/22(52) • Kernel MQDF(D. Yang et al, 2007) クラスωiのサンプル数 RBFカーネルを用いた時の KMQDFの認識性能多項式カーネルを用いた時の KMQDFの認識性能とMQDFの認識性能の比較
〜Modified Quadratic Discriminant Functionとその応用〜その他 15/12/22(53) • Discriminative Incremental MQDF – 高精度な筆記者適応を実現するためにLDAによる次元削減とIncremental learningを組み合わせ L. Jin et al, 2010 の方法で求めたLDAの変換行列次元削減逐次学習様々なIncremental Learning手法の比較元のデータセットに含まれるサンプル筆記者適応のために加えるデータセットに含まれるサンプル
〜Modified Quadratic Discriminant Functionとその応用〜その他 15/12/22(54) • 分類器の結合(Y. Wang et al, 2014) – MQDFとCNNのハイブリッド generalized recognition confidenceの値がしきい値Thより大きい時，MQDFを用いて分類 しきい値Th以下の時，MQDFの値を事後確率に変換 MQDFとCNNを以下の式で結合 Linear Confidence Accumulation Y.S. Huang et al. 1995 Multiplication Confidence J.J. Kim et al. 2000 MQDF, CNN単体それぞれ LCA, MCを用いた結合それぞれの比較
〜Modified Quadratic Discriminant Functionとその応用〜まとめ 15/12/22(55) • 本発表ではMQDFとその改良，応用手法を以下の5種類に分類してサーベイした． 1) Discriminative Learningとの組み合わせ 2) Importance Samplingとの併用 3) 共分散行列のSmoothingによる認識精度向上 4) 辞書サイズの削減 5) その他 • MQDFの応用範囲の拡大を期待する．

Check these out next

(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用

Recommended

More Related Content

Recently uploaded(20)

Featured(20)

(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用