13. スパースコーディング*
• 与えられたサンプルを少数の基底の線形結合で表現でき
るように、基底の集合(dictionary)を学習
• 学習時にはD, hを最適化、Dがきまればxに対してhを計
算
• 基底の数 > 特徴次元: overcomplete
* Olshausen, B. A. and Field, D. J.: Emeregnce of simple- cell receptive field properties by learning a sparse code for natural images, Nature, Vol. 381, pp. 607–
609 (1996).
スパースコ ーディ ング
, Sparse Coding w ith an Overcom plete Basis Set: a Strategy Em ployed by V1?, Vis. R
min
,
1
2
+
過
(
{ } = , … ,
dictionary
code スパース項: 理想的にはL0
14. スパースコーディング
スパースコ ード = [0, 0, …, 0, 0.8, 0, …, 0, 0.3, 0, …, 0, 0.5, …]
Figs from [Yu and Ng, Feature learning for im age classification, Tutorial, ECCV10]
Olshausen, Field, Sparse Coding w ith an Overcom plete Basis Set: a Strategy Em ployed by V1?, Vis. Research96
0.8 * + 0.3 * + 0.5 *
Natural im age patches
min
,
1
2
+
過完備性
( overcom plete)
{ } = , … ,