FLDA personal understanding

1. FLDA(Fisher Linear Discriminant
Analysis)
IsaacLu

2. 首先講到資料降維我們就會想到PCA(主要成分分析)跟LDA(線
性識別分析)
，那我們該怎麼去做選擇呢?
在下圖我們可以很清楚的看出其兩者對於資料的處理的不同
投影到PCA的投影線上，對於每個點的
vector norm和會是誤差最小
投影到FLDA的投影線上，對於每個點較能
將兩個classes區分開來

3. 那要如何來實現能盡量區分class的降維呢?

4.  首先我們需要的是
同個class的data投影的越近越好(within class)
不同class的data投影的越遠越好(between class)
 由此找到一個函式

5. FLDA的推導跟範例
 先假設我們有兩個classes ω1、ω2如下:
 Class ω1: X1=(x1,x2)={(4,2),(2,4),(2,3),(3,6),(4,4)}
Class ω2: X2=(x1,x2)={(9,10),(6,8),(9,5),(8,7),(10,8)}

6.  我們做LDA的目的就是為了找到讓投影向量w，把data投影到w上得到新的coordinate y
 讓我們可以如下右圖一般

7.  為了將同一class中data投影的越近越好用量化的值表示，
首先我們必須去算出每個class data 的平均值mean:

8.  投影過後的平均值是:

9.  所以我們接下來就可以定出兩個classes資料的之間的平均距離
 這就是我們所謂的distance between classes(Between class)，接著我們可以再定出兩個classes資
料在投影過後分散的散度(scatter)
 這個散度函數是Fisher自己定的，上面的表示為各個class中的點投影在投影線上到各個class中投影
過後的平均值的距離的平方，可見下頁圖

12.  所以現在我們可以得到我們最初假設的函數
 回到我們最初的假設，我們希望J(w)其分母越小越好，表示我們希望在每個class裡data距離越近越
好，分子越大越好，表示各個class之間距離越遠越好
 在J(w)的分母的每個term可以表示成下面運算出的型態

17. Reference
 http://www.cmlab.csie.mtu.edu.tw~cyy/learning/tutorials/LDA.pdf
 http://blog.ncue.edu.tw/sys/lib/read_attach.php?id=13231