非參數(shù)邊際距離最大化準(zhǔn)則及其應(yīng)用.pdf

1、維數(shù)災(zāi)難問題是許多模式識別方法在實(shí)際應(yīng)用中面臨的主要問題，比如文本處理，圖像識別。在低維空間里解析上或計(jì)算上行得通的方法，在高維空間里往往行不通。因此，降低維數(shù)有時就成為處理實(shí)際問題的關(guān)鍵。特征提取的任務(wù)就是求出一組有效的特征，把數(shù)據(jù)從高維空間變換為低維空間。 線性鑒別分析是最有效的線性特征提取和維數(shù)減少方法之一。線性鑒別分析方法的目標(biāo)是通過最大化類間散度矩陣Sb，同時最小化類內(nèi)散度矩陣Sw來提取特征。在許多應(yīng)用中，線性鑒別分析

2、被證明是十分有效的。但是線性鑒別分析依然存在缺陷：一是當(dāng)樣本維數(shù)很高時，類內(nèi)散度矩陣為奇異的問題；二是它假設(shè)各類都屬于Gaussian分布，并且各類的協(xié)方差矩陣相同，但一般情況下數(shù)據(jù)不滿足這樣的假設(shè)。 本文中，我們提出一種新的非參數(shù)邊際距離最大化準(zhǔn)則的特征提取方法，非參數(shù)邊際距離最大化準(zhǔn)則是一種從最近鄰分類器的角度提出的線性特征提取方法。它不存在類內(nèi)散度矩陣的奇異問題，也不需要假設(shè)每個類服從特定的分布。然后我們提出一種維數(shù)遞減的

3、優(yōu)化算法。 我們成功地將非參數(shù)邊際距離最大化準(zhǔn)則應(yīng)用于人臉識別，效果要好于目前流行的特征提取方法。 最后，我們進(jìn)一步擴(kuò)展非參數(shù)邊際距離最大化準(zhǔn)則，從信息論的角度提出信息邊際距離的概念。我們同樣不假設(shè)樣本屬于某個特定的分布，用非參數(shù)密度估計(jì)方法得到每個樣本在不同類別里的概率密度，我們的目標(biāo)是最大化類與類之間的相對熵，并且同時最小化每類樣本的熵。實(shí)驗(yàn)證叫，信息邊際距離最人化準(zhǔn)則要比互信息最大化準(zhǔn)則和其它線性特征提取準(zhǔn)則更有效