快速核方法設(shè)計(jì)與PCA之特征選擇應(yīng)用.pdf

1、核方法是20世紀(jì)90年代模式識(shí)別與機(jī)器學(xué)習(xí)領(lǐng)域興起的一場(chǎng)技術(shù)性革命。其優(yōu)勢(shì)在于核方法允許研究者在原始數(shù)據(jù)對(duì)應(yīng)的高維特征空間使用線性方法來(lái)分析和解決問題，不需要直接對(duì)數(shù)據(jù)進(jìn)行映射。但是應(yīng)當(dāng)指出，核方法在對(duì)待測(cè)樣本進(jìn)行特征抽取時(shí)，需要計(jì)算其與所有訓(xùn)練樣本間的核函數(shù),因此訓(xùn)練樣本的個(gè)數(shù)直接制約了核方法的特征抽取效率,在實(shí)際的大樣本集分類應(yīng)用中，該方法的特征抽取率將非常低，甚至難以應(yīng)用。因此在保證識(shí)別率的前提下，尋求提高核方法的特征抽取效率的工

2、作是非常有現(xiàn)實(shí)意義的。本文根據(jù)對(duì)核方法目前研究現(xiàn)狀的分析，對(duì)KMSE方法提出兩種改進(jìn)方案，并通過matlab仿真實(shí)驗(yàn)證實(shí)了這些方案的有效性。另外本文還提出一種基于PCA的特征選擇方案，并在人臉數(shù)據(jù)庫(kù)上做了對(duì)比實(shí)驗(yàn)。本文的主要研究?jī)?nèi)容及結(jié)果如下：
　　（1）結(jié)合在特征空間中“關(guān)鍵樣本”應(yīng)能較好代表訓(xùn)練集的思路，提出一種聯(lián)合KPCA與KMSE的快速分類方案。首先用KPCA方法選出第一個(gè)“關(guān)鍵節(jié)點(diǎn)”，并依次選出“候選樣本集”，然后判斷候

3、選樣本集中樣本的相關(guān)性大小，從而從中選出最不相關(guān)的一部分“關(guān)鍵節(jié)點(diǎn)”，最后利用這部分“關(guān)鍵節(jié)點(diǎn)”與KMSE方法對(duì)測(cè)試集進(jìn)行分類。實(shí)驗(yàn)在7個(gè)基準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行，與原KMSE方法相比較，我們的方法僅僅用了只占訓(xùn)練樣本1.71％～30%的“關(guān)鍵樣本”，就得到了相當(dāng)于原KMSE方法的正確率，時(shí)間上也比原KMSE方法提高了26.31%～81.42%。
　?。?）同樣使用“關(guān)鍵樣本”的概念，提出一種基于條件數(shù)的KMSE改進(jìn)方案。本方案包含兩部分

4、：第一部分根據(jù)條件數(shù)越小，解的數(shù)值穩(wěn)定性越好的性質(zhì)，依次在訓(xùn)練樣本中選取出使得核矩陣的條件數(shù)小的那些“關(guān)鍵樣本”；第二部分利用這些“關(guān)鍵樣本”構(gòu)造KMSE模型進(jìn)行分類。實(shí)驗(yàn)在3個(gè)基準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行，與原KMSE方法相比較，僅僅用2.5%～12.14%的訓(xùn)練樣本，就得到了相當(dāng)于原KMSE方法的正確率，時(shí)間效率上比原KMSE方法提高了65.55%～95.88%。
　　（3）給出了一種PCA應(yīng)用于特征選擇的多類別分類方案，并利用特征選擇和

5、特征提取的聯(lián)合方案進(jìn)行了人臉識(shí)別實(shí)驗(yàn)。為了實(shí)驗(yàn)充分，對(duì)比了四種不同實(shí)驗(yàn)方案下的實(shí)驗(yàn)結(jié)果,包括取不同的訓(xùn)練樣本與測(cè)試樣本比例，取不同的特征選擇維數(shù)和特征抽取維數(shù)等。結(jié)果表明，在AR數(shù)據(jù)庫(kù)上考慮光照、表情以及遮擋物的變化時(shí)，我們的實(shí)驗(yàn)方案獲得的分類正確率普遍有所提高。
　?。?）我們還用KMSE方法對(duì)夾芯板超聲檢傷數(shù)據(jù)進(jìn)行了分類實(shí)驗(yàn)，數(shù)據(jù)分為6種，有無(wú)損傷的夾心板超聲波數(shù)據(jù)、上層鋼板與芯材脫膠時(shí)的數(shù)據(jù)、下層鋼板與芯材脫膠時(shí)的數(shù)據(jù)、還有