高維復(fù)雜模式特征提取與識別研究.pdf

1、隨著計算機(jī)及計算機(jī)網(wǎng)絡(luò)的飛速發(fā)展和廣泛應(yīng)用，對模式識別技術(shù)的使用更加廣泛，而希望識別的問題也更為復(fù)雜(例如字符識別、手寫體數(shù)字識別、人臉識別、物體識別等圖像識別)。為了能更加精確、完整地描述對象，總是盡可能地多采集數(shù)據(jù)，這就造成了模式空間的“維數(shù)災(zāi)難”，另一方面，由于對物體檢測手段的現(xiàn)代化和多樣化，在維數(shù)增大的同時，各自變量間的相關(guān)性也更為復(fù)雜，造成了分類處理時間和費(fèi)用的巨大消耗，甚至不能直接進(jìn)行分類，因此，在處理這類高維復(fù)雜模式識別問

2、題時，有效的特征提取和選擇就顯得尤為重要，而對于圖像識別，提取有效的圖像特征是完成圖像識別的關(guān)鍵，它強(qiáng)烈地影響到分類器的設(shè)計及其性能。 線性判別分析是最有效的線性特征提取方法之一，它提取樣本的最優(yōu)判別特征集，該特征集更利于模式的分類。但是，在利用線性判別分析提取特征時，會遇到兩種情況：一、當(dāng)大樣本情形時，樣本集可能不滿足正態(tài)分布的條件，利用現(xiàn)有的方法直接求解最優(yōu)判別矢量集會帶來較大誤差；二、當(dāng)小樣本情形時，類內(nèi)散度矩陣不可逆，不

3、能直接求解最優(yōu)判別矢量集。論文針對上述兩類情況，分別給出了有效的求解方法，與文獻(xiàn)中的方法相比，識別正確率有了明顯的提高。 在分類器設(shè)計方面，論文從幾何的角度重新詮釋了經(jīng)典的BP網(wǎng)絡(luò)與RBF網(wǎng)絡(luò)的含義，分別提出了新的學(xué)習(xí)算法，克服了它們固有的一些不足，網(wǎng)絡(luò)性能得到了進(jìn)一步提高。 本文的主要工作和貢獻(xiàn)有以下幾個方面： 針對大樣本的情形，在分析了兒種經(jīng)典的線性判別分析方法的特點(diǎn)與不足的基礎(chǔ)上，通過引入高斯混合模型的概念

4、，本文提出了一種新的基于高斯混合模型的線性判別分析方法，同時也給出了在該模型下具有統(tǒng)計不相關(guān)性的最優(yōu)判別矢量集的直接求解方法，較好地解決了高維復(fù)雜模式特征提取與選擇的問題，與Jin等提出的迭代算法相比，本文算法具有計算速度快、識別率高等優(yōu)點(diǎn)。 針對高維小樣本問題，采用與Fisherfaces相似的處理方式，即所謂的“PCA+LDA”處理方法，但與Fisherfaces法有本質(zhì)上的區(qū)別。首先，在利用PCA降維的過程中，與文獻(xiàn)中提到

5、的各種算法不同的是，我們選取主元的原則是使得Fisher準(zhǔn)則函數(shù)取得較大值，即可分性最好，而不是使得投影后樣本在投影空間里的方差最小。其次，我們根據(jù)訓(xùn)練樣本在模式空間的幾何分布情況，對Fisher準(zhǔn)則函數(shù)的定義做了修改，重新定義了Fisher準(zhǔn)則的類內(nèi)散度矩陣Sw，使之更準(zhǔn)確地反映類內(nèi)樣本間的分布關(guān)系，提高了準(zhǔn)則模型的精確性。最后，我們選用Fisher準(zhǔn)則函數(shù)的推廣形式來獲得最優(yōu)判別矢量集，因為總體散度矩陣St在投影空間里是可逆的，即使

6、類內(nèi)散度矩陣Sw在低維的投影空間里是奇異的，也不影響最優(yōu)判別矢量的求解，從而簡化了最優(yōu)判別矢量集的求解。另外，最重要的是，本文的方法在求解最優(yōu)判別向量集的全過程只需要在一個低維的變換空間內(nèi)進(jìn)行，這一點(diǎn)與以往的一些算法有著本質(zhì)的不同。 在神經(jīng)網(wǎng)絡(luò)覆蓋學(xué)習(xí)算法思想的基礎(chǔ)上，本文提出了一種新的基于最大密度“球領(lǐng)域”覆蓋的三層前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。該算法首先把訓(xùn)練樣本向上投影到一個超球面上，然后在超球面上尋找可以對訓(xùn)練樣本集進(jìn)行正確分類

7、的最優(yōu)“球領(lǐng)域”覆蓋來實現(xiàn)對樣本空間的劃分，并根據(jù)由訓(xùn)練集得到的“球領(lǐng)域”覆蓋來判斷待識別樣本的類別，從而把神經(jīng)網(wǎng)絡(luò)的最優(yōu)設(shè)計問題轉(zhuǎn)換為某種最優(yōu)覆蓋的問題，有效克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間長、學(xué)習(xí)復(fù)雜等不足。對訓(xùn)練樣本有100％正確識別率，而且能實現(xiàn)對多類別、大規(guī)模的模式分類。 在傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，從RBF神經(jīng)元的幾何意義的角度出發(fā)，提出了一種新的用于模式分類的C-RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并給出了確定該網(wǎng)絡(luò)結(jié)構(gòu)核函數(shù)個數(shù)及