基于t-混合模型和擴(kuò)展保局投影的聚類與降維方法研究.pdf

1、模式識別作為一門多領(lǐng)域交叉的學(xué)科，在近幾十年得到了蓬勃發(fā)展。它不僅得到了眾多科研人員的熱情研究，而且受到了各級政府和組織的重視。世界上許多國家和地區(qū)的國防、公共安全部門以及工業(yè)界都積極投資模式識別技術(shù)的研究。其發(fā)展將對科技進(jìn)步、國防、公共安全、工業(yè)制造、人民生活等水平產(chǎn)生深遠(yuǎn)影響。 本文以統(tǒng)計(jì)理論和圖譜方法為基礎(chǔ)，重點(diǎn)研究模式識別中的聚類和降維這兩方面的內(nèi)容：(i)在聚類中，結(jié)合圖像分割，對有限混合模型的參數(shù)估計(jì)方法進(jìn)行了較為深

2、入的研究；(ii)在降維中，結(jié)合圖像識別，研究了保局投影及其二維和線性混合的擴(kuò)展。本文研究的主要內(nèi)容及創(chuàng)新如下： 研究多元t-密度的有限混合模型的參數(shù)估計(jì)方法，構(gòu)建了多元t-混合模型的SMEM算法。t-密度尾部較重，抗噪性能好，是替代高斯密度的標(biāo)準(zhǔn)選擇。EM算法是求解混合密度的參數(shù)估計(jì)的常用算法。而常規(guī)的EM算法經(jīng)常收斂到局部最優(yōu)而非全局最優(yōu)。我們采用了把分量進(jìn)行分裂合并，使參數(shù)跳出局部最優(yōu)來尋找全局最優(yōu)的思想，構(gòu)建了多元t-混

3、合模型的SMEM算法，并且提出了一個(gè)基于樣本均值和方差的分裂合并準(zhǔn)則。實(shí)驗(yàn)驗(yàn)證了我們的算法性能良好。 根據(jù)局部Kullback散度，構(gòu)建了多元t-混合模型的貪婪EM算法的框架。從一個(gè)混合分量開始，逐個(gè)地分裂擬合最差的分量并用EM算法修正各分量的參數(shù)。相對于SMEM算法，貪婪EM算法具有它的優(yōu)勢：易于參數(shù)初始化、速度快且性能相當(dāng)、產(chǎn)生的混合模型序列便于模型選擇。實(shí)驗(yàn)驗(yàn)證了貪婪EM算法的速度快且性能和SMEM算法相當(dāng)。 研究

4、保局投影(LPP)及其低樣本量時(shí)的解法，提出LPP/QR算法。LPP能夠保持?jǐn)?shù)據(jù)的局部信息且能發(fā)現(xiàn)數(shù)據(jù)流形的內(nèi)在結(jié)構(gòu)。但對小樣本情形，矩陣存在奇異性，LPP無法直接使用。我們提出基于QR分解的保局投影(LPP/QR)算法。此算法對于出現(xiàn)樣本不足情形時(shí)，在計(jì)算上尤其有效。我們推導(dǎo)了LPP/QR算法理論上的合理性，證明了LPP/QR算法和廣義LPP之間的等價(jià)性，并且指出了前者更為有效。實(shí)驗(yàn)顯示了LPP/QR算法在小樣本情形下的優(yōu)勢。

5、 直接利用圖像矩陣進(jìn)行運(yùn)算，提出二維保局投影(2D-LPP)算法。在對圖像數(shù)據(jù)進(jìn)行降維時(shí)，LPP需要預(yù)先把圖像拉直成向量，而本算法直接在圖像的二維矩陣上運(yùn)算。既避免了矩陣奇異性，又加快了計(jì)算速度。通過一些數(shù)學(xué)推導(dǎo)，我們得出了2D-LPP和另兩個(gè)二維方法(2D-PCA與2D-LDA)之間的密切聯(lián)系。實(shí)驗(yàn)顯示了2D-LPP具有較高的識別能力，且比LPP的運(yùn)算速度快。2D-LPP+PCA算法進(jìn)一步降低特征的維數(shù)，試驗(yàn)顯示了在降低的特征維數(shù)相同

6、的情況下，2D-LPP+PCA算法識別率高。 同步對圖像矩陣的行和列進(jìn)行降維，提出雙向二維保局投影(B2DLPP)算法。B2DLPP同步壓縮圖像的行和列，并保持原圖像間的局部近鄰關(guān)系。用于表示和識別圖像所需要的系數(shù)個(gè)數(shù)得到大大減少。我們通過迭代計(jì)算的方法求出左右投影矩陣，并且證明了迭代算法的收斂性。實(shí)驗(yàn)顯示了迭代收斂快。所取得的識別率與2D-LPP相當(dāng)，但所需的系數(shù)個(gè)數(shù)減少很多。 提出保局投影混合模型(LPP混合)算法。