最大相關(guān)最小冗余的無(wú)監(jiān)督特征選擇算法的研究及其應(yīng)用.pdf

1、隨著現(xiàn)實(shí)世界很多無(wú)標(biāo)簽和高維度數(shù)據(jù)集的廣泛出現(xiàn),如文本、圖像和基因數(shù)據(jù)等,無(wú)監(jiān)督特征選擇方法的研究和應(yīng)用成為了當(dāng)前的一個(gè)研究熱點(diǎn),在對(duì)無(wú)標(biāo)簽數(shù)據(jù)集的處理上體現(xiàn)了它難以替代的重要地位。
　　 本文對(duì)無(wú)監(jiān)督特征選擇展開(kāi)初步的研究和探討,并對(duì)過(guò)濾式無(wú)監(jiān)督特征選擇進(jìn)行深入的研究。過(guò)濾式特征選擇的挑戰(zhàn)在于如何定義不相關(guān)和冗余特征[1],從過(guò)濾式無(wú)監(jiān)督特征選擇的這兩個(gè)挑戰(zhàn)和研究現(xiàn)狀來(lái)看,其存在的不足之處是:(1)對(duì)冗余特征的定義,從特征歸約

2、和特征聚類(lèi)角度考慮。而特征歸約的方法(PCA、ICA)得到的是特征的轉(zhuǎn)換,無(wú)法得到原始的特征子集,可解讀性不強(qiáng);對(duì)特征用k均值進(jìn)行相似性聚類(lèi),k值的不確定性和聚類(lèi)算法的不穩(wěn)定性給冗余特征的刪除帶來(lái)困難。(2)只從去除不相關(guān)或冗余特征的角度進(jìn)行過(guò)濾式特征選擇,使得到的特征子集不滿足最大相關(guān)和最小冗余的要求,而不相關(guān)和冗余特征往往會(huì)降低聚類(lèi)的性能。
　　 因此,本文針對(duì)過(guò)濾式無(wú)監(jiān)督特征選擇的以上不足,借鑒有監(jiān)督學(xué)習(xí)中刪除冗余特征的思

3、想和集成聚類(lèi)思想,從統(tǒng)計(jì)學(xué)和集成聚類(lèi)兩個(gè)角度,研究無(wú)監(jiān)督特征選擇中刪除冗余特征的方法。并將這兩個(gè)刪除冗余特征的方法與只考慮相關(guān)特征重要性排序的拉普拉斯算法相結(jié)合,設(shè)計(jì)出兩個(gè)同時(shí)考慮不相關(guān)和冗余特征刪除的最大相關(guān)和最小冗余的無(wú)監(jiān)督特征選擇算法LS-CORR(Laplasian Score and Correlation)和LS-EC(Laplasican Score and Ensemble Clustering)。在標(biāo)準(zhǔn)UCI數(shù)據(jù)集和人

4、工數(shù)據(jù)集上,本文對(duì)LS-CORR和LS-EC算法分別進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明這兩個(gè)算法都能較好地處理無(wú)關(guān)和冗余特征較多的數(shù)據(jù),得到維度較小的特征子集,且提高了數(shù)據(jù)集的聚類(lèi)準(zhǔn)確性。LS-CORR算法與LS-EC算法相比,LS-CORR算法刪除冗余特征過(guò)程較簡(jiǎn)單,根據(jù)特征間的相關(guān)程度能快速地刪除冗余特征;LS-EC算法通過(guò)聚類(lèi)結(jié)果從簇與特征和特征與特征間的相關(guān)和冗余來(lái)綜合考慮噪聲特征的刪除,得到了更小更優(yōu)的特征子集。但LS-EC算法在集成聚