面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究.pdf

1、高維小樣本數(shù)據(jù)在實際應(yīng)用中相當(dāng)普遍，例如自然語言處理中的文本數(shù)據(jù)、計算機視覺中的圖像數(shù)據(jù)、生物信息學(xué)中的基因表達譜數(shù)據(jù)等，給現(xiàn)有的挖掘和學(xué)習(xí)算法帶來了巨大的挑戰(zhàn)。隨著數(shù)據(jù)維度的急劇增加，會產(chǎn)生大量的無關(guān)以及冗余信息，這些信息可能極大降低機器學(xué)習(xí)算法的性能，增加計算復(fù)雜度，造成“維數(shù)災(zāi)難”以及“過擬合”問題。特征選擇是解決高維小樣本問題的一種有效手段，它可以去除大量不相關(guān)和冗余的特征，尋找與分類任務(wù)強相關(guān)的特征子集，從而減少算法運行時間，

2、提高算法精度。因此，開展高維小樣本數(shù)據(jù)環(huán)境下的特征選擇方法研究具有重要的研究與應(yīng)用價值。
　　本文選擇真實的基因表達譜數(shù)據(jù)作為具體實驗對象，將特征選擇算法應(yīng)用于疾病分類問題中，并把分類結(jié)果的好壞作為我們特征選擇算法的評價指標(biāo)之一。圍繞高維小樣本的特征選擇問題，本文開展了一系列的研究工作，主要研究成果包括以下幾個方面:
　　(1)針對高維小樣本數(shù)據(jù)會導(dǎo)致“維數(shù)災(zāi)難”的問題，我們提出一種嵌入特征選擇方法K-split Lasso

3、來降維，提高分類模型的精度，解決計算復(fù)雜度高的問題。K-split Lasso是基于經(jīng)典的Lasso方法提出的，其基本思想是將數(shù)據(jù)集平均劃分為K份，分別使用Lasso方法對每份進行特征選擇，而后將選擇出來的每份特征子集合并，重新進行特征選擇，從而得到最終的特征子集。實驗結(jié)果表明K-split Lasso算法提高了模型的分類精度，在一定程度上解決了“維數(shù)災(zāi)難”問題。
　　(2)針對高維小樣本數(shù)據(jù)會導(dǎo)致“過擬合”問題，我們結(jié)合過濾方法

4、和嵌入方法的優(yōu)點，并在此基礎(chǔ)上提出一種新的混合特征選擇方法GSIL，目的是從高維數(shù)據(jù)中選出具有強類別區(qū)分能力的特征子集，解決“過擬合”問題。GSIL方法分為兩層，第一層采用信噪比指標(biāo)衡量特征的重要性，以過濾無關(guān)特征;第二層采用改進的Lasso方法（Iterative Lasso）進行冗余特征的剔除。實驗結(jié)果表明，GSIL算法能夠有效提高分類模型的精度，減少了冗余特征，解決了“過擬合”問題，通過與已有的一些特征選擇方法進行了分析比較，也驗

5、證了GSIL方法的可行性和有效性。
　　(3)針對高維小樣本數(shù)據(jù)會造成特征選擇算法的不穩(wěn)定性，我們利用集成學(xué)習(xí)方法來提高分類模型的預(yù)測能力以及特征選擇的穩(wěn)定性?？紤]到目前已經(jīng)提出的大多特征選擇方法僅根據(jù)區(qū)分能力選擇單個特征子集，雖然這些子集可以在一定程度上提高學(xué)習(xí)模型的性能，但是由于單個子集包含的信息量有限，會導(dǎo)致特征選擇算法的不穩(wěn)定性。因此，本文提出一種基于相關(guān)性的集成特征選擇算法ECGS-RG，生成多個有效的特征子集來彌補單個