基于最小聯(lián)合互信息虧損的最優(yōu)特征選擇算法研究.pdf

1、隨著社會(huì)經(jīng)濟(jì)與計(jì)算機(jī)技術(shù)的快速發(fā)展，研究一種能夠有效地提高分類學(xué)習(xí)算法性能和效率的Filter型特征選擇算法有著重要的理論價(jià)值與廣泛的應(yīng)用前景。
　　 提出了一種基于最小聯(lián)合互信息虧損的最優(yōu)特征選擇算法。該算法將以聯(lián)合互信息作為評(píng)價(jià)準(zhǔn)則的特征選擇問題分解為兩個(gè)子問題，采用最大條件互信息原則進(jìn)行搜索直到獲得一個(gè)無差異特征子集，并采用一種最小聯(lián)合互信息虧損原則對(duì)所得無差異特征子集進(jìn)行冗余特征的判斷與刪減。從條件互信息估計(jì)可靠性的角度

2、上來看，最小聯(lián)合互信息虧損原則減小了因樣本不足而引起的條件互信息估計(jì)的偏差。從而能夠獲得一個(gè)較好地表達(dá)原始數(shù)據(jù)集且規(guī)模較小的特征子集。
　　 為解決特征子集規(guī)模較大時(shí)條件互信息估計(jì)所面臨的維數(shù)瓶頸問題，提出了一種快速條件互信息估計(jì)方法，并將其用于所提算法的實(shí)現(xiàn)。首先引入局部互信息的概念，并揭示了局部互信息與條件互信息之間的關(guān)系，進(jìn)而通過對(duì)局部互信息的逐一求解來實(shí)現(xiàn)對(duì)條件互信息的估計(jì)。
　　 選擇了10種常用的基準(zhǔn)數(shù)據(jù)集與