文本分類(lèi)中基于綜合度量特征選擇算法的研究.pdf

1、文本分類(lèi)是一個(gè)傳統(tǒng)而又歷久彌新的話(huà)題，在互聯(lián)網(wǎng)技術(shù)日益發(fā)達(dá)的今天，其應(yīng)用越來(lái)越廣泛。在文本分類(lèi)的過(guò)程中，由于用特征向量表示文本時(shí)的高維性、高稀疏度等特點(diǎn)，特征選擇顯得特別重要。
　　在研究文本分類(lèi)時(shí)，發(fā)現(xiàn)詞頻特征選擇忽略了特征的類(lèi)內(nèi)重要度和類(lèi)間分散度，而χ2統(tǒng)計(jì)量特征選擇只考慮了特征的類(lèi)內(nèi)重要度。針對(duì)詞頻和χ2統(tǒng)計(jì)量?jī)煞N特征選擇算法的不足，提出了三種基于綜合度量的特征選擇算法：基于平衡因子的詞頻特征選擇、基于平衡因子的χ2統(tǒng)計(jì)量特

2、征選擇以及基于過(guò)濾器的χ2統(tǒng)計(jì)量特征選擇。改進(jìn)的前兩種算法通過(guò)引入權(quán)重平衡因子，將特征的類(lèi)內(nèi)重要度和類(lèi)間分散度線(xiàn)性組合起來(lái)，通過(guò)調(diào)節(jié)權(quán)重平衡因子來(lái)調(diào)整類(lèi)內(nèi)重要度和類(lèi)間分散度在特征評(píng)分中的貢獻(xiàn)度，有效地解決了詞頻和χ2統(tǒng)計(jì)量?jī)煞N特征選擇算法的不足?；谶^(guò)濾器的χ2統(tǒng)計(jì)量特征選擇在傳統(tǒng)的χ2統(tǒng)計(jì)量特征選擇的結(jié)果集上，用類(lèi)間分散度進(jìn)行過(guò)濾，剔除類(lèi)間分散度小于給定閾值的特征，從而得到效果更優(yōu)的特征子集。
　　設(shè)計(jì)并實(shí)現(xiàn)了包含多項(xiàng)式樸素貝葉