基于不平衡數(shù)據(jù)集的數(shù)據(jù)挖掘分類算法研究.pdf

1、21世紀(jì)是一個(gè)高度信息化的時(shí)代，數(shù)據(jù)作為載體隱藏著大量可以挖掘的有用信息，如何處理數(shù)據(jù)和提取有價(jià)值的信息已成為迫在眉睫的問題。分類是數(shù)據(jù)挖掘領(lǐng)域的重要研究分支，是數(shù)據(jù)分析的一種重要形式。在實(shí)際生活中，重要的有研究價(jià)值的往往是那些數(shù)量稀少的數(shù)據(jù)類，簡稱不平衡數(shù)據(jù)集。那么如何在不平衡數(shù)據(jù)集中，有效的提取少數(shù)類數(shù)據(jù)集，將是本文研究的重點(diǎn)。
　　主要研究內(nèi)容如下：
　?。?）針對不平衡數(shù)據(jù)集中正類分類準(zhǔn)確率不高的問題，提出了一種集成

2、C4.5和改進(jìn)樸素貝葉斯（C4.5-INB）算法。首先通過對多數(shù)類概率乘以比例系數(shù)得到改進(jìn)樸素貝葉斯分類結(jié)果，再利用C4.5算法對原數(shù)據(jù)分類。根據(jù)兩種分類結(jié)果通過等權(quán)法或最優(yōu)搭配器優(yōu)先法確定這兩種基分類算法的權(quán)值，最后根據(jù)平均表決法得到新的分類結(jié)果。利用UCI數(shù)據(jù)集對三種算法進(jìn)行分類驗(yàn)證，結(jié)果表明提出的算法分類效果更準(zhǔn)確，穩(wěn)定性更好。
　?。?）針對不平衡數(shù)據(jù)集在分類過程中易產(chǎn)生噪聲數(shù)據(jù)和分類精度低的問題，提出了一種基于改進(jìn)SMO

3、TE的不平衡數(shù)據(jù)集主動(dòng)學(xué)習(xí)SVM分類算法。該算法對訓(xùn)練樣本集利用少數(shù)類樣本的歸屬值通過多數(shù)票選擇法控制合成少數(shù)類樣本的數(shù)量，以距離公式為衡量標(biāo)準(zhǔn)劃分超平面，在分類超平面兩側(cè)選擇最近距離的等量對稱的多數(shù)類樣本，組成平衡采樣數(shù)據(jù)集，利用支持向量機(jī)（SVM）進(jìn)行分類得到優(yōu)化分類器，再用主動(dòng)學(xué)習(xí)對去除了訓(xùn)練樣本的不平衡數(shù)據(jù)集利用優(yōu)化分類器進(jìn)行分類循環(huán)，直到剩余樣本為零。利用UCI數(shù)據(jù)集中的數(shù)據(jù)實(shí)驗(yàn)表明，提出的算法有效地減少了噪聲數(shù)據(jù)對分類的影響

4、，并有效改善了不平衡數(shù)據(jù)集的分類精度。
　?。?）針對高維不平衡數(shù)據(jù)集分類性能較差的問題，提出了一種改進(jìn)非監(jiān)督線性差分投影（I-ULDP）高維不平衡數(shù)據(jù)集分類算法。算法首先將一個(gè)樣本分成的局部小塊都構(gòu)造在同一個(gè)流形上，使得每個(gè)樣本都有屬于自己的流形空間；然后構(gòu)造出每一個(gè)子流形的最小局部嵌入和最大全局方差，再利用優(yōu)化求解目標(biāo)函數(shù)得出在高維空間中嵌入的低維流形；最后通過流形距離設(shè)定支持向量機(jī)的分類超平面，通過訓(xùn)練支持向量機(jī)得到最終的分