少數(shù)類(lèi)數(shù)據(jù)識(shí)別方法及性能評(píng)價(jià).pdf

1、分類(lèi)算法是當(dāng)今機(jī)器學(xué)習(xí)領(lǐng)域中重要的研究方向之一，很多經(jīng)典算法在實(shí)際問(wèn)題中得到廣泛的應(yīng)用并取得了良好的效果。傳統(tǒng)的分類(lèi)算法假設(shè)數(shù)據(jù)分布均衡，并且以提高分類(lèi)算法對(duì)數(shù)據(jù)集的整體分類(lèi)正確率為主要目標(biāo)。但現(xiàn)實(shí)中很多數(shù)據(jù)集中的不同類(lèi)別包含的數(shù)據(jù)數(shù)量是高度傾斜、非平衡的，一個(gè)或幾個(gè)類(lèi)別中數(shù)據(jù)數(shù)量遠(yuǎn)遠(yuǎn)大于其他類(lèi)別中數(shù)據(jù)數(shù)量，這樣的數(shù)據(jù)集稱(chēng)為類(lèi)別不平衡數(shù)據(jù)。其中數(shù)量上占優(yōu)的一類(lèi)或者幾類(lèi)稱(chēng)為多數(shù)類(lèi)，其他稱(chēng)為少數(shù)類(lèi)。傳統(tǒng)分類(lèi)算法分類(lèi)不平衡數(shù)據(jù)時(shí)，以提高數(shù)據(jù)集

2、的整體分類(lèi)正確率為目標(biāo)，由于少數(shù)類(lèi)樣例數(shù)量較少，因而預(yù)測(cè)傾向數(shù)量上占優(yōu)的多數(shù)類(lèi)，對(duì)少數(shù)類(lèi)分類(lèi)識(shí)別率不利；然而在很多實(shí)際問(wèn)題中，提高少數(shù)類(lèi)數(shù)據(jù)識(shí)別率往往比提高多數(shù)類(lèi)數(shù)據(jù)識(shí)別率更有價(jià)值。然而在某些極端情況下，分類(lèi)算法把少數(shù)類(lèi)樣例全部錯(cuò)分仍能保證較高的整體準(zhǔn)確率。因此，如何提高分類(lèi)算法對(duì)類(lèi)別不平衡數(shù)據(jù)的分類(lèi)性能，尤其提高分類(lèi)算法對(duì)少數(shù)類(lèi)的識(shí)別率，成為機(jī)器學(xué)習(xí)中研究熱點(diǎn)之一。
　　目前對(duì)不平衡數(shù)據(jù)分類(lèi)問(wèn)題的研究主要以下幾個(gè)方面:首先是數(shù)據(jù)

3、層面，即數(shù)據(jù)預(yù)處理算法，通常通過(guò)改變?cè)袛?shù)據(jù)的分布，縮減其不平衡程度，達(dá)到平衡數(shù)據(jù)的目的，常用方法包括采樣技術(shù)、特征提取技術(shù)等；其次是算法層面，即通過(guò)修改傳統(tǒng)的分類(lèi)算法，使之適應(yīng)不平衡數(shù)據(jù)問(wèn)題，從而在分類(lèi)時(shí)傾向少數(shù)類(lèi)，提高少數(shù)類(lèi)數(shù)據(jù)識(shí)別率，常用技術(shù)如代價(jià)敏感學(xué)習(xí)，閾值方法等；最后是不平衡數(shù)據(jù)分類(lèi)的性能評(píng)價(jià)標(biāo)準(zhǔn)，由于傳統(tǒng)分類(lèi)算法的性能評(píng)價(jià)標(biāo)準(zhǔn)通常會(huì)忽略算法分類(lèi)少數(shù)類(lèi)數(shù)據(jù)的識(shí)別率，所以如何選擇滿(mǎn)足不平衡數(shù)據(jù)分類(lèi)的評(píng)價(jià)標(biāo)準(zhǔn)也是近年的研究熱點(diǎn)之

4、一，G-Mean、F-Measure等都是不平衡數(shù)據(jù)分類(lèi)中常用標(biāo)準(zhǔn)。
　　本文針對(duì)類(lèi)別不平衡數(shù)據(jù)的分類(lèi)問(wèn)題，從數(shù)據(jù)層次以及算法層次兩個(gè)方面展開(kāi)研究，并在原有性能評(píng)價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上結(jié)合經(jīng)典評(píng)價(jià)標(biāo)準(zhǔn)提出新的評(píng)價(jià)標(biāo)準(zhǔn)。主要?jiǎng)?chuàng)新成果有:
　　(1)算法層面和數(shù)據(jù)層面相結(jié)合:將傳統(tǒng)的Bagging算法和SMOTE算法相結(jié)合，使用SMOTE算法對(duì)樣例集中的少數(shù)類(lèi)樣例進(jìn)行加工，在Bagging算法中根據(jù)類(lèi)別值和正確率對(duì)各個(gè)樣例和基分類(lèi)器的權(quán)

5、重進(jìn)行調(diào)整。通常情況下，大多數(shù)針對(duì)不平衡數(shù)據(jù)的算法只適用于二分類(lèi)問(wèn)題，本算法在此基礎(chǔ)上進(jìn)行改進(jìn)，能夠分類(lèi)多類(lèi)別不平衡數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明本文提出的算法在二類(lèi)不平衡數(shù)據(jù)集和多類(lèi)不平衡數(shù)據(jù)集上達(dá)到了既能保證整體的分類(lèi)準(zhǔn)確率，又能提高少數(shù)類(lèi)分類(lèi)精度的目的。
　　(2)算法層面:在前人研究成果的基礎(chǔ)上提出一種新的應(yīng)用在人工神經(jīng)網(wǎng)絡(luò)中的閾值判定標(biāo)準(zhǔn)。并在理論上證明:該標(biāo)準(zhǔn)能夠在不受樣例類(lèi)別比例的影響的情況下下使少數(shù)類(lèi)及多數(shù)類(lèi)分類(lèi)精度同時(shí)取得最

6、好。本標(biāo)準(zhǔn)以反向傳播算法(BP算法)作為基分類(lèi)器，結(jié)合遺傳算法搜尋最佳閾值，實(shí)驗(yàn)結(jié)果表明:新標(biāo)準(zhǔn)所產(chǎn)生的閾值能夠提高人工神經(jīng)網(wǎng)絡(luò)對(duì)少數(shù)類(lèi)數(shù)據(jù)的分類(lèi)準(zhǔn)確率。另外，在此閾值判定標(biāo)準(zhǔn)的基礎(chǔ)上初步提出一種新的評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，此標(biāo)準(zhǔn)著重關(guān)注樣例的錯(cuò)誤率。
　　(3)數(shù)據(jù)層面:針對(duì)SMOTE只能根據(jù)線(xiàn)性規(guī)則產(chǎn)生新樣例的缺點(diǎn)，提出一種新的過(guò)采樣方法。此新算法能夠通過(guò)隨機(jī)漫步的方式在少數(shù)類(lèi)數(shù)據(jù)的基礎(chǔ)上合成新的樣例。經(jīng)過(guò)理論證明，在某些假設(shè)