不均衡數(shù)據(jù)分類(lèi)方法的研究.pdf

1、隨著科技的進(jìn)步，特別是信息技術(shù)的快速發(fā)展，各行各業(yè)產(chǎn)生了大量各種形式的數(shù)據(jù)。然而可以從數(shù)據(jù)中獲取的信息卻是貧乏的。為了解決在海量數(shù)據(jù)中獲取有用信息的問(wèn)題，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。當(dāng)前，數(shù)據(jù)挖掘的理論和方法被廣泛應(yīng)用于商業(yè)、工業(yè)及科學(xué)研究等多個(gè)領(lǐng)域，但隨著對(duì)實(shí)際應(yīng)用發(fā)展的深入研究，人們發(fā)現(xiàn)了一類(lèi)很具有挑戰(zhàn)性的問(wèn)題——不均衡數(shù)據(jù)分類(lèi)，并獲得人們更多的關(guān)注。這種訓(xùn)練樣本數(shù)量在類(lèi)間分布不均衡的模式分類(lèi)問(wèn)題，對(duì)于基于總體分類(lèi)精度為學(xué)習(xí)目標(biāo)的傳統(tǒng)分類(lèi)

2、器而言，這種不均衡勢(shì)必會(huì)導(dǎo)致分類(lèi)器過(guò)多關(guān)注多數(shù)類(lèi)樣本，從而使少數(shù)類(lèi)樣本分類(lèi)性能下降。
　　本文聚焦于不均衡數(shù)據(jù)挖掘中的分類(lèi)技術(shù)研究，在深入探查不均衡數(shù)據(jù)分類(lèi)的各種策略基礎(chǔ)上，圍繞在數(shù)據(jù)層面上合理準(zhǔn)確的采樣算法設(shè)計(jì)、在算法層面上適應(yīng)不均衡數(shù)據(jù)的分類(lèi)算法改進(jìn)，對(duì)已有算法的關(guān)鍵參數(shù)優(yōu)化指導(dǎo)三個(gè)方面，對(duì)靜態(tài)、動(dòng)態(tài)不均衡數(shù)據(jù)分類(lèi);二類(lèi)及多類(lèi)類(lèi)別數(shù)據(jù)分類(lèi)，以及醫(yī)學(xué)CAD中肺結(jié)節(jié)識(shí)別等問(wèn)題展開(kāi)研究。本文主要工作包括:
　　(1)針對(duì)類(lèi)間不

3、均衡數(shù)據(jù)分布中類(lèi)內(nèi)不均衡性、類(lèi)重疊及噪音問(wèn)題對(duì)傳統(tǒng)分類(lèi)算法及采樣算法造成的影響，本文提出一種基于概率分布估計(jì)的混合采樣的數(shù)據(jù)處理算法。該算法依據(jù)數(shù)據(jù)概率分別對(duì)每個(gè)子類(lèi)進(jìn)行采樣來(lái)保證類(lèi)內(nèi)的均衡性，從而同時(shí)從全局和局部?jī)蓚€(gè)角度改善數(shù)據(jù)的平衡性，讓采樣的數(shù)據(jù)更好地近似了真實(shí)的類(lèi)空間分布情況，并對(duì)不均衡分布中類(lèi)重疊和噪音問(wèn)題加以針對(duì)性的處理。實(shí)驗(yàn)證明該采樣算法有效改善不均衡數(shù)據(jù)的分布質(zhì)量，使分類(lèi)算法具有更高的分類(lèi)精度。
　　(2)針對(duì)生成

4、模型在數(shù)據(jù)失衡的情況下輸出的概率與類(lèi)隸屬程度并不一致，導(dǎo)致分類(lèi)效果很不理想的問(wèn)題，本文提出一種基于決策準(zhǔn)則優(yōu)化的集成分類(lèi)算法。該算法基于后驗(yàn)概率信息，在不均衡數(shù)據(jù)評(píng)價(jià)度量指導(dǎo)下對(duì)分類(lèi)決策準(zhǔn)則進(jìn)行優(yōu)化;同時(shí)為了提高分類(lèi)的泛化性，提出一種自適應(yīng)隨機(jī)子空間組合分類(lèi)算法，以增強(qiáng)基分類(lèi)器之間的差異性，避免分類(lèi)器學(xué)習(xí)和決策準(zhǔn)則優(yōu)化的過(guò)擬合，并可自動(dòng)獲得基分類(lèi)器的最佳數(shù)量。通過(guò)大量UCI數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證表明，與其它同類(lèi)算法相比，該算法在精度和效率上都

5、具有更好的處理不均衡數(shù)據(jù)的優(yōu)勢(shì)。
　　(3)針對(duì)現(xiàn)有的重采樣和代價(jià)敏感算法中參數(shù)缺乏有效的指導(dǎo)和優(yōu)化，本文提出一種性能導(dǎo)向優(yōu)化的不均衡數(shù)據(jù)元學(xué)習(xí)方法。通過(guò)粒子群算法，以不均衡數(shù)據(jù)分類(lèi)評(píng)價(jià)指標(biāo)作為目標(biāo)函數(shù)，來(lái)優(yōu)化二類(lèi)或多類(lèi)數(shù)據(jù)的不均衡學(xué)習(xí)參數(shù)，并同時(shí)對(duì)特征進(jìn)行選擇，從而達(dá)到最佳的數(shù)據(jù)分布或代價(jià)敏感分類(lèi)模型。利用UCI數(shù)據(jù)集對(duì)算法進(jìn)行驗(yàn)證，并與領(lǐng)域內(nèi)其他算法進(jìn)行性能對(duì)比和分析，全面系統(tǒng)地證明算法的有效性。
　　(4)針對(duì)具有概念

6、漂移的不均衡數(shù)據(jù)流分類(lèi)問(wèn)題，本文提出一種結(jié)合選擇性采樣的加權(quán)集成學(xué)習(xí)算法。通過(guò)選擇相似度高的歷史數(shù)據(jù)和合成邊界區(qū)域的新數(shù)據(jù)來(lái)有效增加少數(shù)類(lèi)樣本信息，擴(kuò)大少數(shù)類(lèi)的決策域;同時(shí)為了適應(yīng)動(dòng)態(tài)數(shù)據(jù)中存的概念漂移，利用集成分類(lèi)思想，設(shè)計(jì)了一種基于概率分布相關(guān)度的權(quán)重分配策略。實(shí)驗(yàn)結(jié)果表明該算法有效地提高了少數(shù)類(lèi)的識(shí)別率以及整體的分類(lèi)性能，具有更好的處理不均衡數(shù)據(jù)流的優(yōu)勢(shì)。
　　(5)針對(duì)肺結(jié)節(jié)CAD檢測(cè)中獲得的疑似肺結(jié)節(jié)數(shù)據(jù)具有真假陽(yáng)性類(lèi)別

7、不均衡，真陽(yáng)性數(shù)據(jù)稀少且特征維數(shù)較高等具體問(wèn)題，本文使用之前提出的三種算法，基于SVM基分類(lèi)器進(jìn)行改進(jìn)和擴(kuò)展，并在醫(yī)學(xué)領(lǐng)域中肺結(jié)節(jié)識(shí)別對(duì)數(shù)據(jù)預(yù)處理、代價(jià)敏感集成學(xué)習(xí)和元學(xué)習(xí)三種方法進(jìn)行比較分析。實(shí)驗(yàn)表明，在保證分類(lèi)高敏感性的前提下，三種算法可以有效去除過(guò)多的假陽(yáng)性，進(jìn)而對(duì)三維肺結(jié)節(jié)進(jìn)行準(zhǔn)確的識(shí)別;而且元學(xué)習(xí)方法由于未改變數(shù)據(jù)分布且同時(shí)對(duì)特征進(jìn)行了選擇，在疑似肺結(jié)節(jié)分類(lèi)問(wèn)題上相對(duì)于其他兩種方法獲得了更好的泛化能力。
　　綜上，本文提