模式分類中訓(xùn)練樣本集的構(gòu)造方法研究.pdf

1、模式分類就是指對(duì)表征事物或現(xiàn)象的各種形式的信息進(jìn)行處理和分析,以對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程,是人類以及動(dòng)物的最基本的智能表現(xiàn)。隨著人類收集和存儲(chǔ)數(shù)據(jù)能力的不斷增長以及計(jì)算機(jī)運(yùn)算能力的飛速發(fā)展,利用計(jì)算機(jī)來分析數(shù)據(jù)進(jìn)行模式分類的要求越來越廣泛,越來越迫切。近些年隨著研究人員的深入研究,出現(xiàn)了許多優(yōu)秀的分類算法。如人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN),支持向量機(jī)(Support Vec

2、tor Machines,SVMs)和決策樹(Decision Tree,DT)等。這些算法的出現(xiàn)極大的促進(jìn)了模式分類技術(shù)在生活中各領(lǐng)域中的應(yīng)用。然而模式分類研究遠(yuǎn)沒滿意的程度。傳統(tǒng)分類算法往往需要訓(xùn)練樣本充足而且與測試樣本滿足獨(dú)立同分有達(dá)到令人布。然而現(xiàn)實(shí)世界中的分類問題的訓(xùn)練樣本集往往存在種種不盡如人意的問題,如樣本數(shù)目過少、數(shù)據(jù)分布不平衡、協(xié)方差偏移以及樣本數(shù)目過多,這造成了分類器在分類精度和效率上的不足。因此,提高分類器在各種低

3、質(zhì)量的訓(xùn)練數(shù)據(jù)集上分類性能就具有極高的理論研究價(jià)值。
　　由于分類器對(duì)訓(xùn)練樣本集質(zhì)量的要求比較高,因此合理的進(jìn)行高質(zhì)量的訓(xùn)練樣本集構(gòu)造就成為了一個(gè)可供選擇的方案。本文針對(duì)低質(zhì)量訓(xùn)練樣本集上的分類問題,開展了以下幾個(gè)方面的工作。
　　首先,面向小樣本數(shù)據(jù)分類問題進(jìn)行訓(xùn)練樣本集構(gòu)造方法研究,提出了一種基于高斯分布的虛擬樣本生成方法。該虛擬樣本生成方法利用了模式分類中的光滑性假設(shè),在每一個(gè)原始訓(xùn)練樣本周圍利用高斯分布生成一定數(shù)目的

4、虛擬樣本,實(shí)現(xiàn)了原始訓(xùn)練樣本集的有效擴(kuò)充。由于光滑性假設(shè)是模式分類中最為普遍的先驗(yàn)知識(shí),因此基于高斯分布的虛擬樣本生成方法可以適應(yīng)更為廣泛的問題并且更能保證生成樣本的真實(shí)性。此外本文證明了即便對(duì)于光滑性假設(shè)不滿足的小樣本分類問題,利用虛擬樣本進(jìn)行分類學(xué)習(xí)效果等價(jià)于模式分類中的正則化方法。在iris與sonar標(biāo)準(zhǔn)數(shù)據(jù)集上的仿真實(shí)驗(yàn)說明本文算法可以有效的提高分類器在小樣本分類問題上的分類性能。
　　其次,針對(duì)不平衡數(shù)據(jù)分類問題進(jìn)行訓(xùn)

5、練樣本集構(gòu)造方法研究,利用基于高斯分布的虛擬樣本生成方法對(duì)稀少類的原始訓(xùn)練樣本生成一定數(shù)目的虛擬樣本,降低類間的不平衡度。并證明了即便對(duì)于光滑性假設(shè)不滿足的不平衡數(shù)據(jù)分類問題,利用基于高斯分布的虛擬樣本生成方法進(jìn)行平衡化處理之后,分類器的學(xué)習(xí)效果等價(jià)于代價(jià)敏感學(xué)習(xí)。在kdd cup99入侵檢測數(shù)據(jù)集與sonar標(biāo)準(zhǔn)數(shù)據(jù)集上的仿真實(shí)驗(yàn)說明本文算法可以有效的提高分類器在不平衡數(shù)據(jù)分類問題上的分類性能。
　　再次,面向協(xié)方差偏移下的分類

6、問題進(jìn)行訓(xùn)練樣本集構(gòu)造方法研究,提出了一種從原始訓(xùn)練樣本中抽取與測試樣本集合滿足獨(dú)立同分布的子集的方法。該方法通過對(duì)特征空間進(jìn)行細(xì)化,在子空間進(jìn)行樣本數(shù)目匹配,能夠使抽取到的訓(xùn)練樣本子集與測試樣本集近似滿足同一分布。因此在該子集上的學(xué)習(xí)可以有效的提高分類器的精度。在改造過的UCI標(biāo)準(zhǔn)數(shù)據(jù)集上的仿真實(shí)驗(yàn)說明本文算法可以有效的提高分類器在協(xié)方差偏移下的分類性能。
　　最后,面向大規(guī)模數(shù)據(jù)分類問題進(jìn)行訓(xùn)練樣本集構(gòu)造研究,對(duì)支持向量機(jī)分類

7、器提出了一種改進(jìn)投影的支持向量預(yù)選取方法。首先,對(duì)于線性可分問題,利用Fisher線性判別分析計(jì)算投影直線;對(duì)于非線性可分問題,分別采用如下兩種該方法進(jìn)行投影直線確定。其一,利用核函數(shù)將原始分類問題映射到高維特征空間,然后計(jì)算特征空間的中心向量作為投影直線;其二,利用核Fisher判別分析計(jì)算投影直線。其次,從投影直線上選取一定數(shù)目的相鄰區(qū)域的投影對(duì)應(yīng)的樣本作為邊界向量。復(fù)雜度分析顯示了該方法具有較低的時(shí)空復(fù)雜度。在兩個(gè)人工數(shù)據(jù)集與一個(gè)