AdaBoost中加權(quán)方式的改進(jìn).pdf

1、在數(shù)據(jù)挖掘領(lǐng)域中,分類是一種非常重要的技術(shù)?，F(xiàn)在有很多種分類技術(shù),如貝葉斯,決策樹等,這些分類器都是單分類器。人們?yōu)榱颂岣叻诸惼鞯募夹g(shù)做了很多的研究,但是目前單分類器性能的提升已經(jīng)達(dá)到了一個(gè)瓶頸,人們根據(jù)弱學(xué)習(xí)和強(qiáng)學(xué)習(xí)等價(jià)性的原理,提出了集成學(xué)習(xí)的概念。所謂集成,就是將多個(gè)不同的分類器,通過一定的方法,利用相關(guān)的技術(shù)最終形成一個(gè)組合分類器。集成學(xué)習(xí),即分類器集成也叫做分類器組合,形成的最終的分類器叫做組合分類器,它是組合多個(gè)分類器對(duì)實(shí)例

2、進(jìn)行分類的系統(tǒng),其中每個(gè)分類器被稱為基分類器。實(shí)驗(yàn)表明,多分類器組合能顯著提高分類器的分類性能。因此對(duì)其進(jìn)行研究,具有重要的理論價(jià)值及現(xiàn)實(shí)意義。
　　 本文首先對(duì)集成學(xué)習(xí)的各個(gè)主要研究方向做出了綜合性的闡述,包括集成學(xué)習(xí)的概念,產(chǎn)生原因,生成方式,組合方式以及其意義等。并介紹了加權(quán)的一些研究?jī)?nèi)容,包括可以用來加權(quán)的對(duì)象等。接下來詳細(xì)介紹了集成學(xué)習(xí)中的Boosting技術(shù)和Bagging技術(shù)。由已有的研究成果的總結(jié)可知,集成學(xué)習(xí)由

3、兩個(gè)階段組成:產(chǎn)生多樣性的預(yù)測(cè)模型和對(duì)這些模型進(jìn)行組合。本文針對(duì)這兩個(gè)階段,對(duì)AdaBoost提出兩種不同的改進(jìn),通過改進(jìn)其加權(quán)方式來進(jìn)一步提高算法的分類準(zhǔn)確率。
　　 第一,傳統(tǒng)的AdaBoost算法中的每個(gè)基分類器的權(quán)重是根據(jù)對(duì)訓(xùn)練集進(jìn)行分類時(shí)所得到的錯(cuò)誤率得到的,那么它的權(quán)重對(duì)于待測(cè)實(shí)例來說是靜態(tài)的。如果把每個(gè)基分類器給待測(cè)實(shí)例預(yù)測(cè)類值時(shí),所取類值的概率加入考慮范圍,那么給基分類器所賦的權(quán)值就更側(cè)重于待測(cè)實(shí)例的真實(shí)情況。<

4、br>　　 第二,傳統(tǒng)的AdaBoost算法在建立基分類器時(shí),需要不斷調(diào)整訓(xùn)練集中實(shí)例的權(quán)值,依據(jù)的是基分類器對(duì)訓(xùn)練集進(jìn)行分類時(shí)的錯(cuò)誤率。所有被分錯(cuò)的實(shí)例均用同一個(gè)權(quán)重因子進(jìn)行加權(quán)。但是每個(gè)實(shí)例被分錯(cuò)時(shí),是以不同的可能性被分錯(cuò)的,然而卻被等同看待。如果加權(quán)時(shí)把分錯(cuò)概率的大小考慮到加權(quán)因子中,會(huì)使實(shí)例的權(quán)值更利于建立一個(gè)分類精度高的分類器。
　　 最后,在Weka系統(tǒng)上實(shí)現(xiàn)了這兩個(gè)新算法以及比較算法,并通過實(shí)驗(yàn)進(jìn)行了多方面的比較