Bagging算法的兩階段混合修剪技術(shù)研究與分析.pdf

1、集成方法往往能提升單分類器的性能，但最終模型占用存儲(chǔ)空間大，預(yù)測(cè)耗費(fèi)時(shí)間久等缺點(diǎn)也隨之出現(xiàn)。因此，各種修剪技術(shù)陸續(xù)被提出，其目標(biāo)針對(duì)原始集成方法進(jìn)行有效而最大程度的簡(jiǎn)化，同時(shí)能夠保持甚至提升原有集成方法的預(yù)測(cè)性能。集成方法修剪技術(shù)已成為機(jī)器學(xué)習(xí)領(lǐng)域?qū)W者們研究的一個(gè)重要課題。Bagging算法作為經(jīng)典集成方法之一，修剪Bagging集成模型同樣面臨著提升原始Bagging預(yù)測(cè)性能的同時(shí)保證修剪效率最大化等問(wèn)題。然而，目前修剪Bagging

2、的方法大多采用復(fù)雜的計(jì)算進(jìn)行修剪，大大增加了修剪模型的計(jì)算成本。在本文中，針對(duì)Bagging算法，本文首先提出兩種獨(dú)立的Bagging修剪方法，即一種基于正確率的修剪方法和另一種基于距離的修剪方法;在此基礎(chǔ)上，進(jìn)一步提出一種兩階段混合修剪技術(shù)，以獲得更為簡(jiǎn)約而高效的集成模型。論文內(nèi)容主要包括:
　　(1)研究一種基于正確率的Bagging修剪方法。該方法利用Bagging子模型在out-of-bag樣本集上的預(yù)測(cè)正確率，按分位數(shù)閾

3、值篩選出表現(xiàn)優(yōu)異的子模型，構(gòu)建新的集成模型。此修剪方法充分考慮子模型的預(yù)測(cè)正確率，最大程度縮減原Bagging算法中的子模型數(shù)目。
　　(2)研究一種基于距離的Bagging修剪方法。該方法首先計(jì)算經(jīng)典Bagging中各子模型對(duì)應(yīng)的out-of-bag樣本集的樣本中心，然后針對(duì)每個(gè)待預(yù)測(cè)樣本，計(jì)算該樣本到各樣本中心的距離，進(jìn)一步根據(jù)分位數(shù)閾值篩選出距離待預(yù)測(cè)樣本較近的部分子模型，從而構(gòu)建起新的集成模型。此修剪技術(shù)充分考慮待預(yù)測(cè)樣本

4、的個(gè)體差異性，篩選出因樣本而異的子模型集，以此減少Bagging子模型數(shù)目，獲得預(yù)測(cè)任務(wù)的加速以及性能的提升。
　　(3)在上述兩種獨(dú)立修剪技術(shù)的基礎(chǔ)上提出一種兩階段的混合修剪方法。本文中提出的基于正確率和基于距離的修剪方法分別記為P1和P2，依據(jù)前后順序，兩階段混合修剪方法包含兩種修剪方式，分別稱為P1+P2和P2+P1。P1+P2方法是指針對(duì)基于正確率的修剪方法P1篩選出的子模型，進(jìn)一步利用基于距離的修剪技術(shù)P2進(jìn)行篩選;而P

5、2+P1方法恰好順序相反，先利用P2修剪，再應(yīng)用P1進(jìn)行篩選。兩階段混合修剪方法結(jié)合了兩種獨(dú)立修剪技術(shù)各自的優(yōu)點(diǎn)，可進(jìn)一步縮減子模型的數(shù)目并提升模型預(yù)測(cè)性能。
　　最后，本文使用來(lái)自UCI的28種數(shù)據(jù)集，針對(duì)上述提出的修剪方法進(jìn)行5折交叉驗(yàn)證。在實(shí)驗(yàn)階段采用四種-基分類器進(jìn)行對(duì)比研究，分別包括決策樹、高斯樸素貝葉斯、K-近鄰和邏輯回歸。實(shí)驗(yàn)結(jié)果證明，對(duì)傳統(tǒng)Bagging算法的修剪不僅可以有效解決集成模型占用內(nèi)存大等問(wèn)題，還可以進(jìn)一