集成學(xué)習(xí)多樣性研究.pdf

1、集成學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中的研究熱點(diǎn)問題，其通過組合多個(gè)學(xué)習(xí)器來(lái)解決一個(gè)問題。對(duì)比普通的機(jī)器學(xué)習(xí)算法在訓(xùn)練數(shù)據(jù)上生成一個(gè)學(xué)習(xí)器，集成學(xué)習(xí)生成一組學(xué)習(xí)器并通過各類方式組合它們，從而取得比單個(gè)學(xué)習(xí)器更好的泛化能力及分類準(zhǔn)確性。而在提高集成學(xué)習(xí)準(zhǔn)確性方面，由于集成分類器各分類器的多樣性與準(zhǔn)確性之間存在一定關(guān)系。因此，深入研究準(zhǔn)確性同多樣性之間的關(guān)系，并通過增強(qiáng)多樣性來(lái)提升分類器準(zhǔn)確性則變得至關(guān)重要。
　　本文以隨機(jī)決策樹(RandomDe

2、cisionTrees，RDT)為基分類器，因RDT作為不穩(wěn)定分類器，集成之后較之單個(gè)分類器提升效果明顯，且RDT本身的隨機(jī)性也增加了多樣性。此外，分別利用半監(jiān)督學(xué)習(xí)算法Tri-training及新的集成策略BLB(BagofLittleBootstrap)，并對(duì)比其他集成策略進(jìn)行實(shí)驗(yàn)。之后，使用多樣性度量方法及準(zhǔn)確性評(píng)價(jià)方法，對(duì)結(jié)果進(jìn)行匯總分析。在各實(shí)驗(yàn)基礎(chǔ)上，利用微信公眾平臺(tái)，采用眾包策略，以航海語(yǔ)料庫(kù)作為實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行文本分類，請(qǐng)

3、用戶參與文章的人工分類來(lái)獲取反饋，利用用戶的不同分類來(lái)產(chǎn)生多樣性，通過真實(shí)的眾包來(lái)實(shí)現(xiàn)集成學(xué)習(xí)，并對(duì)反饋結(jié)果進(jìn)行分析研究，并使用特征選擇和選擇性集成來(lái)改進(jìn)之前的兩種算法。本文具體的工作包括:
　　(1)本文使用Tri-training半監(jiān)督學(xué)習(xí)算法，以RDT作為基分類器進(jìn)行迭代訓(xùn)練，最后得出集成分類器。該算法利用半監(jiān)督學(xué)習(xí)的特點(diǎn)，通過使用已標(biāo)記樣本訓(xùn)練出的三個(gè)初始分類器互相標(biāo)注未標(biāo)記樣本，改良各基分類器，同時(shí)利用未標(biāo)記樣本增加了分

4、類器的多樣性，即增強(qiáng)了各基分類器間的差異。該實(shí)驗(yàn)分別在UCI上的不同規(guī)模的10組小數(shù)據(jù)集以及5組中等規(guī)模數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并選取經(jīng)典集成學(xué)習(xí)算法Bagging和Adaboost作為對(duì)比實(shí)驗(yàn)，采用10倍交叉驗(yàn)證方法來(lái)獲取平均測(cè)試準(zhǔn)確率及DF、KW和MTI等多種多樣性度量值，分析準(zhǔn)確性與多樣性兩者之間存在的關(guān)系。實(shí)驗(yàn)結(jié)果證明，多樣性的適度增強(qiáng)確實(shí)可以提升準(zhǔn)確性。
　　(2)本文采用BLB作為新的集成策略來(lái)進(jìn)行多樣性研究。由于其融合了Bo

5、otstrap和二次抽樣的特點(diǎn)，通過擾動(dòng)訓(xùn)練集的方式增加了多樣性。同樣以RDT作為基分類器，在UCI上不同的中小規(guī)模數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。并利用實(shí)驗(yàn)結(jié)果分析準(zhǔn)確性與多樣性的關(guān)系。實(shí)驗(yàn)結(jié)果證明，BLB的確比同樣利用Bootstrap的Bagging算法在多數(shù)數(shù)據(jù)集上的準(zhǔn)確性有所提高，從另一側(cè)面反映出多樣性增強(qiáng)對(duì)準(zhǔn)確性提高的作用。
　　(3)最后本文借助微信公眾平臺(tái)，采用眾包策略，相比傳統(tǒng)人工分類成本高，難獲得，采用眾包策略的微信平臺(tái)人工分