多類(lèi)標(biāo)聚類(lèi)樹(shù)分類(lèi)方法優(yōu)化及并行化實(shí)現(xiàn).pdf

1、近年來(lái),多類(lèi)標(biāo)分類(lèi)問(wèn)題成為學(xué)術(shù)研究的一個(gè)熱點(diǎn),多類(lèi)標(biāo)分類(lèi)技術(shù)是解決多類(lèi)標(biāo)分類(lèi)和類(lèi)標(biāo)排序兩大任務(wù)的重要技術(shù)手段,為了更有效地解決多類(lèi)標(biāo)文本分類(lèi)問(wèn)題,一種新的基于聚類(lèi)樹(shù)的多類(lèi)標(biāo)文本分類(lèi)算法在2011年被提出,并得到了充分的實(shí)驗(yàn)驗(yàn)證。但是基于多類(lèi)標(biāo)聚類(lèi)樹(shù)文本分類(lèi)算法在分類(lèi)策略上也存在著不足,沒(méi)能充分利用類(lèi)標(biāo)間的信息,對(duì)樣本的分類(lèi)預(yù)測(cè)完全依賴(lài)于類(lèi)標(biāo)掩蓋數(shù)組和純度。同時(shí),隨著互聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)規(guī)模不斷擴(kuò)大,如何在海量數(shù)據(jù)下加快算法運(yùn)行速度也是本文

2、關(guān)注的問(wèn)題。
　　本文圍繞多類(lèi)標(biāo)聚類(lèi)樹(shù)文本分類(lèi)算法存在的問(wèn)題以及如何實(shí)現(xiàn)算法并行化的問(wèn)題進(jìn)行深入研究,具體研究?jī)?nèi)容及成果如下:
　　(1)全面對(duì)現(xiàn)有的多類(lèi)標(biāo)分類(lèi)算法進(jìn)行調(diào)研和深入分析,總結(jié)各算法的優(yōu)缺點(diǎn),總結(jié)目前基于MapReduce框架的機(jī)器學(xué)習(xí)并行化算法。
　　(2)深入闡述多類(lèi)標(biāo)聚類(lèi)樹(shù)分類(lèi)算法,分析其理論和算法流程,分析該算法的存在的問(wèn)題。
　　(3)針對(duì)多類(lèi)標(biāo)聚類(lèi)樹(shù)分類(lèi)算法在分類(lèi)策略上存在的不足,提出了兩

3、種優(yōu)化策略。第一種是基于基分類(lèi)器的優(yōu)化策略,使用基分類(lèi)器在沿著決策路徑對(duì)待測(cè)樣本進(jìn)行輔助分類(lèi)和類(lèi)標(biāo)置信度計(jì)算,有助于提高分類(lèi)器分類(lèi)的性能。第二種是利用皮爾森積差相關(guān)系數(shù)表示類(lèi)標(biāo)間的相關(guān)性?xún)?yōu)化算法,進(jìn)一步地提升類(lèi)標(biāo)排序的性能;
　　(4)針對(duì)如何在海量數(shù)據(jù)下加快算法的運(yùn)行速度問(wèn)題,提出算法并行化的思路,進(jìn)而在MapReduce框架下實(shí)現(xiàn)了多類(lèi)標(biāo)聚類(lèi)樹(shù)分類(lèi)方法的并行化。
　　(5)通過(guò)實(shí)驗(yàn),本文證明了兩種多類(lèi)標(biāo)聚類(lèi)樹(shù)文本分類(lèi)方法