梯度提升決策樹(shù)(GBDT)并行學(xué)習(xí)算法研究.pdf

1、GBDT(Gradient Boosting Decision Tree)是一個(gè)應(yīng)用廣泛、效果好的監(jiān)督式機(jī)器學(xué)習(xí)模型。它于2001年由Friedman提出，由決策樹(shù)(Decision Tree)和梯度提升(Gradient Boosting)組合而成。它在實(shí)踐中被證明是一個(gè)很高效的模型，被廣泛應(yīng)用于搜索排序，廣告點(diǎn)擊率預(yù)測(cè)等，給工業(yè)界帶來(lái)了巨大的效果提升和收益。隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，更多的數(shù)據(jù)可以被獲取到。在機(jī)器學(xué)習(xí)中，更多的數(shù)據(jù)也意味

2、著更好的效果，所以，用大數(shù)據(jù)來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型是很有必要的，但這給GBDT帶來(lái)了挑戰(zhàn)。首先GBDT的學(xué)習(xí)算法是一個(gè)中心化算法，需要把所有數(shù)據(jù)都加載在內(nèi)存中，當(dāng)數(shù)據(jù)太大時(shí)，單個(gè)機(jī)器可能無(wú)法加載全部數(shù)據(jù)，沒(méi)辦法進(jìn)行學(xué)習(xí)。并且GBDT學(xué)習(xí)算法的復(fù)雜度和數(shù)據(jù)的大小有關(guān)，當(dāng)數(shù)據(jù)很大時(shí)，學(xué)習(xí)會(huì)變得很慢。所以在大數(shù)據(jù)的場(chǎng)景下，對(duì)GBDT進(jìn)行并行處理是非常有必要的。
　　本文的主要研究?jī)?nèi)容是GBDT并行算法，解決在大數(shù)據(jù)場(chǎng)景下，GBDT并行遇到的

3、問(wèn)題和挑戰(zhàn)。本文首先介紹了關(guān)于GBDT的算法及其優(yōu)化的一些算法，給出了詳細(xì)的算法和理論分析;接著調(diào)研了現(xiàn)有GBDT的并行算法，按種類(lèi)可以分為葉子并行(Leaf Parallelization)、特征并行(Feature Parallelization)和數(shù)據(jù)并行(Data Parallelization)。在對(duì)這些算法進(jìn)行詳細(xì)的研究后，發(fā)現(xiàn)這些并行算法都存在著不足:葉子并行受到內(nèi)存限制，且通信量太大;特征并行無(wú)法并行整個(gè)學(xué)習(xí)過(guò)程;數(shù)據(jù)并