分布式深度學(xué)習(xí)中參數(shù)交換優(yōu)化機(jī)制研究.pdf

1、深度學(xué)習(xí)算法正得到越來越廣泛的關(guān)注和應(yīng)用，然而隨著輸入訓(xùn)練數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)模型的增大，單節(jié)點(diǎn)進(jìn)行深度學(xué)習(xí)訓(xùn)練存在內(nèi)存限制以及訓(xùn)練耗時(shí)等問題，分布式深度學(xué)習(xí)應(yīng)運(yùn)而生。其中，參數(shù)服務(wù)器多基于分布式方法設(shè)計(jì)，普遍采用并行隨機(jī)梯度下降算法進(jìn)行梯度更新訓(xùn)練。
　　分布式參數(shù)服務(wù)器的設(shè)計(jì)能有效提升深度學(xué)習(xí)的訓(xùn)練速度，但面對(duì)大規(guī)模神經(jīng)網(wǎng)絡(luò)參數(shù)時(shí)，工作節(jié)點(diǎn)和參數(shù)服務(wù)器節(jié)點(diǎn)進(jìn)行參數(shù)交換的時(shí)間過長(zhǎng)，會(huì)消耗較多并行訓(xùn)練的時(shí)間，是整個(gè)分布式訓(xùn)練中的瓶頸。

2、現(xiàn)有的解決方式是依靠手動(dòng)優(yōu)化參數(shù)交換的時(shí)間間隔，以降低參數(shù)交換頻率和開銷。手動(dòng)設(shè)置的各工作節(jié)點(diǎn)交換時(shí)間間隔固定且相等，來自不同工作節(jié)點(diǎn)的參數(shù)交換請(qǐng)求會(huì)在近乎相同的時(shí)間點(diǎn)到達(dá)參數(shù)服務(wù)器節(jié)點(diǎn)而呈現(xiàn)請(qǐng)求突發(fā)現(xiàn)象；而參數(shù)服務(wù)器節(jié)點(diǎn)資源有限，不同的參數(shù)交換請(qǐng)求必須通過排隊(duì)依次獲得其資源以得到處理，瓶頸依然存在。
　　針對(duì)上述問題，設(shè)計(jì)了一種通過自動(dòng)設(shè)置最佳參數(shù)交換時(shí)間間隔來消除分布式深度學(xué)習(xí)參數(shù)交換瓶頸同時(shí)保證訓(xùn)練準(zhǔn)確率的方法和系統(tǒng)；并在內(nèi)

3、存容量足夠容納整個(gè)參數(shù)模型的前提下，對(duì)并行隨機(jī)梯度下降算法進(jìn)行了優(yōu)化。其工作機(jī)制為：通過監(jiān)控參數(shù)服務(wù)器節(jié)點(diǎn)的資源使用情況，動(dòng)態(tài)為各個(gè)工作節(jié)點(diǎn)選取一定范圍內(nèi)不同的參數(shù)交換時(shí)間間隔以避免請(qǐng)求突發(fā)現(xiàn)象，并在達(dá)到時(shí)間間隔上限時(shí)進(jìn)行強(qiáng)制參數(shù)交換，依此來消除參數(shù)交換瓶頸的同時(shí)保證準(zhǔn)確率。
　　實(shí)驗(yàn)表明，分布式深度學(xué)習(xí)中參數(shù)交換優(yōu)化機(jī)制能夠在保證深度學(xué)習(xí)訓(xùn)練準(zhǔn)確率的前提下，使參數(shù)交換速率提升8倍，有效克服了并行訓(xùn)練中參數(shù)交換瓶頸以及參數(shù)交換請(qǐng)求