基于數(shù)據(jù)訪問依賴的分布式機器學習編程模型的優(yōu)化.pdf

1、隨著大數(shù)據(jù)時代的到來，探索數(shù)據(jù)蘊藏的價值越來越重要。將傳統(tǒng)機器學習方法分布化，以適應越來越龐大的數(shù)據(jù)規(guī)模成為研究熱點?，F(xiàn)有基于參數(shù)服務器架構(gòu)的分布式機器學習框架得到普遍認同。然而此框架僅提供抽象層次較低的底層數(shù)據(jù)訪問接口，導致其在應用時存在數(shù)據(jù)訪問行為和上層應用之間的耦合性高的問題，使得編程人員不易進行進一步的系統(tǒng)底層優(yōu)化工作。研究基于數(shù)據(jù)訪問依賴的分布式機器學習編程模型，提供方便部署高并發(fā)機器學習應用的編程框架具有重要的理論研究意義和

2、實際應用價值。
　　提出了一種基于數(shù)據(jù)訪問依賴的新型分布式機器學習編程模型。該編程模型將參數(shù)服務器的底層數(shù)據(jù)訪問接口進行封裝，并將數(shù)據(jù)訪問行為和上層應用進行解耦。首先，將應用邏輯分成不同的階段，并用有向無環(huán)圖來描述它們之間的依賴關系；其次將階段的核心操作設計成針對一塊連續(xù)區(qū)域的鍵值對進行重復性的操作并且定義相關的模型參數(shù)的更新機制；接著對于每個階段所需的模型參數(shù)，提供一種描述數(shù)據(jù)依賴的方法。通過將有向無環(huán)圖中的無依賴關系的階段并行

3、執(zhí)行，以及將某個階段內(nèi)的鍵值區(qū)間自動化地分塊和并行執(zhí)行，提高了系統(tǒng)的并發(fā)度。同時通過系統(tǒng)的任務調(diào)度策略和參數(shù)一致性模型來影響數(shù)據(jù)傳輸?shù)男袨?，進而減少猝發(fā)式網(wǎng)絡傳輸造成網(wǎng)絡資源帶寬競爭現(xiàn)象的發(fā)生。這種解耦后的編程模型，既方便了編程，又為進一步地進行底層系統(tǒng)的優(yōu)化提供了可能。
　　在該分布式系統(tǒng)上部署了基于主題模型的文本聚類分析程序。測試結(jié)果表明，系統(tǒng)具有單個物理節(jié)點內(nèi)的多線程可擴展性以及分布式情形下的可擴展性，系統(tǒng)并發(fā)度高。同時任務