基于減少外存訪問的多任務(wù)圖處理系統(tǒng)研究.pdf

1、圖處理系統(tǒng)正被廣泛的應(yīng)用于各個(gè)領(lǐng)域的數(shù)據(jù)分析中，隨著圖處理任務(wù)的增加，它們需要有效的應(yīng)對(duì)多任務(wù)環(huán)境?，F(xiàn)有的圖處理系統(tǒng)一般針對(duì)單一任務(wù)設(shè)計(jì)，在執(zhí)行并行任務(wù)時(shí)存在圖數(shù)據(jù)的重復(fù)和數(shù)據(jù)訪問帶寬的競(jìng)爭(zhēng)。
　　內(nèi)存模式圖處理系統(tǒng)節(jié)點(diǎn)間的交換數(shù)據(jù)為圖處理任務(wù)私有，執(zhí)行并行任務(wù)時(shí)對(duì)網(wǎng)絡(luò)帶寬的競(jìng)爭(zhēng)是系統(tǒng)的瓶頸。現(xiàn)有的外存模式圖處理系統(tǒng)可以避免網(wǎng)絡(luò)通信開銷，但是并行任務(wù)對(duì)圖數(shù)據(jù)訪問的不一致易造成I/O爭(zhēng)用，影響性能。通過對(duì)現(xiàn)有外存模式圖處理系統(tǒng)I/O

2、優(yōu)化方法的分析，提出了基于I/O去重、圖數(shù)據(jù)共享的數(shù)據(jù)訪問模型，從理論上論證了在面對(duì)并行任務(wù)時(shí)相對(duì)于傳統(tǒng)模型的優(yōu)勢(shì)與局限性?；谠撃Ｐ?，設(shè)計(jì)并實(shí)現(xiàn)了面向多任務(wù)環(huán)境的外存模式圖處理系統(tǒng) GraphDeSh。GraphDeSh通過對(duì)外存數(shù)據(jù)的統(tǒng)一訪問消除了I/O重復(fù)，通過共享緩存的設(shè)計(jì)平衡了并行任務(wù)執(zhí)行速度的差異，優(yōu)化了并行任務(wù)的數(shù)據(jù)等待時(shí)間。
　　使用不同的數(shù)據(jù)集和不同的算法組合測(cè)試了GraphDeSh的性能，驗(yàn)證了基于I/O去重、