面向分布式內存計算的緩存數據管理系統(tǒng).pdf

1、面對海量數據，利用圖計算或機器學習等具有迭代特征的復雜應用對其進行處理很常見。通過在迭代之間共享緩存數據，典型的分布式內存計算系統(tǒng)如Spark極大地提升了迭代程序處理的速度，在業(yè)界使用廣泛。然而，在處理的數據量較大時緩存數據無法全部放入內存，需要對緩存數據進行管理。迭代后期再次使用被置換的數據時需要進行重獲，此時引入的重獲開銷影響了性能。傳統(tǒng)的置換策略如LRU或FIFO沒有考慮到緩存數據重獲開銷之間存在差異，因而無法保證應用運行過程中整

2、體的重獲開銷最小。
　　實驗發(fā)現，在分布式內存計算系統(tǒng)中，緩存數據的重獲開銷間存在著明顯的差異。因此提出并在Spark上實現了一種考慮了重獲開銷的緩存數據管理系統(tǒng)，來保證數據置換帶來的影響最小。首先，依據分布式系統(tǒng)中應用待執(zhí)行的邏輯是已知的、數據之間有聯系的特點，對執(zhí)行邏輯進行了分析得出了緩存數據之間的依賴關系；然后，定義了重獲開銷表征置換發(fā)生后重獲緩存數據所需的代價，定義了重用度表征緩存數據在程序后期再次使用到的次數，在執(zhí)行程序