社保聯(lián)網(wǎng)審計中增量數(shù)據(jù)分布式處理的研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)和分布式計算的發(fā)展，海量數(shù)據(jù)處理的性能有了很大提升。在許多應用領(lǐng)域中，都需要從海量數(shù)據(jù)中提取出增量數(shù)據(jù)來滿足某種業(yè)務需求，尤其是對于不斷更新的源數(shù)據(jù)，往往需要定時抽取出增量數(shù)據(jù)。在目前和將來的研發(fā)中，如何快速的識別出增量數(shù)據(jù)，并進行提取、存儲以及傳輸，將逐漸成為國內(nèi)外學者關(guān)注的研究方向之一。在社會保障聯(lián)網(wǎng)審計中，需要提取出增量數(shù)據(jù)來做為審計預警系統(tǒng)的源數(shù)據(jù)。增量數(shù)據(jù)的識別與提取技術(shù)是實現(xiàn)整個系統(tǒng)的關(guān)鍵技術(shù)之一。

2、　　 本文介紹了分布式系統(tǒng)的發(fā)展、負載均衡策略和國內(nèi)外對于增量數(shù)據(jù)識別技術(shù)的研究情況，給出了基于分布式處理的增量數(shù)據(jù)處理方案，對增量數(shù)據(jù)分布式處理的數(shù)據(jù)分割、數(shù)據(jù)分配、增量識別以及數(shù)據(jù)回收等過程進行了研究，為了提高處理效率還設計了負載平衡策略，結(jié)合多線程技術(shù)進行實現(xiàn)，并做了性能分析和系統(tǒng)設計。
　　 最后，以某省的審計數(shù)據(jù)作為實驗數(shù)據(jù)，在該省審計廳的曙光機群的基礎上搭建了平臺，并進行了仿真實驗，性能測試表明該方法基本滿足了聯(lián)網(wǎng)