基于多維聯(lián)機(jī)分析的分布式審計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云時(shí)代的到來，海量結(jié)構(gòu)化數(shù)據(jù)的審計(jì)正成為伴隨著電子商務(wù)、物聯(lián)網(wǎng)等新興互聯(lián)網(wǎng)領(lǐng)域而逐漸興起的熱點(diǎn)問題，歷史數(shù)據(jù)的審計(jì)的目的在于盡可能地通過日志文件等記錄數(shù)據(jù)，實(shí)現(xiàn)對威脅或潛在威脅的發(fā)現(xiàn)和防范。其中的難點(diǎn)在于如何實(shí)現(xiàn)其匯總數(shù)據(jù)查詢的即席性、聯(lián)機(jī)性和交互性。在數(shù)據(jù)審計(jì)領(lǐng)域，對數(shù)據(jù)倉庫的審計(jì)主要有兩種方法，即賬表還原法和基礎(chǔ)數(shù)據(jù)核查法，然而問題是，現(xiàn)階段，在數(shù)據(jù)量逐漸增大的壓力下，不管何種審計(jì)方法都無法在審計(jì)速度、審計(jì)數(shù)據(jù)存儲(chǔ)方面取得令人滿

2、意的效果，審計(jì)任務(wù)完成不及時(shí)、審計(jì)數(shù)據(jù)無法妥善存儲(chǔ)都會(huì)給企業(yè)和政府帶來不可估量的損失。本文基于數(shù)據(jù)立方體格模型及分布式技術(shù)，設(shè)計(jì)一套高效率的基于分布式和聯(lián)機(jī)分析技術(shù)的審計(jì)系統(tǒng)，力求做到數(shù)據(jù)審計(jì)的快速高效。
　　本文主要做了如下工作:
　　(1)通過對各種分布式技術(shù)的優(yōu)劣進(jìn)行比較，選取出適合大數(shù)據(jù)審計(jì)的分布式框架，并將審計(jì)數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫或excel移植到類Hadoop MapReduce的通用并行框架Spark上。

3、　　(2)在分布式平臺上對聚集數(shù)據(jù)進(jìn)行壓縮。首先對分布式存儲(chǔ)平臺的特點(diǎn)進(jìn)行分析，選用封閉立方體技術(shù)對聚集數(shù)據(jù)進(jìn)行壓縮，壓縮后的數(shù)據(jù)以封閉立方體的形式存儲(chǔ)在HDFS上，以供審計(jì)查詢。
　　(3)得到壓縮的封閉立方體后，結(jié)合Spark編程模型RDD的特點(diǎn)在分布式系統(tǒng)上對其進(jìn)行查詢，查詢方式與已有的查詢方式不同，因?yàn)橐骖櫡植际较到y(tǒng)的特點(diǎn)和查詢效率，做到快速準(zhǔn)確。
　　(4)整合前面的技術(shù)，設(shè)計(jì)出合適的基于分布式系統(tǒng)的審計(jì)架構(gòu)。解