開放式海量數(shù)據(jù)處理服務(wù)的計算完整性研究.pdf

1、開放式海量數(shù)據(jù)處理服務(wù)在大數(shù)據(jù)處理中發(fā)揮著越來越重要的作用。然而，由于開放式服務(wù)可能面臨來自服務(wù)方主觀意圖以及內(nèi)部分布式計算環(huán)境客觀安全因素等威脅，如何保證服務(wù)的計算完整性成為重要問題?，F(xiàn)有研究主要對海量數(shù)據(jù)處理的內(nèi)部計算框架進行研究，通過多副本技術(shù)對計算節(jié)點提供的結(jié)果進行檢測，從而保證計算任務(wù)的計算完整性。由于基于多副本的技術(shù)將會帶來很大的計算開銷，因此限制了方法的實際可用性；并且這類針對內(nèi)部計算節(jié)點的檢測機制并不能有效解決服務(wù)方主觀

2、欺騙造成的計算完整性問題。針對開放式海量數(shù)據(jù)處理服務(wù)計算完整性問題，本文從計算完整性檢測與計算完整性保障兩個方面展開研究。計算完整性檢測問題關(guān)注從用戶角度對服務(wù)方的計算行為以及結(jié)果的完整性檢測，屬于計算完整性的事后檢查；計算完整性保障問題則從服務(wù)方角度研究如何組織可信的計算資源得到滿足計算完整性要求的計算結(jié)果，屬于計算完整性的主動保護。本文以當前海量數(shù)據(jù)處理的主流計算模式MapReduce為研究對象，結(jié)合海量數(shù)據(jù)處理的計算特點，從提高方

3、法的可用性與計算效能出發(fā)，以降低計算完整性檢測機制的性能開銷、提高計算完整性保障力度為優(yōu)化目標，系統(tǒng)的研究了開放式海量數(shù)據(jù)處理服務(wù)計算完整性方面的若干重要問題。本研究主要內(nèi)容包括：
　?、叛芯苛嘶诘谌降挠嬎阃暾詸z測問題。云服務(wù)模式下，建立可控的云計算安全監(jiān)管體系是云服務(wù)可信研究要解決的重要挑戰(zhàn)，對服務(wù)進行基于第三方的審計是其中的重要手段。在MapReduce計算機制中，Map計算為對用戶原始輸入的處理，是計算的重要組成部分。

4、本文提出了“基于第三方可信抽樣的Map階段計算完整性檢測”機制，通過可信第三方對MapReduce中間結(jié)果進行抽樣檢測，以少量的檢測開銷來檢測服務(wù)方Map階段的計算完整性，并且針對服務(wù)商可能存在的主觀上的不配合問題，利用Merkle樹技術(shù)對檢測結(jié)果進行組織，防止服務(wù)方為應(yīng)付審計而進行欺騙行為，保證檢測結(jié)果真實可靠。
　?、蒲芯苛擞嬎阃暾杂脩糇灾鳈z測問題。在云服務(wù)監(jiān)管體系的建立完善之前，研究服務(wù)方不感知的用戶自主檢測方法也成為解決

5、問題的有效途徑。本文研究了“基于監(jiān)控探針的計算完整性用戶自主檢測方法”，根據(jù)MapReduce計算問題的類型構(gòu)建預(yù)先知道計算結(jié)果的監(jiān)控探針并注入到輸入數(shù)據(jù)集合中，通過探針數(shù)據(jù)的計算結(jié)果來以一定概率檢測整體計算任務(wù)是否滿足計算完整性要求。由于該方法與具體的計算類型相關(guān)，因此，本文重點對該方法進行建模，對其重要性質(zhì)進行研究，并針對幾種典型的MapReduce計算類型研究監(jiān)控探針的構(gòu)造方法。該方法可以對Map與Reduce的全部計算階段進行完

6、整性檢測，并且無需服務(wù)方的配合即可得出檢測結(jié)果；同時由于該方法基于抽樣檢測思想，檢測的開銷可以被用戶所接受。
　?、茄芯苛丝尚砰_放式MapReduce系統(tǒng)構(gòu)建問題。在服務(wù)方內(nèi)部，當服務(wù)方利用開放式計算資源來組織計算系統(tǒng)時，由于計算資源可能來自不同的可信域，因此，需要對各節(jié)點的計算結(jié)果進行檢測，只有通過檢測的結(jié)果才能被采納。當前的檢測手段主要通過多副本檢測，而對于多副本機制在抵御共謀攻擊方面的弱點，則缺乏高效的解決手段。本文提出了“

7、抗共謀的開放式環(huán)境下可信MapReduce系統(tǒng)構(gòu)建”方法，該方法無需針對共謀攻擊設(shè)計額外的檢測機制，僅利用多副本檢測的歷史信息，即可定位共謀與非共謀攻擊模式下的惡意節(jié)點。該方法利用完整性證明圖來描述系統(tǒng)內(nèi)的節(jié)點間多副本檢測關(guān)系，并基于完整性證明圖的最大團分析來精確定位惡意節(jié)點。并且，該方法還提出了基于完整性證明圖指導(dǎo)的節(jié)點檢測對選擇啟發(fā)式算法，指導(dǎo)檢測副本對的選擇，提高惡意節(jié)點檢測的效率。
　?、妊芯苛擞嬎愎?jié)點可信性評估問題。在海

8、量數(shù)據(jù)處理中，盡管多副本技術(shù)的檢測精度高，但是由于參與計算的節(jié)點數(shù)量大，如果完全應(yīng)用多副本技術(shù)來進行檢測，會導(dǎo)致巨大的計算開銷。如果能夠利用很小的檢測成本，對節(jié)點的可信性進行預(yù)評估，然后在此基礎(chǔ)上，在實際運行的系統(tǒng)中針對可信度低的節(jié)點再應(yīng)用多副本檢測，將大大提高檢測機制的計算效率。本文提出了“基于監(jiān)控探針的計算節(jié)點可信性評估方法”，通過探針數(shù)據(jù)的計算結(jié)果判斷探針在系統(tǒng)中是否被正確執(zhí)行，并結(jié)合MapReduce的Shuffle機制，確定監(jiān)

9、控探針的執(zhí)行路徑，通過信譽機制對各參與計算的節(jié)點進行可信性評估。該方法工作在應(yīng)用級，無需對計算框架進行修改。而通過對可信節(jié)點的評估，可以對那些低可信性排名的節(jié)點進行精度更高的多副本檢測，從而有效降低檢測機制的計算資源需求。
　　⑸對開放式海量數(shù)據(jù)處理服務(wù)的計算完整性問題進行了深入的研究，提出了具有高可用性、高檢測率、低開銷的解決方案，并通過理論分析和大量的實驗驗證了所提出方法的有效性和性能，對于建立誠實可信的開放式海量數(shù)據(jù)處理服務(wù)