海量數(shù)據(jù)環(huán)境中副本動態(tài)一致性策略研究.pdf

1、隨著互聯(lián)網(wǎng)的普及,涌現(xiàn)出了大量的互聯(lián)網(wǎng)應(yīng)用,例如社交網(wǎng)絡(luò),在線視頻,圖片分享,電子商務(wù)等等,Web2.0的時代也隨著來臨。這些應(yīng)用普遍采用分布式的架構(gòu)來存儲用戶產(chǎn)生的海量數(shù)據(jù),如何有效地管理各個副本節(jié)點(diǎn)之間的數(shù)據(jù),是一個持續(xù)的研究問題。針對海量數(shù)據(jù)環(huán)境下,不同的應(yīng)用對于數(shù)據(jù)副本的一致性有所差異的特性,提出了動態(tài)一致性的副本管理策略,通過該策略可以更加靈活地和精確地描述不同的業(yè)務(wù)邏輯對于一致性的需求。
　　在多個副本節(jié)點(diǎn)進(jìn)行同步的過

2、程中,總會存在副本節(jié)點(diǎn)之間的數(shù)據(jù)存在偏差的情況。對于不同的數(shù)據(jù)類型,提出用數(shù)據(jù)條目偏差,數(shù)值偏差以及新舊程度偏差這三個偏差類型中的其中一個來進(jìn)行描述;與此同時,給這個數(shù)據(jù)偏差賦予一個用來刻畫其對于偏差容忍度的數(shù)值。由這個二元組,來修飾不同的數(shù)據(jù)對于一致性的要求。再配合一致性控制層中的請求分發(fā)模塊、任務(wù)處理模塊以及任務(wù)調(diào)度模塊的協(xié)同工作,實現(xiàn)對任務(wù)的動態(tài)一致性策略的控制。該策略的具體實現(xiàn)方式是請求分發(fā)模塊對帶有二元組修飾的請求任務(wù)進(jìn)行分析

3、后,將任務(wù)放置到與一致性要求相匹配的優(yōu)先級任務(wù)隊列中,然后由任務(wù)處理模塊從隊列中取出任務(wù),并按照與其一致性要求相對應(yīng)的方式來操作副本節(jié)點(diǎn)。其中設(shè)置任務(wù)調(diào)度模塊的目的是避免較低優(yōu)先級任務(wù)隊列中的任務(wù)餓死。
　　實驗表明,當(dāng)一致性偏差取值由系統(tǒng)隨機(jī)賦值時,動態(tài)一致性策略可以對三種一致性偏差類型同時存在的情況進(jìn)行處理,并根據(jù)偏差取值進(jìn)行合理調(diào)度,確保每一個請求的一致性要求。進(jìn)一步說明動態(tài)一致性策略在海量數(shù)據(jù)環(huán)境中的應(yīng)用,可以解決不同的應(yīng)