開(kāi)放可伸縮關(guān)系數(shù)據(jù)模型及數(shù)據(jù)分區(qū)策略研究.pdf

1、隨著互聯(lián)網(wǎng)的逐步社會(huì)化，各行各業(yè)的數(shù)據(jù)生產(chǎn)能力達(dá)到前所未有的高度，大數(shù)據(jù)(BigData)概念在這一背景下被提了出來(lái)，并且吸引了越來(lái)越多的關(guān)注。隨之而來(lái)的是各式各樣的大數(shù)據(jù)技術(shù)，簡(jiǎn)言之，大數(shù)據(jù)技術(shù)指從海量形式各異的數(shù)據(jù)中，快速獲取信息價(jià)值的能力。其中數(shù)據(jù)模型和數(shù)據(jù)存儲(chǔ)技術(shù)研究是數(shù)據(jù)科學(xué)領(lǐng)域中的一項(xiàng)基礎(chǔ)性工作，能夠?yàn)樯蠈訑?shù)據(jù)庫(kù)構(gòu)建、數(shù)據(jù)存取、數(shù)據(jù)分析和挖掘提供有力支撐。
　　論文描述了大數(shù)據(jù)技術(shù)的研究背景、研究意義，分析了大數(shù)據(jù)的特

2、點(diǎn)及主流的數(shù)據(jù)處理技術(shù)，同時(shí)給出了大數(shù)據(jù)模型及相應(yīng)數(shù)據(jù)分區(qū)策略的研究現(xiàn)狀。然后，針對(duì)傳統(tǒng)關(guān)系數(shù)據(jù)模型數(shù)據(jù)類(lèi)型受限，并發(fā)查詢性能低和橫向伸縮性不足的缺陷，提出了一個(gè)開(kāi)放可伸縮關(guān)系數(shù)據(jù)模型，該模型采用類(lèi)關(guān)聯(lián)數(shù)據(jù)的方式保留并擴(kuò)展了傳統(tǒng)關(guān)系模型的關(guān)系描述能力，提供了開(kāi)放的數(shù)據(jù)類(lèi)型支持，并借鑒key-value的思想，提供了完全的橫向伸縮特性，迎合了大數(shù)據(jù)體量龐大、類(lèi)型多樣、增長(zhǎng)迅速的特點(diǎn)。在此之上，以構(gòu)建一個(gè)高伸縮性、高可靠性和便于進(jìn)行跨數(shù)據(jù)中

3、心部署的存儲(chǔ)系統(tǒng)為目標(biāo)，從具體的數(shù)據(jù)存儲(chǔ)角度出發(fā)，針對(duì)OSRDM及其它基于key-value的數(shù)據(jù)模型，在分析現(xiàn)有數(shù)據(jù)分區(qū)與冗余機(jī)制的基礎(chǔ)上，提出了一個(gè)基于一致性哈希的彈性冗余數(shù)據(jù)分區(qū)策略，該策略將一致性哈希算法與數(shù)據(jù)冗余機(jī)制相結(jié)合，在最大程度發(fā)揮key-value類(lèi)數(shù)據(jù)模型高橫向伸縮性特點(diǎn)的同時(shí)，通過(guò)可控冗余保證數(shù)據(jù)的可靠性，同時(shí)提升數(shù)據(jù)的并發(fā)訪問(wèn)性能。
　　對(duì)所提模型和策略的評(píng)價(jià)工作分為定性分析和定量實(shí)驗(yàn)兩個(gè)部分，分別針對(duì)開(kāi)放