基于關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)切分問(wèn)題研究.pdf

1、隨著中國(guó)經(jīng)濟(jì)的快速發(fā)展，人們的生活水平不斷提高，網(wǎng)絡(luò)在中國(guó)得到迅速普及。截止到2015年底，中國(guó)的網(wǎng)民數(shù)量已達(dá)到了6.88億。再加上網(wǎng)絡(luò)設(shè)備和傳輸介質(zhì)等硬件的更新?lián)Q代，網(wǎng)速大大提高，由此產(chǎn)生了海量的應(yīng)用數(shù)據(jù)。有的大型互聯(lián)網(wǎng)公司每天產(chǎn)生幾十TB的數(shù)據(jù)，接受數(shù)十億次的訪問(wèn)。這就對(duì)數(shù)據(jù)庫(kù)性能提出了更高的要求，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)能力有限，擴(kuò)展能力又不強(qiáng)，已不能滿足大規(guī)模數(shù)據(jù)的存儲(chǔ)、訪問(wèn)需要。
　　分布式數(shù)據(jù)庫(kù)系統(tǒng)通過(guò)把多臺(tái)單機(jī)數(shù)據(jù)庫(kù)

2、組合成一個(gè)統(tǒng)一的整體，實(shí)現(xiàn)了數(shù)據(jù)的分布式存儲(chǔ)，分布式訪問(wèn)，是解決海量數(shù)據(jù)訪問(wèn)和存儲(chǔ)問(wèn)題的理想方案。分布式數(shù)據(jù)庫(kù)自從上世紀(jì)七十年代提出以來(lái)，經(jīng)過(guò)多年發(fā)展，已經(jīng)誕生了很多優(yōu)秀產(chǎn)品。而應(yīng)用從單點(diǎn)數(shù)據(jù)庫(kù)系統(tǒng)向分布式數(shù)據(jù)庫(kù)系統(tǒng)轉(zhuǎn)換時(shí)遇到的首要問(wèn)題就是數(shù)據(jù)切分問(wèn)題，即按照什么算法把數(shù)據(jù)切分到不同的物理節(jié)點(diǎn)上。
　　本文以數(shù)據(jù)切分為主題，進(jìn)行了以下兩方面的工作:
　　一是結(jié)合現(xiàn)有的數(shù)據(jù)切分算法，提出了一種基于范圍切分和哈希切分的組合算法。

3、全局上，數(shù)據(jù)按增量區(qū)間進(jìn)行切分，切分的片段不是分布在一個(gè)數(shù)據(jù)節(jié)點(diǎn)，而是一個(gè)節(jié)點(diǎn)組內(nèi);局部上，也就是在節(jié)點(diǎn)組內(nèi)，片段會(huì)再按簡(jiǎn)單哈希方式均勻分布到組內(nèi)各數(shù)據(jù)節(jié)點(diǎn)上。該算法繼承了范圍切分和哈希切分的優(yōu)點(diǎn)——數(shù)據(jù)分布均勻、擴(kuò)展能力強(qiáng)，同時(shí)又規(guī)避了其缺點(diǎn)，是一種綜合能力優(yōu)秀的切分算法。在和一致性哈希算法的對(duì)比實(shí)驗(yàn)中，該算法表現(xiàn)出了較好的數(shù)據(jù)訪問(wèn)能力和擴(kuò)展能力。尤其是可以很方便地進(jìn)行數(shù)據(jù)擴(kuò)容，無(wú)須遷移任何數(shù)據(jù)。在具體應(yīng)用測(cè)試中，解決了大規(guī)模數(shù)據(jù)查詢

4、延遲問(wèn)題，具有良好的應(yīng)用價(jià)值。
　　二是針對(duì)數(shù)據(jù)切分應(yīng)用做了一些工作。數(shù)據(jù)切分要想投入應(yīng)用，必須解決兩個(gè)基本問(wèn)題:自增主鍵唯一性問(wèn)題和分布式連接問(wèn)題。這兩個(gè)問(wèn)題也是數(shù)據(jù)庫(kù)從單點(diǎn)發(fā)展到分布式時(shí)所面臨的最基本問(wèn)題，對(duì)分布式系統(tǒng)的可用性和性能都具有重要影響。本文在借鑒前人成果的基礎(chǔ)上，討論分析了各種場(chǎng)景，最后分別給出了可行的解決方案，并進(jìn)行了代碼實(shí)現(xiàn)。對(duì)于自增主鍵不唯一問(wèn)題，給出了一種全局序列生成方案，通過(guò)維護(hù)一個(gè)全局序列表來(lái)生成自增長(zhǎng)