HBase分布式緩存策略的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，大數(shù)據(jù)的價值也得到了越來越多的重視。作為大數(shù)據(jù)研究與應(yīng)用的基礎(chǔ)設(shè)施，大數(shù)據(jù)存儲系統(tǒng)顯得尤為重要，HBase便是其中一款典型的非關(guān)系型數(shù)據(jù)庫。當(dāng)前HBase仍然存在分區(qū)不均衡和緩存替換策略單一等問題，對集群讀寫性能造成了制約。論文針對這些問題進(jìn)行研究，致力于優(yōu)化HBase的讀寫性能。
　　論文的研究工作得到了國家自然科學(xué)基金項目(No.61172072、61271308)、北京市自然科學(xué)基金項目(No.4112

2、045)和高等學(xué)校博士學(xué)科點專項科研基金(No.20100009110002)的支持。論文的主要工作如下:
　　(1)寫緩存方面:在不分區(qū)的情況下，現(xiàn)有HBase很難發(fā)揮出分布式系統(tǒng)的優(yōu)點。即使采用了預(yù)分區(qū)技術(shù)，也沒有一套對任何數(shù)據(jù)表存儲均適用的預(yù)分區(qū)方法以及一套能夠自適應(yīng)調(diào)整系統(tǒng)負(fù)載的方案。為了解決上述問題，本文設(shè)計了一種兩階段分區(qū)方法。預(yù)分區(qū)階段，利用MD5的散列效果對RowKey重新進(jìn)行設(shè)計。自適應(yīng)分區(qū)階段，本文設(shè)計了一種R

3、egionServer性能評價策略，依據(jù)該策略實現(xiàn)自適應(yīng)分區(qū)。該評價策略將層次分析和TOPSIS相結(jié)合，利用并改進(jìn)了一致性哈希算法，而且設(shè)計了一種新的數(shù)據(jù)結(jié)構(gòu)來實現(xiàn)改進(jìn)后的一致性哈希算法。
　　(2)讀緩存方面:現(xiàn)有BlockCache的LRU緩存替換策略十分粗糙。它雖然將緩存分成多層，但是所有層均使用同一種緩存策略，即只根據(jù)數(shù)據(jù)最后一次更新時間的先后進(jìn)行緩存替換。本文將對每一層的緩存替換策略進(jìn)行進(jìn)一步的設(shè)計:在Single層添加

4、了對數(shù)據(jù)熱點的考慮，在Multi層添加了對Block大小的權(quán)衡，同時對Single層進(jìn)入Multi層的門限參數(shù)重新進(jìn)行規(guī)定，降低FULL GC發(fā)生的概率。另一方面，針對連續(xù)數(shù)據(jù)等緊密關(guān)系數(shù)據(jù)查詢速度降低的問題，使用社區(qū)發(fā)現(xiàn)的思想設(shè)計了一個二級緩存來對其彌補。
　　(3)本論文準(zhǔn)備了連續(xù)型數(shù)據(jù)、隨機(jī)型數(shù)據(jù)和集中型數(shù)據(jù)來模擬不同的實驗情景，將本文設(shè)計的HBase系統(tǒng)應(yīng)用于同構(gòu)、異構(gòu)集群中，進(jìn)行讀寫性能的測試，并與原HBase的測試結(jié)果